Процесс сбора тематической базы не очень быстрый, даже если есть база и ее нужно разделить на тематики, то на это может уйти до нескольких суток. Если брать сайты только из Яндекс Каталога, то можно выпарсить нужную ветку, и натравить Хрум, но отдача будет не большая, от десятков сайтов на тему, до пару сотен. Поэтому если и предлагаются прогоны по базе из ЯК, то это идет как прогон по трастовым сайтом, и выполняться ручками.

В нашей базе присутствуют сайты как из всего ЯК, Майл каталога, так и Рейтинга сайтов liveinternet. Все те трастовые сайты, где можно зарегестрироваться ручками, это делает Хрум. Если при регистрации нужно подтвердить аккаунт СМС, то поверьте мне, такое не сделает и тот, кто гоняет ручками по своему трастовому списку. Но так как на некоторые темы очень мало ссылок, ссылок 20, то мы не работаем с таким маленьким объемом. Наша база собиралась по принципу, если есть ссылка или упоминание, то ссылка попадала в нашу базу. Отчет брался не просто из Хрума, а проверялся сторонними программами, на наличие активных ссылок и упоминаний. Сначала база собиралась только из ссылок которые “noindex” и “nofollow”, но после этот критерий отпал, и остался только один, если есть упоминание или ссылка. Так как на настоящее время у нас есть свои большие наработки и в этой базе почти 20 000 ссылок, то заходить на каждый сайт и определять тематику сайта, это издевательство и на глаз можно ошибиться. Поэтому принято решение, бить базу на тематику программой “Определяйка”, которая определяет тематику по Яндексу, через Яндекс бар.

Так как начало написание этой статьи совпало с началом работы программы, то результаты будут представлены не в следующей статье, как обычно пишут, а результаты будут представлены в разделе Услуги и Базы нашего сайта.