- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: Виктор Subject: Сложное индекирование.
Есть следующая задача: Надо проиндексировать сайты которые описаны в региональном каталоге(доступ к базе ссылок нету тоесть его надо индексировать и собрать ссылки). Домены в этом каталоге от .com до .ru. Как можно проиндексировать сам каталог и все описанные в нём сайтое, НО что бы после того как бот проиндексирует сайты описанные в каталоге, он не шёл дальше, по ссылкам которые уже находятся на этих сайтах. Какие есть варианты? - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=
