- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: Roaming Subject: Список ссылок для индексирования
> At 13:53:58 04/08/06, vdb wrote: >Добрый день! > >Подскажите, пожалуйста, можно ли в таблицу servers добавить стартовый URL во >время работы краулера? Т.е. обратит ли он на это внимание по окончанию разбора >текущей страницы? > >И возможно ли для некоторых серверов указать, что индексировать разрешено >только документы с этого се сервера, а для каких-то - все ссылки? > Можно создать еще одну таблицу которая будет аналогом записи Server в indexer.conf Но список серверов и url-ов indexer выгрибает при старте. После, если я не ошибаюсь, он добирает из url те у котрых время подходящее и status != 200. Есть таблица srvinfo <<http://dataparksearch.org/dpsearch-dbschema.ru.html>> тут есть описани. Для каждого конкретного сервера сможешь указать полный набор атрибутов. (Method - тебе поможет.) - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05&topic_id=1154685238
