- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: Михаил Subject: Re: Зависимость оперативки от кол-ва сайтов
В dpsearch очень странно реализован алгоритм добавления новых url. При добавлении 100000 URL через файл или urldb каждый процесс начинает занимать по 200 метров. Мы решили проблему через ./indexer -i -f файл с записями, добавляем не более чем по 10000 url. - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1222466086
