- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: Xit Subject: Re: Url
нет, альясы не используются.... хотя возможно я не понимаю о чём речь, вот мои конфиги indexer.conf # Путь к базе данных DBAddr pgsql://логин:пароль@/mp3search_/?dbmode=crc-multi # Указываем каталог, чтобы знать где искать pid VarDir /var/dpsearch/mp3 # RSS не собираем NewsExtensions no # Accent расширение используем AccentExtensions yes # Логируем в local7 SyslogFacility local7 # Храним всё в этой кодировке LocalCharset windows-1251 # кНЙЮКЭ Locale ru_RU.CP1251 # Задействуем проверку правописания AspellExtensions yes # Считаем что кодировка страниц Microsoft IIS # сервера всегда windows-1251 ForceIISCharset1251 yes # Не используем CrossWords CrossWords no # Популярность сайтов не подсчитываем CollectLinks no # Не использовать встроенное хранение найденых документов, # тем более мы индексируем mp3 файлы DoStore no # Карта языков LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.cp1251.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.cp866.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.cyrillic.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.koi8-r.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.maccyr.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/ru.utf8.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/en.ascii.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/de.latin1.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/fr.latin1.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/it.latin1.lm LangMapFile /usr/local/etc/dpsearch-mp3/langmap/es.latin1.lm # Слова по которым не искать StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/ru.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/en.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/de.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/fr.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/it.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/es.sl # Размер слов хранимых в базе данных MinWordLength 2 MaxWordLength 32 # Максимальный размер поставим 16Mb, т.к. индексируем mp3 MaxDocSize 16048576 # Минимальный размер MinDocSize 1024 # Максимальный размер данных записываемых в # индекс для одного документа IndexDocSizeLimit 65536 # Число документов отбираемых для индексации за раз URLSelectCacheSize 10485760 # Заголовок с которым мы запрашиваем документы HTTPHeader "User-Agent: Opera/9.02" HTTPHeader "Accept-Language: ru, en" # Таблица в которой хранить список серверов ServerTable pgsql://логин:пароль@/mp3search_/server # Не используем дату последней модификации документа, # которую отсылает нам сервер UseDateHeader no # Не загружаем файлы с таким расширением Disallow *.b *.sh *.md5 *.rpm Disallow *.arj *.tar *.zip *.tgz *.gz *.z *.bz2 Disallow *.lha *.lzh *.rar *.zoo *.ha *.tar.Z Disallow *.gif *.jpg *.jpeg *.bmp *.tiff *.tif *.xpm *.xbm *.pcx Disallow *.vdo *.mpeg *.mpe *.mpg *.avi *.movie *.mov *.dat Disallow *.mid *.rm *.ram *.wav *.aiff *.ra Disallow *.vrml *.wrl *.png *.psd Disallow *.exe *.com *.cab *.dll *.bin *.class *.ex_ Disallow *.tex *.texi *.xls *.doc *.texinfo Disallow *.rtf *.pdf *.cdf *.ps Disallow *.ai *.eps *.ppt *.hqx Disallow *.cpt *.bms *.oda *.tcl Disallow *.o *.a *.la *.so Disallow *.pat *.pm *.m4 *.am *.css Disallow *.map *.aif *.sit *.sea Disallow *.m3u *.qt *.mov # Сколько времени хранить ссылки на документы сервера, # если сервер к этому времени уже не отвечает HoldBadHrefs 45d # Сколько времени хранить проиндексированные документы в базе # (учитывая, что обычно mp3 файлы с серверов не удаляются, # храним их 1 год) DeleteOlder 365d # Сначало сами пытаемся определить тип документа, а потом уже # слушаем то, что говорит сервер UseRemoteContentType no # Типы документов AddType text/html *.html *.htm *.phtml *.php *.shtml AddType audio/mpeg *.mp3 AddType application/unknown *.* # Не надо переиндексировать Period 365d # Язык по умолчанию для сервера DefaultLang ru # Языки VaryLang "ru en de fr it es" # MaxHops от URL'а указанного в комманде Server MaxHops 256 # Не пересчитывать хопы при переиндексировании TrackHops no # Не ограничивать количество документов MaxDocsPerServer -1 # После 16 ошибок недоступности хоста indexer # больше не будет пытаться обращаться к этом хосту MaxNetErrors 16 # Таймаут при присоединение или ожидания чтении данных ReadTimeOut 30s # Максимальное время получение одного документа DocTimeOut 2m # Тормозим работу с документом на это время, если # при получении возникла ошибка NetErrorDelayTime 1d # Не читаем файл robots.txt Robots no # Не используем cookie Cookies no # Не включаем этот механизм, собирать данные # о mp3 со всех хостов, зеркал и т.д. DetectClones no # Включаем документ с описание секций Include /usr/local/etc/dpsearch-mp3/sections.conf # Индексируем документы (в холостую не работаем) Index yes # Если сервер не сказал, в какой кодировке будет # посылать данные, то используем эту RemoteCharset windows-1251 # Во всём, что не mp3 только собираем ссылки HrefOnly NoMatch *.mp3 # Тестируем mp1 Server http://mp1.tomsk.ru/save/?id=43783 Server http://mp1.tomsk.ru/save/?id=38004 # Все mp3 Realm http://*.mp3 searchd.conf Listen 127.0.0.1:7013 # Путь к базе данных DBAddr pgsql://логин:пароль@/mp3search/?dbmode=crc-multi # Логируем в local3 SyslogFacility local7 # Кодировка файлов в базе данных LocalCharset windows-1251 # Слова по которым не искать StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/ru.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/en.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/de.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/fr.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/it.sl StopwordFile /usr/local/etc/dpsearch-mp3/stopwords/es.sl # Используем Aspell AspellExtensions yes # Акценты над буквами (еёий) AccentExtensions yes # Включаем в поиск также однокоренные слова Spell en us-ascii /usr/local/share/ispell/english.dict Affix en us-ascii /usr/local/share/ispell/english.aff Spell ru koi8-r /usr/local/share/ispell/russian.dict Affix ru koi8-r /usr/local/share/ispell/russian.aff # Описание секций Include /usr/local/etc/dpsearch-mp3/sections.conf # Количество секций NumSections 23 # Подгрузить данные для быстрого поиска PreloadURLData yes # Показывать всё DetectClones no - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1179478317
