[dataparksearch] [Forum] Re: Вывод результатов - повторяющиеся ссылки

2007-07-24 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Вывод результатов - повторяющиеся ссылки

>>Владимир
а скажите у вас с aspell проблем нетна gentoo???
например само произвольные падения searchd, или зависания его же...
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1184881266



[dataparksearch] [Forum] Hadoop File syste,

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sorantis
Subject: Hadoop File syste,

Привет Максим,
Есть такая штука, нызвается она Hadoop.
Это файловая система,которая сначала была интегрирована в поисковик -Nutch.
Потом проект отделился от Натча и начал развиваться независимо.
Что в нем пирмечательного так это то, что его основное предназначение это 
хранение 
базы проиндексированных сайтов, быстрый доступ к ним, имплементация технологии 
MapReduce.
Я читал на их сайте ЧАВО, и встертил там такое

How well does Hadoop scale?

Hadoop has been demonstrated on clusters of up to 2000 nodes. Sort performance 
on 900 nodes is good (sorting 9TB of data on 900 nodes takes around 2.5 hours) 
and improving using these non-default configuration values:

 dfs.block.size = 134217728
 dfs.namenode.handler.count = 40
 mapred.speculative.execution = true
 mapred.reduce.parallel.copies = 20
 mapred.tasktracker.tasks.maximum = 2
 mapred.child.java.opts = -Xmx512m
 fs.inmemory.size.mb = 200
 io.sort.factor = 100
 io.sort.mb = 200
 io.file.buffer.size = 131072

Дальше интереснее

Do I have to write my application in Java?

No. There are several ways to incorporate non-Java code. HadoopStreaming 
permits any shell command to be used as a map or reduce function, and Hadoop is 
also developing C and C++ APIs and a SWIG-compatible pipes API. 

Как ты смотришь на то чтоб добавить в DpSearch поддержку сей базы данных?
(Если что, пиши на мыло.)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;post=



[dataparksearch] [Forum] Re: Hadoop File system

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Hadoop File system

Дело в том, что Hadoop - не база данных.
Чтобы отвязаться от SQL-сервера понадобиться существенно передалать поисковик. 
В общих чертах такая задумка имеется, но нет определенных планов. Если такое и 
будет реализовано, то без Hadoop, ровно так и любого другого приложения на Java 
- у меня попросту нет ресурсов для исправления затрат на портабельность и 
легкость разработки на Java, а в скорости работы разработанного и отлаженного 
кода Java уступает C/C++.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1185349145



[dataparksearch] [Forum] Поиск по атрибутам?

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Анатолий
Subject: Поиск по атрибутам?

Добрый день!
Подскажите, можно ли при помощи вашей поисковой системы делать поиск/фильтр по 
атрибутам?

Как пример, в мета тег страницы я формирую числовой идентификатор пользователя 
(атрибутов может быть несколько и по разным полям) 

При поиске я передаю ключевые слова + искать только в тех документах, где 
атрибут такой-то = такому-то значению

Необходимо, как фильтр: по авторам, тематикам, категориям и тд

Спасибо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Поиск по атрибутам?

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Поиск по атрибутам?

Вы имеете в виду атрибуты тэгов html/xml разметки или что-то другое ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185378978



[dataparksearch] [Forum] Re: Поиск по атрибутам?

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: анатоль
Subject: Re: Поиск по атрибутам?

наверное...

например под яндекс я делал так








в итоге мне хотелось бы

искать слова только в тех документах, у которых fo="0"

при чем эти атрибуты можно было бы комбинировать, например fo="0" и aid="36311"
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185378978



[dataparksearch] [Forum] Re: Поиск по атрибутам?

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Поиск по атрибутам?

Вы можете индексировать любое поле Meta указав в sections.conf соответствующую 
запись, например:
Section meta.fo 10 0
Section meta.aid 11 0
При поиске, вы можете задавать при помощи CGI-переменной wf ненулевые веса тем 
секциям, по которым необходимо вести поиск.
Искать каждое слово из запроса в отдельной секции пока нет возможности.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185378978



[dataparksearch] [Forum] Re: Hadoop File system

2007-07-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Sorantis
Subject: Re: Hadoop File system

Hadoop is also developing C and C++ APIs and a SWIG-compatible pipes API. 
Да и не придется писать на Java.
Есть интерфейсы посредством которых можно использовать Hadoop API в своих целях.

Поправка, в предыдущем посте я сказал "база данных". Нет, файловай система, 
разработанная специально для надобностей поисковика.

Просто производительность возросла бы в несколько раз.десятков раз.

Anyway, спасибо за ответ :)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1185349145



[dataparksearch] [Forum] Re: No

2007-07-27 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Yelena
Subject: Re: No 

> At 03:43:40  16/04/07, Scarlett wrote:
>thank you!
>
>I know why!

and why? I have the same problem
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02&topic_id=1176625362



[dataparksearch] [Forum] Re: No

2007-07-27 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: No 

Check trailing slash first at Server command, as described above.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1176625362



[dataparksearch] [Forum] Всетаки Aspell

2007-07-27 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Всетаки Aspell

Максим, помогите всетаки разобратся...
какие версии библиотек лучше взять, что как и с какими ключами собрать?
у вас же как то он работает с aspell, почему у меня на debian stable с сеьюрити 
апдейтами постоянными оно падает? :(
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-27 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Всетаки Aspell

Я использую aspell-0.60.4_3, установленный из портов FreeBSD.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-27 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Всетаки Aspell

а с какими ключами собирано?
и аспел и dpsearch и все что используется... :))
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Всетаки Aspell

Я никаких специальных флагов н указывал, все деллось автоматом при установке из 
портов. Посмотрел Makefile в портах для aspell, там тоже ничего особенного нет, 
только переустановка директорий на фрёвый layout и сборка в статике 
(указывается ключ --enable-static для configure aspell).

dpsearch я собираю со следующими флагами:
CC=gcc \
CFLAGS="-g -O3  \
-DDMALLOC_FUNC_CHECK \
-fsigned-char -fsigned-bitfields \
-fforce-addr -funroll-loops -frerun-cse-after-loop -frerun-loop-opt \
-ffast-math \
-funroll-all-loops -pipe -W -Wall -Wall -Wextra -Wconversion -Wshadow \
-Wbad-function-cast -Wsign-compare -Wpadded \
-Wpointer-arith -Wcast-qual -Wcast-align -fstrict-aliasing \
-Wwrite-strings  -Waggregate-return  -Wstrict-prototypes \
-Wmissing-prototypes -Wmissing-declarations -Wredundant-decls \
-Wno-uninitialized -Wreturn-type -Wswitch \
-Wnested-externs -Wlong-long -Winline"  ./configure --enable-charset-guesser --w
ith-pgsql \
--enable-mp3 --enable-pthreads \
--enable-shared \
--disable-all-static \
--with-zlib \
--with-extra-charsets=all \
--with-openssl \
--enable-rel=full \
--enable-googlegrp \
--with-bestpos=3 \
--with-bestwrdcnt=31 \
--with-wrdcntfactor=100.9352 \
--with-posfactor=20.433 \
--with-distfactor=10.307 \
--with-wrdunifactor=70.9964 \
--enable-mecab \
--enable-idn \

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Всетаки Aspell

попробую сейчас пересобрать aspell со статиком, и с этими ключами dpsearch...
просьба: не мог бы ты как нибудь выделить времени попробовать его под линухами, 
может ты поймеш в чем дело?!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Выдача результатов поиска: странности

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Выдача результатов поиска: странности

Какая версия dpsearch используется ?
Если давать запрос из одного слова без фразы, листание страниц работает ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185628428



[dataparksearch] [Forum] Выдача результатов поиска: странности

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: alex-w
Subject: Выдача результатов поиска: странности

Наткнулся на одну странность в выдаче результатов поиска: при запросе 
какой-либо фразы выдача с первой страницы полностью повторяется на всех 
последующих страницах. 


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Выдача результатов поиска: странности

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: alex-w
Subject: Re: Выдача результатов поиска: странности

dpsearch 4.46 on FreeBSD. По словам такая же фигня... :(
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185628428



[dataparksearch] [Forum] Re: Выдача результатов поиска: странности

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Выдача результатов поиска: странности

Попробуйте поставить 4.47, в ней исправлена похожая ошибка. Она совместима с 
4.46, ничего переиндексировать не нужно, можно ставить поверх.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185628428



[dataparksearch] [Forum] Re: Выдача результатов поиска: странности

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: alex-w
Subject: Re: Выдача результатов поиска: странности

Только что обновился - все заработало. Спасибо!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185628428



[dataparksearch] [Forum] Обновление главной страницы чаще чем остальные...

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Обновление главной страницы чаще чем остальные...

собсно сабж...
как реализовать?
и ваще желательно бы чтоб такое было по дефолту, и я думаю многие думают так 
же... :))
ибо на главной обычно все самое важное, и чаще всего она обновляется не реже 
чем через три дня...
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Обновление главной страницы чаще чем остальные...

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Обновление главной страницы чаще чем остальные...

Period 30d
PeriodByHops 0 1d
Server http://www.site.ext/

Основная сраница юудет обновляться раз в день, остальные - раз в 30 дней.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185640394



[dataparksearch] [Forum] Re: Обновление главной страницы чаще чем остальные...

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Обновление главной страницы чаще чем остальные...

опа... а я про такое не догадался...
СПАСИБО! :)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185640394



[dataparksearch] [Forum] Re: Обновление главной страницы чаще чем остальные...

2007-07-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Обновление главной страницы чаще чем остальные...

Если имеются в виду команды ServerDB и RealmDB, то да, для них это тоже будет 
работать.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185640394



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Всетаки Aspell

searchd[26145]: {00} aspell error: The key "mang" is unknown.
вот такое вот выползло... не сталкивался?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Всетаки Aspell

searchd[26145]: {00} Query:  DVD [Charset: utf-8]
searchd[26145]: {00} aspell error: The key "mang" is unknown.
searchd[26145]: {00} Query prepared in ... 0. sec.
*** glibc detected *** corrupted double-linked list: 0x09070c38 ***
вот такое сейчас появилось...
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Всетаки Aspell

"mang" нигде в исходниках dpsearch не встречается, есть ключ конфигурации 
"lang", он используется для задания языка aspell при обработке очердного 
поискового запроса.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: Всетаки Aspell

2007-07-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: Всетаки Aspell

а что это может быть?
куда копать?
оно говорит что это ошибка aspell, в каких случаях такое происходит? может это 
оно просто говорит об ошибке в слове?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1185556429



[dataparksearch] [Forum] Re: robots.txt:

2007-07-30 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

and... 

I dumped manually the table 'robots' in search DB. 
I deleted the whole DB and created it again. 

But nothing changes, robots.txt is still not ignored. 

Thx for help, 

cheers, 
mico 
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] robots.txt: 'Disallow /'

2007-07-30 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: robots.txt: 'Disallow /'

I'm trying to get some pages from a Server that has in robots.txt:
User-agent: *
Disallow: /

I did put in indexer.conf: 
Robots no 

But it didn't change anything I still get the same: "robots.txt: 'Disallow /'" 
from the indexer. 

What could i do to index this site ? 


LOGS: 
--
indexer[9296]: {00} indexer from dpsearch-4.47-mysql started with 
'/usr/local/dpsearch/etc/indexer.conf'
indexer[9296]: {01} URL: http://some.site.com/
indexer[9296]: {01} ROBOTS: http://some.site.com/robots.txt
indexer[9296]: {01} robots.txt: 'Disallow /'
indexer[9296]: {01} Deleting http://some.site.com/
indexer[9296]: {01} Done (1 seconds, 0 documents, 0 bytes,  0.00 Kbytes/sec.)
indexer[9296]: {00} Total 8 seconds, 0 documents, 0 bytes,  0.00 Kbytes/sec,  
0.00 sec/doc, 0 bytes/doc.
indexer[9296]: {00} Neo PopRank: 0 documents, 0 pas,  0.00 Kpas/sec,  0.00 
sec/doc,  0.00 pas/doc.
indexer[9296]: {00} Mon 30 20:40:48 [9296] Flushing all buffers...

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;post=



[dataparksearch] [Forum] Re: robots.txt:

2007-07-30 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

Actually, I got some everywhere (Beginning, Middle, Before Server, End of file, 
etc.) 
:) 

But here's what i just tested in indexer.conf: 
Robots no
Server http://some.site.com/ 

I don't have any Realm command defined for now. 


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-07-30 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

Where you have placed "Robots no" in your indexer.conf ?
It should be before Server/Realm command that it should affects.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-07-31 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

Any other suggestions? 


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-07-31 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

I need time to verify such behavior, I'll check it today later or tomorrow.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-07-31 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

Allright, no problem, thanks! 
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-07-31 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

"Robots no" command has been fixed in latest snapshot:
http://www.dataparksearch.org/dpsearch-4.48-01082007.tar.gz
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-08-01 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

Please reindex this page with -v5 option for indexer, this enables maximal 
debug output, include why every link is accepted or rejected.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-08-01 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

Thank you for that... 

I just tested and it works. Unfortunatly... All it changed is the message that 
now says: "robots.txt support is disallowed for 'my.site.com'"

The result is the same. 
Example: 
I try to get 'htp://digg.com/technology/' directory. 

Configuration: 
Robots no
Server http://digg.com/technology/

Result:
indexer[16276]: {01} URL: http://digg.com/view/technology/
indexer[16276]: {01} robots.txt support is disallowed for 'digg.com'
indexer[16276]: {01} Done (2 seconds, 1 documents, 609 bytes,  0.30 Kbytes/sec.)
indexer[16276]: {00} Total 3 seconds, 1 documents, 609 bytes,  0.20 Kbytes/sec, 
 3.00 sec/doc, 609 bytes/doc.

Conclusion: 
This site does have links to subdirectories under technology/ so it should take 
those pages, right? 
If i try the configuration on another site that doesn't have robot.txt it works 
fine... 
Is this dataparksearch problem or am i mis-configuring something ? 

Thanks, 

mico


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-08-02 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 


Results: 

Aug  2 11:51:07 prole indexer[17364]: {01} Allow method is used
Aug  2 11:51:07 prole indexer[17364]: {01} No conditional subsection detected
Aug  2 11:51:07 prole indexer[17364]: {01} Link '/' http://digg.com/
Aug  2 11:51:07 prole indexer[17364]: {01} Allow by default
Aug  2 11:51:07 prole indexer[17364]: {01} no Server, skip it
Aug  2 11:51:07 prole indexer[17364]: {01} Link '/about' http://digg.com/about
Aug  2 11:51:07 prole indexer[17364]: {01} Disallow Regex Sensitive 
'\/$|\.htm$|\.html$|\.shtml$|\.phtml$|\.php$|\.txt$|\.asp$', skip it
Aug  2 11:51:07 prole indexer[17364]: {01} Link '/about-rss' 
http://digg.com/about-rss
Aug  2 11:51:07 prole indexer[17364]: {01} Disallow Regex Sensitive 
'\/$|\.htm$|\.html$|\.shtml$|\.phtml$|\.php$|\.txt$|\.asp$', skip it
Aug  2 11:51:07 prole indexer[17364]: {01} Link '/add-digg' 
http://digg.com/add-digg

My Regex wasn't good. So I added to indexer.conf : 
Allow * 

:) And now it works fine, thanks! :)

But, if i put "Allow *" and right after that "Disallow *.cgi", will it still 
exclude *.cgi or will it just directly take everything? 

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418



[dataparksearch] [Forum] Re: robots.txt:

2007-08-02 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

Allow/Disallow commands are looking in order of appearance, and only the first 
found applies. So "Disallow *.cgi" will still exclude *.cgi in this case.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418;page=2



[dataparksearch] [Forum] Re: robots.txt:

2007-08-02 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: mico
Subject: Re: robots.txt: 

> At 15:49:42  02/08/07, Maxime wrote:
>Allow/Disallow commands are looking in order of appearance, and only the first 
>found applies. So "Disallow *.cgi" will still exclude *.cgi in this case.

So if I have: 
Allow *
Disallow *.cgi 

-> It will allow ALL even cgi.

If I have:
Disallow *.cgi
Allow *

-> It will allow ALL except cgi. 

Right?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418;reply=1186055382



[dataparksearch] [Forum] Re: robots.txt:

2007-08-02 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: robots.txt: 

Yes, absolutely right.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1185818418;page=2



[dataparksearch] [Forum] Установка на Денвер (я чайник в Perl)

2007-08-04 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: composerr
Subject: Установка на Денвер (я чайник в Perl)

Уважаемый Максим или кто-нибудь из форумчан.

Я умею ставить и настраивать движки на пхп, но с Перлом никогда не сталкивался.

Sphider'a мне мало, он не отвечает поставленным задачам.

Хочу поставить DataparkSearch на Денвер. 
Доставил на базовый пакет расширение под Perl, получаю ошибку (в error log'e - 

[Thu Aug 04 19:11:04 2005] [error] [client 127.0.0.1] configure failed: 256 at 
\\home\\LOCALH~1\\cgi\\install.pl line 176.\n )

Видимо, я что-то недоставил... Для меня Perl в новинку, посему не бейте и не 
говорите слишком умно. :-)

Могу оплатить подробную консультацию по WebMoney.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;post=



[dataparksearch] [Forum] Re: Установка на Денвер (я чайник в Perl)

2007-08-04 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Установка на Денвер (я чайник в Perl)

DataparkSearch написан на C под Unix, Perl используется только для 
автоматизации установки (возможна и без него), под Windows проект не собирается.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186245335



[dataparksearch] [Forum] Re: Установка на Денвер (я чайник в Perl)

2007-08-04 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: composerr
Subject: Re: Установка на Денвер (я чайник в Perl)

ААА! Спасибо большое за быстрый ответ.

Значит буду разбираться.

Можно ли как вариант поставить DataparkSearch сразу на какой-либо хостинг и 
попробовать его погонять? Насколько это корректный подход? Или лучше ставить 
Unix на комп?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186245335



[dataparksearch] [Forum] Re: Установка на Денвер (я чайник в Perl)

2007-08-04 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Установка на Денвер (я чайник в Perl)

Если не ставить задачей максимальную производительность, то можно и на хостинг, 
гавное чтобы памяти хватало и была возможность запускать демоны.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186245335



[dataparksearch] [Forum] Re: No

2007-08-06 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Yelena
Subject: Re: No 

yesterday the Server command worked whithout trailing slash(( today it doesn't 
work.

I use Server command like

Server file:///path/to/folder/


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1176625362



[dataparksearch] [Forum] Re: No

2007-08-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: No 

If you would like to limit indexing by the folder specified only, you need to 
specify the following Server command:
Server path file:///path/to/folder/ 

Please run indexer with -v5 switch specified, this enables maximal debug 
information, which includes why every page is accepted or rejected for indexing.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1176625362



[dataparksearch] [Forum] Статистика по сайтам

2007-08-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: alex-w
Subject: Статистика по сайтам

Есть ли штатное решение для следующей задачи: показать статистику по кол-ву 
проиндексированных хостов и кол-ву проиндексированных документов для каждого из 
этих хостов? Это как минимум, а как максимум - какого рода статистику вообще 
реально собрать/выбрать из БД dpsearch?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Статистика по сайтам

2007-08-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Статистика по сайтам

Каких-либо средств cбора статистики в dpsearch нет.
Посчитать кол-во хостов можно следующим запросом:
SELECT COUNT(*) FROM server WHERE command='S' AND parent != 0;

Посчитать кол-во документов для хоста:
SELECT COUNT(*) FROM url WHERE site_id=;

где  - любое значение из 
SELECT rec_id FROM server WHERE  command='S' AND parent != 0;
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1186481760



[dataparksearch] [Forum] Re: не работает поиск

2007-08-08 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Vitaly
Subject: Re: не работает поиск

Думаю не помешает search.htm и если используется searchd, то searchd.conf. Ну и 
ставшее стандартным - после индексации indexer -THW делали?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186572805



[dataparksearch] [Forum] Re: не работает поиск

2007-08-08 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Nick
Subject: Re: не работает поиск

Из того что менял: 
search.htm: 

DBAddr mysql://user:[EMAIL PROTECTED]/search/?dbmode=cache
WrdFiles 4096
Cache yes
LogLevel 5

searchd - не использовал

indexer -THW  - делал, говорит:

indexer[20993]: {00} indexer from dpsearch-4.47-mysql, config test OK with 
'/usr/local/dpsearch/etc/indexer.conf'
indexer[20993]: {00} Writing url data and limits for mysql://user:[EMAIL 
PROTECTED]/search/?dbmode=cache&cached=localhost...
indexer[20993]: {00} url data and limits Done
indexer[20993]: {00} Cached buffers flush Done


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186572805



[dataparksearch] [Forum] Re: не работает поиск

2007-08-08 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Nick
Subject: Re: не работает поиск

Скорее всего это не относится к делу, но достаточно регулярно indexer выдает: 
Segmentation fault


indexer[21776]: {01} ROBOTS: http://www.loc.gov/robots.txt
indexer[21776]: {01} ROBOTS.Request.Accept: 
text/html,application/xhtml+xml,application/xml,text/plain,text/xml,text/tab-separated-values,text/css,image/gif,audio/mpeg
indexer[21776]: {01} ROBOTS.Request.Accept-Encoding: 
gzip,x-gzip,deflate,compress,x-compress
indexer[21776]: {01} ROBOTS.Request.Host: www.loc.gov
indexer[21776]: {01} ROBOTS.Request.User-Agent: DataparkSearch/4.47 
(+http://dataparksearch.org/bot)
indexer[21776]: {01} Resolver 0th checking for 140.147.249.7
Segmentation fault

Linux 2.6.19-1.2895.fc6 #1 SMP Wed Jan 10 18:50:56 EST 2007 x86_64 x86_64 
x86_64 GNU/Linux

indexer from dpsearch-4.47-mysql

  
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186572805



[dataparksearch] [Forum] Re: не работает поиск

2007-08-08 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: не работает поиск

Указаны ли одинаковые значения WrdFiles в indexer.conf и в search.htm ?

Попробуйте в search.htm добавить команду
LogLevel 5
она включит максимальный уровен вывода отладочной информации, и покажите вывод 
при поиске с этим уровнем отладки.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1186572805



[dataparksearch] [Forum] Re: Проблема компиляции.

2007-08-28 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Алексей
Subject: Re: Проблема компиляции.

--enable-all-static убрал - все поехало. спасибо за ответ.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1188311770



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-08-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Непонятные результаты при поиске

Да, забыл я совсем. Бывают и такие результаты:

Search for pay.  Search results: pay: 138 / 138

Т.е. вроде бы ищет и кол-во результатов выдает, но списка нет :(
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-08-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Непонятные результаты при поиске

Добавьте команду 
LogLevel 5
в ваш searchd.conf, он включает максимальный уровен отладочной информации, и 
покажите, что выдается searchd при поиске.

Проверьте, везде ли у вас в DBAddr явно указан dbmode=multi (по умолчанию 
используется dbmode=cache), за исключением DBAddr searchd://
Также проверьте, везде ли у вас указано одно и тоже значение для VarDir.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-08-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Непонятные результаты при поиске

Вот результаты :

searchd[31584]: {00} Preloading url data
searchd[31584]: {00} URL data preloaded. 6784 bytes of memory used
searchd[31584]: {00} searchd started with '/usr/local/dpsearch/etc/searchd.conf'
searchd[31584]: {00} VarDir: '/usr/local/dpsearch/var'
searchd[31584]: {00} MaxClients: 1
searchd[31584]: {00} Affixes: 0, Spells: 0, Synonyms: 1290, Acronyms: 0, 
Stopwords: 3402
searchd[31584]: {00} Chinese dictionary with 0 entries
searchd[31584]: {00} Korean dictionary with 0 entries
searchd[31584]: {00} Thai dictionary with 0 entries
searchd[31584]: {00} Query tracker child started.
searchd[31584]: {00} Listening port 7003
searchd[31584]: {00} Ready

Поиск слова site - отображено 10 из 12 (всё ок)

searchd[31626]: {00} [127.0.0.1] Connected. PORT: 188,54
searchd[31626]: {00} Waiting for command header
searchd[31626]: {00} Received header cmd=3 len=118
searchd[31626]: {00} Received words len=118 
words='q=site&BrowserCharset=utf-8&IP=91.124.102.154&g-lc=en&ExcerptSize=256&ExcerptPadding=80&DoExcerpt=yes&tmplt=search.htm'
searchd[31626]: {00} Query: site [Charset: utf-8]
searchd[31626]: {00} Sent total_found packet 27 bytes buf='Total_found=12(12)'
searchd[31626]: {00} Sent WWL packet 86 bytes cmd=8 len=78 nwords=1
searchd[31626]: {00} Sent PerSite packet 48 bytes cmd=12 len=40
searchd[31626]: {00} Sent URLDATA packet 208 bytes cmd=13 len=200
searchd[31626]: {00} Sent words packet 88 bytes cmd=3 len=80 nwords=150467352
searchd[31626]: {00} Waiting for command header
searchd[31626]: {00} Received header cmd=5 len=330
searchd[31626]: {00} Received DOCINFO command len=330 ndocs=10
searchd[31626]: {00} Sent doc_info packet 8849 bytes
searchd[31626]: {00} Waiting for command header
searchd[31626]: {00} Received header cmd=4 len=0
searchd[31626]: {00} Received goodbye command. Work time: 0.045 sec.
searchd[31626]: {00} Quit

Переход на 2ю страницу - 1 результат нормальный, второй пустой (нет текста, 0 
байт и т.п.)

searchd[31626]: {00} [127.0.0.1] Connected. PORT: 188,80
searchd[31626]: {00} Waiting for command header
searchd[31626]: {00} Received header cmd=5 len=77
searchd[31626]: {00} Received DOCINFO command len=77 ndocs=2
searchd[31626]: {00} Sent doc_info packet 904 bytes
searchd[31626]: {00} Waiting for command header
searchd[31626]: {00} Received header cmd=4 len=0
searchd[31626]: {00} Received goodbye command. Work time: 0.004 sec.
searchd[31626]: {00} Quit

Если очистить кеш и обновить сначала 2ю страницу (где 2 результата) а потом 
перейти на первую, то на первой пустые будут все, кроме верхних двух, что 
наталкивает на мысль о закономерности. Может проблема в stored?

Возможно при обращении к кешу нет запросов к Stored, который должен выдавать 
недостающие данные?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-08-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Непонятные результаты при поиске

Без кеша кажется всё работает. Используется последний релиз 4.47 (как запросить 
версию у самого индексера - не знаю). Что можете посоветовать? Но хотелось бы 
использовать возможность кеширования. 

И попутный вопрос. Как установить периодичность обновления кеша? Если это 
конечно возможно. Или нужно после каждой индексации проводить какие-то операции?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-08-29 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Непонятные результаты при поиске

Если выключить кэш поисковых запросов командой
Cache no
будет ли работать корректно ?

Какая версия dpsearch используется вами ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: How to use added language maps with the dpguesser command?

2007-08-30 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: How to use added language maps with the dpguesser command?

While installing dataparksearch you need to rename langmap.conf-dist to 
langmap.conf and add your langmap file to langmap.conf
Then verify, that you have the following command uncommented in your 
indexer.conf file:
Include langmap.conf

It's useful to comment in all irrelevant language maps in indexer.conf file, 
i.e. all langmaps for languages that you don't use.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;topic_id=1188515537



[dataparksearch] [Forum] Re: indexing all of web

2007-09-01 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Chris
Subject: Re: indexing all of web

now i see that is what the Realm command is used for yet whenever i use it, it 
seems to do nothing at all
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=01;topic_id=1188666293



[dataparksearch] [Forum] Re: у меня проблема при индексации...

2007-09-04 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: у меня проблема при индексации...

# gdb cached /core.7987
GNU gdb 6.4.90-debian
Copyright (C) 2006 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB.  Type "show warranty" for details.
This GDB was configured as "i486-linux-gnu"...Using host libthread_db library 
"/lib/tls/i686/cmov/libthread_db.so.1".


warning: Can't read pathname for load map: Input/output error.
Reading symbols from /home/lib/libdpsearch-4.so...done.
Loaded symbols for /home/lib/libdpsearch-4.so
Reading symbols from /home/lib/libdpcharset-4.so...done.
Loaded symbols for /home/lib/libdpcharset-4.so
Reading symbols from /lib/tls/i686/cmov/librt.so.1...done.
Loaded symbols for /lib/tls/i686/cmov/librt.so.1
Reading symbols from /usr/lib/libaspell.so.15...done.
Loaded symbols for /usr/lib/libaspell.so.15
Reading symbols from /lib/tls/i686/cmov/libdl.so.2...done.
Loaded symbols for /lib/tls/i686/cmov/libdl.so.2
Reading symbols from /usr/lib/libidn.so.11...done.
Loaded symbols for /usr/lib/libidn.so.11
Reading symbols from /usr/lib/libmysqlclient.so.15...done.
Loaded symbols for /usr/lib/libmysqlclient.so.15
Reading symbols from /lib/tls/i686/cmov/libcrypt.so.1...done.
Loaded symbols for /lib/tls/i686/cmov/libcrypt.so.1
Reading symbols from /lib/tls/i686/cmov/libnsl.so.1...done.
Loaded symbols for /lib/tls/i686/cmov/libnsl.so.1
Reading symbols from /lib/tls/i686/cmov/libm.so.6...done.
Loaded symbols for /lib/tls/i686/cmov/libm.so.6
Reading symbols from /usr/lib/libz.so.1...done.
Loaded symbols for /usr/lib/libz.so.1
Reading symbols from /usr/lib/i686/cmov/libssl.so.0.9.8...done.
Loaded symbols for /usr/lib/i686/cmov/libssl.so.0.9.8
Reading symbols from /usr/lib/i686/cmov/libcrypto.so.0.9.8...done.
Loaded symbols for /usr/lib/i686/cmov/libcrypto.so.0.9.8
Reading symbols from /usr/lib/libmecab.so.1...done.
Loaded symbols for /usr/lib/libmecab.so.1
Reading symbols from /lib/tls/i686/cmov/libpthread.so.0...done.
Loaded symbols for /lib/tls/i686/cmov/libpthread.so.0
Reading symbols from /usr/lib/libstdc++.so.6...done.
Loaded symbols for /usr/lib/libstdc++.so.6
Reading symbols from /lib/tls/i686/cmov/libc.so.6...done.
Loaded symbols for /lib/tls/i686/cmov/libc.so.6
Reading symbols from /lib/ld-linux.so.2...done.
Loaded symbols for /lib/ld-linux.so.2
Reading symbols from /lib/libgcc_s.so.1...done.
Loaded symbols for /lib/libgcc_s.so.1
Reading symbols from /lib/tls/i686/cmov/libnss_files.so.2...done.
Loaded symbols for /lib/tls/i686/cmov/libnss_files.so.2
Core was generated by `-Log FFF updat  d'.
Program terminated with signal 5, Trace/breakpoint trap.
#0  0xb7f43410 in ?? ()
(gdb) backtrace
#0  0xb7f43410 in ?? ()
#1  0xbfaae7e8 in ?? ()
#2  0x in ?? ()
(gdb) 


- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188272521



[dataparksearch] [Forum] Re: у меня проблема при индексации...

2007-09-05 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: у меня проблема при индексации...

Program terminated with signal 5, Trace/breakpoint trap.
#0  0xb7f43410 in ?? ()
(gdb) info threads 
  2 process 7988  0xb7f43410 in ?? ()
* 1 process 7987  0xb7f43410 in ?? ()
(gdb) thread 1
[Switching to thread 1 (process 7987)]#0  0xb7f43410 in ?? ()
(gdb) backtrace
#0  0xb7f43410 in ?? ()
#1  0xbfaae7e8 in ?? ()
#2  0x in ?? ()
(gdb) thread 2
[Switching to thread 2 (process 7988)]#0  0xb7f43410 in ?? ()
(gdb) backtrace
#0  0xb7f43410 in ?? ()
#1  0xb1492298 in ?? ()
#2  0xb75ddff4 in ?? () from /lib/tls/i686/cmov/libc.so.6
#3  0xb1492284 in ?? ()
#4  0xb753e9f6 in nanosleep () from /lib/tls/i686/cmov/libc.so.6
#5  0xb753e81b in sleep () from /lib/tls/i686/cmov/libc.so.6
#6  0x0804a3fc in thread_optimize (arg=0x8080dc8) at cached.c:626
#7  0xb76cc240 in start_thread () from /lib/tls/i686/cmov/libpthread.so.0
#8  0xb757c3de in clone () from /lib/tls/i686/cmov/libc.so.6
(gdb) 

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188272521;page=2



[dataparksearch] [Forum] Re: статистика по словам по сайту

2007-09-05 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: статистика по словам по сайту

Для способов хранения cache, crc и crc-multi хранятся не сами лова, а их 
контрольные суммы. Кроме этого, статистика частот слов при индексировании не 
собирается и тем самым нигде не хранится. Однако, давая поисковый запрос по 
конретному слову с выключеной морфологией и синонимами, вы можете получить 
частоту слова в wordinfo (выдаётся мета-переменными поискового шаблона $(W), 
$(WS), $(WE)). Если при таком поиске вы укажите ограничение по категории, то 
будет показана частота слова запроса в данной категории.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188996956



[dataparksearch] [Forum] Re: Проблема компиляции.

2007-09-06 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Алексей
Subject: Re: Проблема компиляции.

search.cgi[36089]: {00} search.cgi started with 
'/usr/local/dpsearch/etc/search.htm'
search.cgi[36089]: {00} VarDir: '/usr/local/dpsearch/var'
search.cgi[36089]: {00} Affixes: 0, Spells: 0, Synonyms: 2872, Acronyms: 0, 
Stopwords: 0
search.cgi[36089]: {00} Chinese dictionary with 0 entries
search.cgi[36089]: {00} Korean dictionary with 0 entries
search.cgi[36089]: {00} Thai dictionary with 0 entries
search.cgi[36089]: {00} Start DpsFind
search.cgi[36089]: {00} .spell lang: en
search.cgi[36089]: {00} Prepare query: mp3, ltxt:mp3
search.cgi[36089]: {00} Segment lang:
search.cgi[36089]: {00} wrd {3}: mp3
search.cgi[36089]: {00} DpsFind for 
pgsql://netsearch:12345@/net_catalog/?dbmode=cache&cached=localhost:7000
search.cgi[36089]: {00} DpsGetWords for 
pgsql://netsearch:12345@/net_catalog/?dbmode=cache&cached=localhost:7000
search.cgi[36089]: {00} Start DpsFindWordsCache()
search.cgi[36089]: {00} Query prepared in ... 0. sec.
search.cgi[36089]: {00} wf=
search.cgi[36089]: {00} Reading limits (0, loaded:0)...
search.cgi[36089]: {00} Done (0.00)
search.cgi[36089]: {00} Sorting 0 limits...
search.cgi[36089]: {00} Done (0.00)
search.cgi[36089]: {00} Reading .wrd files (1 words)...
search.cgi[36089]: {00} stack.word[1]:mp3
search.cgi[36089]: {00} Can't open/create file 
/usr/local/dpsearch/var/tree/wrd014c.i [base.c:95] -- 2 (No such file or 
directory)
search.cgi[36089]: {00} Seek time: 0.0010)
search.cgi[36089]: {00} != P.rec_id:c14c14a6  P.Item.rec_id:0
search.cgi[36089]: {00} Done (0.00)
search.cgi[36089]: {00} Merging (0 groups, 0 urls)...
search.cgi[36089]: {00} Start Clones
search.cgi[36089]: {00} Stop  Clones: 0.00
search.cgi[36089]: {00} Start Order, Last-Modified and Excerpts
search.cgi[36089]: {00} Stop  Order, Last-Modified and Excerpts: 0.00
search.cgi[36089]: {00} Start DpsTrack
search.cgi[36089]: {00} Stop  DpsTrack: 0.00
search.cgi[36089]: {00} Done  DpsFind 0.024
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1188311770



[dataparksearch] [Forum] Re: 2 программы на сайте

2007-09-06 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 2 программы на сайте

Можно поставить.
А можно и не ставить, а создать вторую конфигурацию, для indexer можно 
передавать файл конфигурации, отличный от дефолтного, в качестве параметра:
./indexer /path/to/another.conf
Это же правило действует для все программ dpsearch, за искючением search.cgi и 
mod_dpsearch, им другой шаблон можно передавать CGI-параметром &tmplt=
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1189134117



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Re: Непонятные результаты при поиске

Максим, извини за беспокойство, но есть ли идеи по данному вопросу?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991



[dataparksearch] [Forum] Re: у меня проблема при индексации...

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Antony
Subject: Re: у меня проблема при индексации...

ну что? есть идеи?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188272521;page=2



[dataparksearch] [Forum] Re: 2 программы на сайте

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: 2 программы на сайте

У меня главная програмаа проиндексировала в режиме cach, незапортит ли эти 
данные если я запущу с использованием другого conf ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1189134117



[dataparksearch] [Forum] Re: у меня проблема при индексации...

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: у меня проблема при индексации...

Попробуйте переконфигурить dpsearch добавив ключ --enable-trace для configure и 
пересобрать dpsearch. После этого он будет писать трейс выполняемых функций в 
файлы /tmp/dps_agent.*
Нас будет интересовать файлы с номером большим 200, /tmp/dps_agent.200.trace и 
самыми последними датами изменения на момент подвисания cached, двух файлов с 
самыми недавними датами будет достаточно, пришлите их мне на адрес maxime [at] 
maxime dot net dot ru.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188272521;page=2



[dataparksearch] [Forum] Re: Непонятные результаты при поиске

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Непонятные результаты при поиске

Попробуйте dbmode=cache, или вам нужен именно multi ?
Еще можно попробоватьпоследний снапшот версии 4.48
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1188380991;page=2



[dataparksearch] [Forum] 2 программы на сайте

2007-09-06 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: 2 программы на сайте

Подскажите , небудет проблем если я установлю две копии программы.
причина: нужна вторая копия для выполнения разовых индексация не для 
использования базы , для анадлиза сайта, затем этот сайт иди группа будет 
удалятся , вторая программа работает как поисковик и чтобы небыло накладок 
подумал посавить вторую и и приэтом они натсроены на разные базы, спрашиваю 
потому что та что для работы в качестве поисковика уже работает и боюсь 
испортить базу иначе бы просто попробоав неспрашивая, так что прошу ответьте 
можно ли так делать , конечно компилироваться будут отдельна каждая на свою 
дерикторию, но находятся обе на одном сервере.

Спасибо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: 2 программы на сайте

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: 2 программы на сайте

Если вы в новом конфиге укажите новую sql-базу и новую директорию в VarDir, то 
не запортит и не будет никакой связи с базами.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1189134117



[dataparksearch] [Forum] Re: неиндексируется

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: неиндексируется

Попробуйте в indexer.conf командой Bind указать явно IP-адрес вашего сетевого 
интерфейса.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1189173684



[dataparksearch] [Forum] Re: неиндексируется

2007-09-07 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: неиндексируется

Пробовал ставить IP сайта, нечего неполучилось, в понедельник попробую 
поговорить споддержкой сайта..
Спасибо
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1189173684



[dataparksearch] [Forum] Обновление

2007-09-09 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Pei0t
Subject: Обновление

Максим, здравствуйте.

Я с вопросом по поводу обновление dpsearch. Нужно ли оно и ведёт ли к коренным 
изменениям.
Сейчас использую "4.47-02052007".
Как правильно обновлять?

И не большая просьба, если можно писать изменения к след релизам так же на 
русском.

Заранее спасибо.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;post=



[dataparksearch] [Forum] Re: Обновление

2007-09-09 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Обновление

Изменения на русском доступны по адресу: 
http://www.dataparksearch.org/ChangeLog.ru

Всегда имеет смысл обновляться до последнего релиза, в вашем случае это 4.47 
(вы используете один из его снапшотов, выпощеных до релиза).
Если вы чувствуете себя уверенно с dpsearch, или в последних снапшотах 
исправлена существенная для вас ошибка, то имеет смысл обновиться до последнего 
снапшота версии 4.48.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1189332491



[dataparksearch] [Forum] Re: неиндексируется

2007-09-09 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: sasa
Subject: Re: неиндексируется

Поддержка сказала что уних защита только по сканированию портов и они 
предпологают что этим программа и занимается... подскажите что им сказать чтобы 
помогли решить проблему, ну конечно если они не правы по поводу программы
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1189173684



[dataparksearch] [Forum] Re: неиндексируется

2007-09-10 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: неиндексируется

DataparkSearch Engine - поисковая машина и сканирование портов не занимается...

Спросите, как они определяют, какому bind() разрешать, а какому - запрещать. 
Если они просто запрещают вызов bind(), то у вас помимо indexer не будет 
работать ни один демон dpsearch.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1189173684



[dataparksearch] [Forum] Re: Обновление

2007-09-10 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Pei0t
Subject: Re: Обновление

Спасибо,

И ещё вопрос, занимаетесь ли вы помимо технических вопросов работы dps ещё 
добавлением к интерфейсу каких-либо модулей?

Если да, то можно открыть ветку с пожеланиями для следующих релизов.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1189332491



[dataparksearch] [Forum] Re: Обновление

2007-09-10 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Обновление

Пожалания с удовольствием выслушаю, но никаких обязательств по реализации не 
даю. :)
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1189332491



[dataparksearch] [Forum] Re: Постой результат поиска, но не количество найденного

2007-09-21 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Постой результат поиска, но не количество найденного

Проверьте, правильно и выставлены кодировки в командах LocalCharset и 
BrowserCharset. LocalCharset должна соответствовать кодировке SQL-базы и быть 
идентичной во всех ваших конфигах. BrowserCharset должна совпадать с кодировкой 
ваших веб-страниц, в которой ваш веб-сервер принимает запросы от клиентов.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1190291006



[dataparksearch] [Forum] Re: Вывод части документа с подсвеченными результатами

2007-09-22 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: SkyRanger
Subject: Re: Вывод части документа с подсвеченными результатами

Спасибо настроил stored и searchd все работает, но как то странно, только если 
скопировать слово и вставить со страницы, если вводишь вручную ничего не 
находит :(

И еще не работает поиск по части слова, например Форумы он находит, а Форум уже 
нет :(
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1190336321



[dataparksearch] [Forum] Апгрейд 4.46 -> 4.47. Как это сделать правильно?

2007-09-22 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Andrey
Subject: Апгрейд 4.46 -> 4.47. Как это сделать правильно?

Установлена версия 4.46, хочу провести апгрейд до версии 4.46. Как это сделать? 
Путем обычной сборки? Останутся ли старые файлы конфигураций, файлы и структура 
базы?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;post=



[dataparksearch] [Forum] Re: Апгрейд 4.46 -> 4.47. Как это сделать правильно?

2007-09-23 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Апгрейд 4.46 -> 4.47. Как это сделать правильно?

Да, достаточно просто поставить поверх версию 4.47 и затем выполнить команду
indexer -Ecreate
без удаления старой базы (при этом сообщения об ошибках существования - 
нормальны).
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=04;topic_id=1190530550



[dataparksearch] [Forum] Re: Вывод части документа с подсвеченными результатами

2007-09-23 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: SkyRanger
Subject: Re: Вывод части документа с подсвеченными результатами

С кодировками разобрался вроде а вот нечеткий поиск не работает зарраза :(

Поставил ispell к нему словарь поставил и скомпилил 

в конфиге searchd.conf прописал

Affix ru windows-1251 russian.aff
Spell ru windows-1251 russian.dict

в логах смотрел он вроде не ругается на них

перезапустил всех демонов переиндексировал все 

и без толку :(

И еще заметил косяк, в сохраненых документах неправильно отображается заголовок 
этого документа если это русские буквы, только ?  
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1190336321



[dataparksearch] [Forum] Re: Вывод части документа с подсвеченными результатами

2007-09-23 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: SkyRanger
Subject: Re: Вывод части документа с подсвеченными результатами

Вот лог searchd

searchd[806]: {00} SIGHUP arrived
searchd[806]: {00} Reloading conf
searchd[807]: {00} Query Tracker: SIGTERM arrived
searchd[806]: {00} searchd started with '/usr/local/dpsearch/etc/searchd.conf'
searchd[806]: {00} VarDir: '/usr/local/dpsearch/var'
searchd[806]: {00} MaxClients: 1
searchd[806]: {00} Affixes: 1316, Spells: 1010, Synonyms: 0, Acronyms: 0, 
Stopwords: 0
searchd[806]: {00} Chinese dictionary with 0 entries
searchd[806]: {00} Korean dictionary with 0 entries
searchd[806]: {00} Thai dictionary with 0 entries
searchd[806]: {00} Query tracker child started.
searchd[806]: {00} Listening port 7003
searchd[806]: {00} Ready

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1190336321



[dataparksearch] [Forum] странный proc title у cached

2007-09-24 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: странный proc title у cached

uname -a
>Linux XXX 2.6.16.27-0.9-smp #1 SMP Tue Feb 13 09:35:18 UTC 2007 x86_64 x86_64 
>x86_64 GNU/Linux
>SUSE LINUX 10.1 (X86-64)
cat var/cached.pid
>10368
ps aux | grep 10368
>root 10368  0.0  0.0 200268  3728 ?Ssl  15:11   0:00 -[207] u  d
netstat -nlp | grep 7000
>tcp0  0 127.0.0.1:7000  0.0.0.0:*   LISTEN 
> 10368/-[207] u  d



- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;post=



[dataparksearch] [Forum] Re: странный proc title у cached

2007-09-24 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: странный proc title у cached

Какая версия dpsearch используется ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1190638123



[dataparksearch] [Forum] Re: странный proc title у cached

2007-09-24 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: странный proc title у cached

dpsearch-4.47
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1190638123



[dataparksearch] [Forum] Сортировка результатов поиска

2007-09-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Сортировка результатов поиска

Максим, интересует возможность сортировки результатов поиска. Если есть 
описание в мане, то укажите, пожалуйста, место, но всё обыскал и не нашел :(. 
Вот я наблюдаю в поисковике 43N39E сортировку по дате, важности, релевантности 
и популярности. Как это реализовать? Есть ли еще какие-нибудь функциональные 
возможности сортировки?

Заранее благодарен.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;post=



[dataparksearch] [Forum] Re: Сортировка результатов поиска

2007-09-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Сортировка результатов поиска

Пока непонятно, что вы хотите получить...
шаблон 43n39e находится в дистрибутиве в директории doc/samples, используйте 
его в качестве примера.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=05;topic_id=1190712442



[dataparksearch] [Forum] Re: Проблема с отображением результатов поиска

2007-09-25 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: Проблема с отображением результатов поиска

Чем все закончилось?
Перестал отображаться результат. Аналогичная конфигурация indexer.conf
При настройке в search.thm
DBAddr  mysql://search:[EMAIL 
PROTECTED]/search_db/?dbmode=crc-multi&stored=localhost:7004/
результат верный!
при настройке 
DBAddr searchd://localhost:7003/?stored=localhost:7004/
пустой. Причем кол-во результатов показывает правильное.
sbin/searchd в ps присутствует. 

Search for очень хочу. Search results: очень: stopword, хочу: 1260 / 1260

   Sorry, your search for очень хочу did not find any results.
   No documents were found containing "очень хочу".

   Suggestions:
 * Make sure all words are spelled correctly.
 * Try different keywords.
 * Try more general keywords. Also, you can try extended search mode.


   Powered by DataparkSearch Engine

как обьяснить?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1175852277



[dataparksearch] [Forum] Re: Проблема с отображением результатов поиска

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: Проблема с отображением результатов поиска

в searchd.conf
DBAddr mysql://search:[EMAIL PROTECTED]/search_db/?dbmode=crc-multi
передергнул searchd и stored сигналом SIGHUP и вроде стало работать.

Сегодня отиндексировал 1 страниц с одного сайта, запустил search.cgi - 
получил корку. Вышлю позже.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1175852277



[dataparksearch] [Forum] Re: Проблема с отображением результатов поиска

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: Проблема с отображением результатов поиска

Собственно корка от search.cgi:
(gdb) bt
#0  0x2ba7525a878f in strftime_l () from /lib64/libc.so.6
#1  0x2ba75127fe59 in DpsFind (A=0x524660) at db.c:1381
#2  0x004026f6 in main (argc=, argv=) at search.c:492
---
db.c:1381
if (last_mod_time > 0) {
=>if (strftime(str, 128, format, localtime(&last_mod_time)) == 0) {
DpsTime_t2HttpStr(last_mod_time, str);
  }

(gdb) p str
$4 = 
"0.0\0002915082611443594774303755877356830332081595071589389314942583011724413364381236727163232941785601328091446405175523"
p format
$5 = 1932733989
(gdb) p last_mod_time
$6 = 4602681251116445692
(gdb) p i
$7 = 0
(gdb) p num
$8 = 10

всвязи с отсутствием perl и apache тестирую след образом: ./search.cgi 
"бла-бла-бла" >test.html
ну и потом все это хозяйство смотрю. В этом не должно быть проблемы.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1175852277



[dataparksearch] [Forum] Re: Проблема с отображением результатов поиска

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Владимир
Subject: Re: Проблема с отображением результатов поиска

Ага. Как обычно... Все методом тыка... А ведь наверняка где-то написано про 
это...
Спасибо за оперативность!
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1175852277



[dataparksearch] [Forum] Re: Detect clone algoritm

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: Maxime
Subject: Re: Detect clone algoritm

Что значит "смержить" ?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1190818033



[dataparksearch] [Forum] can't get search.cgi to work from browser

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: saung
Subject: can't get search.cgi to work from browser

Hi,
This is probably a stupid question but I couldn't figure out what was wrong.  
So I've compiled and installed everything and it seems to be fine.  I grabbed 
the search.cgi file from /usr/local/dpsearch/bin and put it in my cgi-bin 
folder. I know the folder is accessible because I can access other files/pages 
in that folder from a browser.  I checked and made sure that search.cgi had 
read and execute access for everyone.  I know that search.cgi should work 
because when I run it from the command line it outputs the html to the screen.  
However, when I try to access the page from a browser I get a 500 Internal 
Server Error.  I checked the apache error log and it says the error was a 
"Premature end of script errors".  

I'm guessing this would be a problem with the script not having access to 
certain resources.  I checked the dpsearch directory in /usr/local/dpsearch and 
it seems that all the folders have the read and execute bits set for all.  I 
wasn't able to get an index to run (I checked and the tables have been created 
with -Ecreate though) but I don't think that should have anything to do with 
this accessing problem.  

I'm using MySQL as the database and the search.htm in /usr/local/dpsearch/etc 
has read access for everyone.  Am I just missing something simple?  Thanks in 
advance.
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=02;post=



[dataparksearch] [Forum] Поэтапное индексирование

2007-09-26 Пенетрантность DataparkSearchForum
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
Name: ruler
Subject: Поэтапное индексирование

Максим, есть такая проблема: необходимо индексить не всё сразу, а по частям, но 
чтобы результаты индексирования сразу были видны при поиске. Для этого провожу 
такие действия в последовательности:

./indexer -n100
./kill -HUP `cat /usr/local/dpsearch/var/cached.pid`
./indexer -HW
./indexer -ZZZ

Вопросы:
1. Всё ли я правильно делаю? В такой ли последовательности?  Может что-то не 
нужно делать?
2. При запуске ./indexer -HW начинается индексация дальше. Почему?
- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Read the full topic here:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;post=



  1   2   3   4   5   6   7   8   9   10   >