Dear Developers, I have some problem with fetcher.
I analyzed the fetch output log file, and found the followings: 1. - Fething start at 8:30:00 and end at 9:04:38. Fetched 41201 pages. ->> fetch speed : 34 min * 60 sec =2040 +38 = 2078 sec, 41201 / 2078 = 1982 pages / sec. - Fetchtool loged: 17.56 pages/ sec 2. I used: grep fetching fetch_3.log >f_3.log sort f_3.log >f_03.log When I check f_03.log, I found that, there are many of pages fetched duplicate (but not duplicates in the 'fetched' list), e.g. the last page of the log: 050427 173446 fetching http://www.vincekiado.hu/groups/idesign.html 050427 173446 fetching http://www.vincekiado.hu/groups/idesign.html 050427 173447 fetching http://totalcar.hu/tesztek/supernova/ 050427 173447 fetching http://totalcar.hu/tesztek/supernova/ 050427 173447 fetching http://www.danubius.hu/radio/88052 050427 173447 fetching http://www.danubius.hu/radio/88052 050427 173447 fetching http://www.elelmezesvezetok.hu/2002-05-02.htm 050427 173447 fetching http://www.fotohaz.hu/forum/show.php/act/ST/f/5/t/85/view/getlastpost 050427 173447 fetching http://www.globalpress.hu/rovatok/auto-motor/tesztek.htm 050427 173447 fetching http://www.globalpress.hu/rovatok/auto-motor/tesztek.htm 050427 173447 fetching http://www.magyar.film.hu/object.b9c19805-0d03-48e3-9a98-3c53b157df6a.ivy 050427 173447 fetching http://www.sambosi.hu/szakcsbio.htm 050427 173447 fetching http://www.szulocsatorna.hu/fizika/atom/tartalom/fizikus/einvio2.htm 050427 173447 fetching http://www.vendegvaro.hu/kep43-4-32 050427 173447 fetching http://www.vendegvaro.hu/kep43-4-32 050427 173447 fetching http://www.vendegvaro.hu/krs36-5-1696-2 050427 173447 fetching http://www.vendegvaro.hu/krs36-5-1696-2 050427 173448 fetching http://mimi.hu/gasztro/burgonyafank.html 050427 173448 fetching http://mimi.hu/gyermek/lefektetes.html 050427 173448 fetching http://www.fokuszonline.hu/cgi-bin/htmlos.cgi/34157.54.7570573471910998685 050427 173448 fetching http://www.fokuszonline.hu/cgi-bin/htmlos.cgi/34157.57.6093562709710998685 050427 173448 fetching http://www.fokuszonline.hu/cgi-bin/htmlos.cgi/34157.79.4569133879410998685 050427 173448 fetching http://www.fokuszonline.hu/cgi-bin/htmlos.cgi/34157.83.8182681077210998685 050427 173448 fetching http://www.iif.hu/~visontay/ponticulus/megcsapottak/madarak.html 050427 173448 fetching http://www.mimi.hu/eu/europai_jelkepek.html 050427 173448 fetching http://www.mimi.hu/matematika/radian.html 050427 173448 fetching http://www.neterotika.hu/Erotica/Openpages/Kukkolo/Pages2/11.html 050427 173448 fetching http://www.neterotika.hu/Erotica/Openpages/Privat/ildiko/1.html 050427 173448 fetching http://www.nol.hu/forum/topic/72500/ 050427 173448 fetching http://www.stieber.hu/magunkrol.html 050427 173448 fetching http://www.tomshardware.hu/graphic/04q2/040414/geforce_6800-18.html 050427 173449 fetching http://hvg.hu/media/20050422viszkis.aspx 050427 173449 fetching http://www.fotohaz.hu/forum/show.php/act/ST/f/5/t/85/view/getlastpost 050427 173449 fetching http://www.fsz.bme.hu/obmk/f6.html 050427 173449 fetching http://www.lib.uni-corvinus.hu/gyar/gyar20040304hun/auth_9101.html 050427 173449 fetching http://www.webbusinessdunaujvaros.hu/privacy 050427 173449 fetching http://www.webbusinesskeszthely.hu/offer/82615 050427 173450 fetching http://www.freeweb.hu/ujhentes/Estimese.htm 050427 173451 fetching http://members.iif.hu/visontay/ponticulus/forrasok/y.html 050427 173454 fetching http://www.fotohaz.hu/forum/index.php?act=ST&f=5&t=85&view=getlastpost&; 050427 173459 fetching http://www.fotohaz.hu/forum/index.php?s=3745670b05015538bcdbb0b953172538&act=ST&f=5&t=85&st=450&#entry1 0195 I think this is slow down the fetcher process. Best Regards, Ferenc
