E chiar mai inutil raspunsul asta decat cealalta pagina de SO pe care o gasisem. Stiu deja ca nu se uita la robots.txt si ma gandesc deja la metode cum sa-l blochez sau sa-i fac rate-limit, intrebam doar daca e normal behaviour si poate imi scapa mie ceva de botul ala era atat de hotarat sa imi ceara resursele cu pricina de niste zeci de mii de ori.
-- P. 2014-11-27 17:58 GMT+02:00 Cristian Marin <[email protected]>: > > https://stackoverflow.com/questions/7716531/facebook-and-crawl-delay-in-robots-txt > > (Stiu din surse sigure ca nu iti place stackoverflow - dar pare o cauza > foarte valida) > > Cristic > > あなたのコードを確保する！ > > -----Original Message----- > From: [email protected] [mailto:[email protected]] On > Behalf Of Petru Ratiu > Sent: Thursday, November 27, 2014 15:16 > To: Romanian Linux Users Group > Subject: Re: [rlug] problema cu crawlerul facebook > > M-am gandit, da' toate requesturile erau identice. :) > > -- > P. > > 2014-11-27 14:54 GMT+02:00 Mihai Tianu <[email protected]>: > > > Imi aduce aminte de asta: > > http://chr13.com/2014/04/20/using-facebook-notes-to-ddos-any-website/? > > > > 2014-11-27 14:13 GMT+02:00 Petru Ratiu <[email protected]>: > > > > > Ceva mai devreme m-am trezit ca crawlerul de la Facebook s-a > > > indragostit foarte tare de anumite resurse de pe prima pagina a > > > site-ului si a > > inceput > > > sa le ceara intr-o veselie (de vreo 100 de ori pe secunda). L-a > > > apucat brusc pe la 13:05 si i-a trecut la fel de brusc pe la 13:45. > > > > > > Nu parea sa se uite la ETag si ca atare imi cerea in disperare > > > resursa cu pricina. Din cate vad nu-i dau header de expires, asa ca > > > poate de-aia > > nu-i > > > dadeam 304 la urmatoarele, but still, ce naiba i-a venit? > > > > > > Stiti careva mai bine scheme de-astea cu boti? Pe net n-am gasit > > > nimic > > care > > > sa ma lamureasca. (Da, sunt convins ca e facebook, era de la ip-ul > > > corect si tot tacamul). > > > > > > -- > > > P. > > > _______________________________________________ > > > RLUG mailing list > > > [email protected] > > > http://lists.lug.ro/mailman/listinfo/rlug > > > > > > > > > > > -- > > > > ~Mihai > > _______________________________________________ > > RLUG mailing list > > [email protected] > > http://lists.lug.ro/mailman/listinfo/rlug > > > _______________________________________________ > RLUG mailing list > [email protected] > http://lists.lug.ro/mailman/listinfo/rlug > _______________________________________________ > RLUG mailing list > [email protected] > http://lists.lug.ro/mailman/listinfo/rlug > _______________________________________________ RLUG mailing list [email protected] http://lists.lug.ro/mailman/listinfo/rlug
