A “User-agent:” segítségével tudjuk meghatározni, hogy melyik keresőmotor keresőrobotját szeretnénk irányítani. Lássunk egy másik példát, ahol bizonyos tartalmakat elrejtünk a keresőrobotok elől:
User-agent: * Disallow: /mappa1/ Disallow: /valami.html Ezzel megtiltjuk a robotok számára, hogy megindexeljék a mappa1 tartalmát, illetve a valami.html oldalt. User-agent: * Disallow: / Ezzel kitiltjuk az összes oldalról a keresőrobotokat. Erre viszonylag ritkán van szükségünk, például abban az esetben, ha ugyanaz a tartalmunk több különböző címen is megtalálható, mivel a keresők nem szeretik a duplikált tartalmakat. https://www.honlapkeszites-pecs.com/a-keresorobotok-es-az-iranyitasuk/ Üdvözlettel –––––––––––––––––––––––––––––– Schveibert Róbert Mérnök-Informatikus Okleveles Mérnöktanár Glorius Webmester <dgz...@gmail.com> ezt írta (időpont: 2019. márc. 7., Cs, 13:38): > Üdv a Listának! > > Weboldalunk (budenz.sulinet.hu > ) az utóbbi időben nagyon belassult a localhost-on nézve is. Azaz nem > sávszélesség probléma. > > Megnézve az Apache2 access.log-ot (tail -f /var/log/apache2/access.log), a > konzol pereg, alig tudom leolvasni, ki olvas eszeveszetten minket. > Folyamatosan, órákig. > > Ma pl: 35.198.121.60 - Amazon.com > Tegnap: 66.249.66.147 - Google > > A tegnapit kitiltottam az IP címet, de ez nem megoldás hosszú távon. > > Eddig ezt nem tapasztaltam. A fenti konzol képernyő nem mozdult, időnként > belendült, aztán megint csend (napi max 2-300 találatunk van normálisan). > > Mit lehet tenni ez ellen? (Már nagyon lassú a válaszidő a webszerveren - > hardvert nem fejlasztenék a Google miatt) > > Köszönettel > > -- > _________________________ > Dicső Géza > _______________________________________________ > Techinfo mailing list > Techinfo@lista.sulinet.hu > Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo > Illemtan: http://www.szag.hu/illemtan.html > Ügyfélszolgálat FAQ: http://sulinet.niif.hu/ >
_______________________________________________ Techinfo mailing list Techinfo@lista.sulinet.hu Fel- és leiratkozás: http://lista.sulinet.hu/mailman/listinfo/techinfo Illemtan: http://www.szag.hu/illemtan.html Ügyfélszolgálat FAQ: http://sulinet.niif.hu/
