Selamlar;
Gelen botlara spesifik bir kural yazabilirsiniz. Biraz access_log okuduktan
sonra onlara ozel bir tanimlama yapabilirsiniz. Ben de genellikle nginx
reverse proxy kullaniyorum.
Ornek olarak.
burada host kontrolu yapiyorum. (gercekte kontrol ettiklerim xxx yyy degil
tabi ki.)
if ($host !~* ^(xxx.xxx.xxx|yyy.yyy.yyy)$ ) {
return 444;
}
ya da agent'a bakabilirsiniz.
location / {
if ( $http_user_agent ~* 'Amazon Route 53 Health Check Service' ) {
access_log off;
return 200 'Service OK';
}
ihtiyaciniz olan botlarin gelis sekline bakarak bir pattern yakalamak.
illaki host ya da agent olmak zorunda degil. $request_uri uzerinden de
birseyler yakalamak mumkun.
On Wed, Oct 31, 2018 at 5:45 PM Abdullah Ülker (Yandex) <
abdullahul...@yandex.com> wrote:
> Bir sitede nginx+apache kullaniyorum. Nginx 80 Portu dinliyor arkadaki
> apacheye iletiyor.
> Bu konuda sorun yok.
>
> Bir ara varnish denedik ama verim alamadık.
> CPU yükü tavan yaptı.
>
>
> Benim yapmak istediğim botları engellemek.
> Zira belli bir ip engellendiginde ip değiştirip yeniden geliyor.
>
> SEO nun önemi yok.
>
> Sunucu stabil çalışsın istiyorum.
>
> Nginx için önerebileceginiz link varmı?
>
> Yada örnek yapılandırma dosyaları?
>
>
>
> 31 Ekim 2018 17:05:14 VEDAT ELCIGIL <elci...@gmail.com> yazdı:
>
> > merhaba Abdullah bey,
> >
> > reverse proxy nedir diye bir araştırma yapın. ihtiyacınız olan sey bu.
> >
> > ben nginx ile botların cpu yu tavan yapmasını engelliyerek normal
> seviyeye
> > düşürdüm.
> >
> > birde sesion time out parametre sinden süreyi kısaltın.
> >
> > ana sayfanızda bolca resim varsa top yapması normaldir. özellikle haber
> > siteleri apache yi yorar. bu bakımdan apache optimizasyon başlıklarına
> > bakmanız gerekiyor.
> >
> > ip başına sesion limit koyabilirsiniz. ama buda seo yu düşürür. seo ya
> > gerek yok derseniz uygulayın.
> >
> >
> > yatirim yapabiliyorsanız, custer yada load balance yapabilirsiniz.
> >
> >
> > Saygılarımla
> > Vedat ELÇİGİL
> >
> >
> > Bu mesaj cep telefonundan gönderilmiştir.
> >
> > On Wed, Oct 31, 2018, 16:08 Abdullah Ülker (Yandex) <
> > abdullahul...@yandex.com> wrote:
> >
> >> Merhaba
> >>
> >> Yüksek hitli bir sitede devamlı surette web botlar aşırı trafik
> >> oluşturmaktadır.
> >>
> >> Robots.txt işe yaramıyor.
> >>
> >> Botların siteyi taramalarini engellemek için önerileriniz varmıdır?
> >>
> >> Sizler nasıl tedbirler alıyorsunuz?
> >>
> >> Sistem: Ubuntu apache WordPress.
> >>
> >>
> >> _______________________________________________
> >> Linux-sunucu E-Posta Listesi
> >> Linux-sunucu@liste.linux.org.tr
> >>
> >> Liste kurallarını http://liste.linux.org.tr/kurallar.php
> bağlantısından
> >> okuyabilirsiniz;
> >>
> >> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden
> gelen
> >> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak
> 1
> >> dakika içinde üyeliğinizi sonlandırabilirsiniz.
> >> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
> >>
> >
> >
> >
> > ----------
> > _______________________________________________
> > Linux-sunucu E-Posta Listesi
> > Linux-sunucu@liste.linux.org.tr
> >
> > Liste kurallarını http://liste.linux.org.tr/kurallar.php
> bağlantısından
> > okuyabilirsiniz;
> >
> > Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden
> gelen
> > e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak
> 1
> > dakika içinde üyeliğinizi sonlandırabilirsiniz.
> > https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
> >
>
>
> _______________________________________________
> Linux-sunucu E-Posta Listesi
> Linux-sunucu@liste.linux.org.tr
>
> Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından
> okuyabilirsiniz;
>
> Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen
> e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1
> dakika içinde üyeliğinizi sonlandırabilirsiniz.
> https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
>
--
Recep KIRMIZI
_______________________________________________
Linux-sunucu E-Posta Listesi
Linux-sunucu@liste.linux.org.tr
Liste kurallarını http://liste.linux.org.tr/kurallar.php bağlantısından
okuyabilirsiniz;
Bu Listede neden bulunduğunuzu bilmiyorsanız veya artık bu listeden gelen
e-postaları almak istemiyorsanız aşağıdaki bağlantı adresini kullanarak 1
dakika içinde üyeliğinizi sonlandırabilirsiniz.
https://liste.linux.org.tr/mailman/listinfo/linux-sunucu
