Re: white & bad bots Помогите

2019-06-10 Пенетрантность Maxim Dounin 
Hello!

On Sun, Jun 09, 2019 at 07:00:45AM -0400, ocadihoh wrote:

> Здравствуйте помогите пожалуйста.
> есть список плохих ботов
> if ($http_user_agent ~*
> (360Spider|80legs.com|Abonti|AcoonBot|Acunetix||ZyBorg|google) ) {
>   return 410;
>   }
> там присутствует google - но в таком варианте банит всех ботов гугла,!
> Нужно забанить всех кроме мобильного бота
> 
> Обычные user agent
> Подскажите пожалуйста как пропускать только мобильного бота Google остальных
> банить
> Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
> Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible;
> Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
> Googlebot/2.1 (+http://www.google.com/bot.html)
> 
> mobile
> Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46
> (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible;
> AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
> 
> 4 день голову ломаю.
> Зарание огромное спасибо.

Читайте про negative look-ahead assertions, что-то вроде 
"google(?!.*mobile)" должно сработать.

-- 
Maxim Dounin
http://mdounin.ru/
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: white & bad bots Помогите

2019-06-09 Пенетрантность Raven_kg 
map $http_user_agent $bad_bot {
default 0;
~*360Spider 1;
~*AdsBot-Google-Mobile 0;
~*google   1;
...
}

и в нужном  локейшене:

if ($bad_bot) {
return 410;
}

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,284490,284494#msg-284494

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

white & bad bots Помогите

2019-06-09 Пенетрантность ocadihoh 
Здравствуйте помогите пожалуйста.
есть список плохих ботов
if ($http_user_agent ~*
(360Spider|80legs.com|Abonti|AcoonBot|Acunetix||ZyBorg|google) ) {
return 410;
}
там присутствует google - но в таком варианте банит всех ботов гугла,!
Нужно забанить всех кроме мобильного бота

Обычные user agent
Подскажите пожалуйста как пропускать только мобильного бота Google остальных
банить
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible;
Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)

mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46
(KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible;
AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

4 день голову ломаю.
Зарание огромное спасибо.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,284490,284490#msg-284490

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru