On Sat, 10 Oct 2015, Илья Шипицин wrote:
говорят, что поисковики таким образом могут находить поисковый спам (т.е.
ситуацию, когда контент, отдаваемый роботу, отличается от
пользовательского).
возможно, это сам гугл и был
Так и есть - большие поисковики регулярно "перепроверяют" проиндексированные
сайты, заходя из не-своих сетей. Но при этом они строго играют в "тайного
покупателя" - т.е. полностью отдают все присущие данному UA заголовки и
никакими специфическими заголовками себя не выдают ;-)
--
Best regards,
Andrey Kopeyko <[email protected]>
_______________________________________________
nginx-ru mailing list
[email protected]
http://mailman.nginx.org/mailman/listinfo/nginx-ru
