- - - - - - - - - - - - - - - - - - - - - - - - - - - - Name: есть еще такая тема Subject: Re: robots.txt: User-agent: dpsearch
Вы наверное неправильно меня поняли или я может чего недопонял Но вот взять например Яндекс User-Agent у его бота такой "Yandex/1.01.001 (compatible; Win16; I)" Но чтобы заставить его подчинятся robots.txt пишут: User-agent: yandex Disallow: /www/delo.php командой HTTPHeader мы всего можем установть User-Agent и указать адрес поисковика допустим В синтаксисе robots.txt используется короткая общепринятая запись (напр "Yandex" или "Googlebot") - насколько я понял ее установить нельзя - - - - - - - - - - - - - - - - - - - - - - - - - - - - Read the full topic here: http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=06;topic_id=1143533690
