[meio off] robots no logs do apache

2005-11-25 Por tôpico Marcelo H.
ola pessoas. montei um server web tempos atras e to acompanhando os logs do apache de todos os dominios o seguinte: 66.249.66.139 - - [25/Nov/2005:05:36:02 -0200] "GET /robots.txt HTTP/1.1" 404 298 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" alguem

Re: [meio off] robots no logs do apache

2005-11-25 Por tôpico Marcos Vinicius Lazarini
On Fri, 25 Nov 2005, Marcelo H. wrote: ola pessoas. montei um server web tempos atras e to acompanhando os logs do apache de todos os dominios o seguinte: 66.249.66.139 - - [25/Nov/2005:05:36:02 -0200] GET /robots.txt HTTP/1.1 404 298 - Mozilla/5.0 (compatible; Googlebot/2.1;

Re: [meio off] robots no logs do apache

2005-11-25 Por tôpico Fabiano Pires
Quando você NÃO quer que o google invada a privacidade do seu site, você coloca um arquivo robots.txt (acho que tem um formato específico do conteúdo do arquivo. Siga o link para mais detalhes) na raiz do site, por isso ele procura pelo arquivo logo de cara. STFW Abraços, Fabiano Em 25/11/05,

Re: [meio off] robots no logs do apache

2005-11-25 Por tôpico Marcelo H.
fhaeiheaiheaiaeheia.nossafoi mal eh q eu tava tao injuriado com esses trecos aeq achei q tavam tentando prejudicar o servidordae na pressa tive q apelar aki na lista heheheh mas pelo q entendi, nesse arquivo eh soh pra colocar as diretivas de restricao de acesso ao

Re: [meio off] robots no logs do apache

2005-11-25 Por tôpico Ivan Santos
Ol Marcelo !!! http://www.google.com/webmasters/bot.html#howoften 2. Como posso solicitar ao Google para no indexar determinadas partes do meu site? O robots.txt um documento padro que informa ao Googlebot que ele no deve fazer o download de determinadas informaes do seu servidor web. O