ola pessoas. montei um server web tempos atras e to acompanhando os logs do apache de todos os dominios o seguinte: 66.249.66.139 - - [25/Nov/2005:05:36:02 -0200] "GET /robots.txt HTTP/1.1" 404 298 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-" alguem
On Fri, 25 Nov 2005, Marcelo H. wrote:
ola pessoas.
montei um server web tempos atras e to acompanhando os logs do apache de
todos os dominios o seguinte:
66.249.66.139 - - [25/Nov/2005:05:36:02 -0200] GET /robots.txt HTTP/1.1
404 298 - Mozilla/5.0 (compatible; Googlebot/2.1;
Quando você NÃO quer que o google invada a privacidade do seu site,
você coloca um arquivo robots.txt (acho que tem um formato específico
do conteúdo do arquivo. Siga o link para mais detalhes) na raiz do
site, por isso ele procura pelo arquivo logo de cara.
STFW
Abraços,
Fabiano
Em 25/11/05,
fhaeiheaiheaiaeheia.nossafoi mal eh q eu tava tao injuriado com esses trecos aeq achei q tavam tentando prejudicar o servidordae na pressa tive q apelar aki na lista heheheh mas pelo q entendi, nesse arquivo eh soh pra colocar as diretivas de restricao de acesso ao
Ol Marcelo !!!
http://www.google.com/webmasters/bot.html#howoften
2. Como posso solicitar ao Google para
no indexar determinadas partes do meu site?
O robots.txt um documento padro que
informa ao Googlebot que ele no deve fazer o download de determinadas
informaes do seu servidor web. O
5 matches
Mail list logo