robots.txt

---

O robots.txt é um aspeto importante na forma como as "spider" (altavista, google, hotbot, etc.) indexam homepages.

Caso você pretenda, por alguma razão que o seu site não seja indexado, existe um standard que pode ser usado. Crie um file chamado de robots.txt e coloque no diretório principal do seu webserver com a seguinte informação:

User-agent: *
Disallow: /

Dessa forma, o seu webserver não será indexado por "spider" que respeitam o robots standard. Caso pretenda que apenas alguns diretórios não sejam indexados use

User-agent: *
Disallow: /tmp

A terceira e última hipótese é não deixar o seu webserver ser indexado por certos "spider". A forma de fazer é:

User-agent: webcrawler
Disallow: /tmp
User-agent: lycra
Disallow: /
User-agent: *
Disallow: /tmp
Disallow: /logs

Caso queira que o seu site seja indexado sem qualquer limitação basta criar um robots.txt em branco ou nem criar qualquer file.

---

Categoria: HTML
Criado em: 25-03-2000 01:11
Ref. #: 17
Modificado em: 05-01-2001 17:57
Voltar FAQ