Os bots dos mecanismos de busca estão constantemente escaneando sites para serem indexados. Mas por alguma razão você pode optar por esconder seus sites. Neste caso o robots.txt pode ser utilizado para impedir que os bots acessem a sua página.
Neste tutorial, você vai aprender como criar robots.txt – chamado erroneamente por algumas pessoas de robot.txt.
Do Que Você Vai Precisar
Antes de iniciar você vai precisar:
- Acesso ao painel de controle de sua hospedagem ou FTP.
1. Acesse o Servidor e Crie o Arquivo robots.txt
Antes de mais nada, você precisa criar um arquivo para criar robots.txt. Para isso você pode usar um cliente FTP ou o Gerenciador de Arquivos. O arquivo deve ser colocado na mesma pasta onde se encontra seu site (geralmente public_html). Neste tutorial vamos usar o Gerenciador de Arquivos para criar robots.txt:
2. Editar o Arquivo robots.txt
Cada mecanismo de busca usa seu crawler (bot ou user-agent) próprio. Ao criar robots.txt você pode especificar o crawler usando o User-agent. Existem centenas de crawlers, mas os mais comuns são:
- Googlebot
- Yahoo! Slurp
- bingbot
- AhrefsBot
- Baiduspider
- Ezooms
- MJ12bot
- YandexBot
Por exemplo, se você quer impedir o crawler do Google de acessar o seu site, basta editar o arquivo com a seguinte regra:
User-agent: Googlebot Disallow: /example-subfolder/
Caso você queira bloquear página de todos os crawlers é só usar o *:
User-agent: * Disallow: /
Se você quer prevenir que o crawler acesse algum diretório ou arquivo específico, a regra é semelhante, mas você precisa especificar o nome do arquivo ou pasta. Digamos que você não quer que os crawlers acessem o diretório artigos e o arquivo private.php apenas. Nesse caso o robots.txt vai ficar assim:
User-agent: Bingbot Disallow: /subpasta-exemplo/pagina-bloqueada.html
Quando terminar de editar o arquivo robots.txt não esqueça de salvar as alterações.
Conclusão
Você acabou de aprender como impedir que crawlers (ou bots) de mecanismos de busca acessem e indexem o seu site. Isso é útil para prevenir que seu site apareça nos mecanismos de busca, claro, se é isso mesmo que você quer que aconteça.
Aprenda mais sobre Otimização de Sites
O Que é Otimização de Sites
Como Criar um Sitemap no WordPress
Este artigo é uma versão localizada do Robots.TXT disallow: how does it block search engines, originalmente publicado em inglês.
Todo o conteúdo dos tutoriais deste site segue os rigorosos padrões editoriais e valores da Hostinger.
A Ariane é SEO Team Leader com experiência em conteúdo, localização e SEO. Seu desafio é levar a Hostinger ao topo dos resultados no Brasil, França e Reino Unido. Eventualmente ela compartilha seu conhecimento no blog e nos tutoriais da Hostinger e no tempo livre ela gosta de explorar lugares novos e viver intencionalmente.
