O robots.txt é um arquivo na raíz do seu site que informa os robôs da internet (as maquininhas responsáveis por indexar seu site em sistemas como o do google ou yahoo) o que pode ou não ser indexado. Ele é particularmente interessante ao se trabalhar em ambientes de teste disponíveis na internet ou quando não se quer alguma página específica disponível a todos.
Em miúdos, o robots.txt é bastante útil, entretanto, sua integração ótima no Django é um pouco cabeluda. "Por quê?" Você perguntaria. Muito simples meu caro Watson, projetos Django, normalmente, utilizam uma pasta especial para servir todo o seu conteúdo estático, e essa pasta especial, normalmente, é acessada por um caminho ou path diferente da raíz. Isso quer dizer que quando um robô indexador procura o robots.txt em meusite.com/robots.txt, ele não o achará, pois o mesmo está, provavelmente, em media/robots.txt.
Para resolver esse problema, existe uma série de abordagens, como criar uma view que sirva o arquivo, por exemplo. Uma abordagem mais interessante e eficiente é utilizar o mod_rewrite do Apache nesse trabalho. O código ficaria assim:
RewriteEngine On RewriteRule ^robots\.txt$ /media/robots.txt [L](contribuição de Dave Dash)
"/media/" no caso, é o caminho para os arquivos estáticos do seu site. Estou postando essa solução (simples para quem conhece Apache) porque achei bem interessante e me tomou alguns minutos de pesquisa.
No mais, é isso. Abraço a todos!
Nenhum comentário:
Postar um comentário