Melhores robôs TXT para hospedagem drupal

Todos os dias, milhões de pessoas usam o Google Image Search para encontrar fotos, produtos e pessoas. Se você estiver usando Drupal, as chances são que você não está recebendo qualquer deste tráfego.

o arquivo robots.txt do Drupal contém um grande erro. Surpreendentemente, o erro tem sido há anos, e muito poucas pessoas parecem saber sobre isso.

Dê uma olhada neste trecho do arquivo robots.txt Drupal padrão. Você consegue identificar o problema?

Por padrão, cada imagem que você enviar para o seu site Drupal fica armazenado em algum lugar dentro do diretório "Sites". E, por padrão, o Drupal está bloqueando todos os motores de busca de olhar dentro do diretório "Sites". Em outras palavras, as imagens não estão sendo indexados!

Se você tem um site Drupal com as imagens que você quer outras pessoas a encontrar, este é um problema sério. (Eu descobri este por acidente na semana passada, quando notei nenhuma das imagens no meu Photoshop local efeitos do texto foram sendo indexados pelo Google).

Para ilustrar o quão comum este problema é, vamos dar uma rápida olhada no blog do Dries Buytaert. Dries é, naturalmente, o criador do Drupal, mas ele também é um bom fotógrafo. Na verdade, Dries submeteu milhares de fotos para o seu blog, incluindo centenas de fotos de DrupalCon e dezenas de gráficos e tabelas perspicazes. Mas quantas dessas imagens tem o Google realmente indexados?

Somente 13. Infelizmente, o arquivo robots.txt do Dries contém o padrão "Disallow: / sites /" linha.

Se Dries é afetado, você provavelmente está, também. Executando um site de e-commerce? toda a sua linha de produtos pode estar faltando Google Image Search. Ter um blog de fotografia? Yahoo e Bing são, provavelmente, ignorando tudo o que você postar.

Se ninguém pode procurar as suas imagens, você está literalmente se afastando tráfego. E não apenas o tráfego de pesquisa de imagem: de alta qualidade, imagens indexáveis ​​são uma característica fundamental de qualquer site de alto escalão. Se as imagens não são indexáveis, você está fazendo um grande erro SEO.

Pior ainda, este problema não afeta apenas imagens. PDFs, arquivos Flash, documentos de texto, e outros envios todos vão para a mesma pasta "locais". Google sabe como índice esses arquivos, mas seu arquivo robots.txt está parando GoogleBot frio.

Felizmente, a solução é fácil: Basta remover "Disallow: / sites /" do seu arquivo robots.txt. O arquivo está localizado em seu diretório principal Drupal e pode ser editado com um editor de texto padrão. Google deve pegar as mudanças dentro de alguns dias e começar a indexar seus arquivos logo após.

Corrigindo o arquivo robots.txt deve ser uma prioridade para o próximo lançamento ponto Drupal. Este é um grande problema com uma solução simples. Felizmente, alguém já criou um problema em Drupal.org. Infelizmente, tem sido resolvido há mais de um ano. Vamos mudar isso.

Update: A correção para Drupal 6 foi lançado em 12 de dezembro. Se você estiver executando Drupal 6.20 ou posterior (incluindo Drupal 7), este problema não afecta.

Você achou este artigo útil? Confira o meu Drupal revisão de hospedagem.

Postado por John em 2010-08-30

Artigos relacionados

Há muitas razões por que um administrador de sistemas ou desenvolvedor pode escolher para hospedar vários sites no mesmo servidor em uma configuração multisite. Por exemplo, uma tal configuração pode: ...

Introdução Uma implementação de uma pesquisa eficaz é uma das tarefas mais difíceis em desenvolvimento, mas também é uma chave para o sucesso de diversos sites e aplicações. Uma busca rápida e ...

O que é um mapa do site? Um Sitemap é um arquivo onde você pode listar as páginas do seu site para informar o Google e outros motores de busca sobre a organização do conteúdo do seu site. Search engine web ...

Se você estiver executando mais de um site Drupal, você pode simplificar a gestão e pode atualizar seus sites usando o recurso de multi-site. Multi-site permite que você compartilhar um único Drupal ...

Nota: extra agradecimento especial a Doug Vann para fornecer motivação para finalmente publicar este post! No início de 2016, quando o Search API e módulos relacionados com o Solr para Drupal 8 estavam em alfa cedo ...