Google: Paginas bloqueadas pelo robots podem ser indexadas

Google: Páginas bloqueadas pelo robots podem ser indexadas

John Mueller do Google confirmou que páginas bloqueadas pelo arquivo robots.txt podem ser indexadas, indo contra o que muitos pseudo especialistas em seo afirmam.

Mueller confirmou que essas páginas podem ser indexadas se houverem links externos apontando para elas… por isso muitos sempre recomendo a utilização do noindex ao invés do robots como meio de não exibir resultados no Google num trabalho planejado de seo.

Isso pode se tornar um pequeno problema, principalmente porque você acaba de dar um nó tático no googlebot… quando uma página tem links externos apontando para ela, o googlebot vai tentar ler seu conteúdo mas o mesmo fica travado devido as orientações do robots.txt e nesse caso ele indexa a página mas acha que ele não tem nada, isso ocorre muito e na serp fica sendo exibido o resultado, que você não quer se esteja lá, com a mensagem que uma descrição não está disponível devido ao bloqueio do robots.

uma descrição não está disponível devido ao bloqueio do robots.

uma descrição não está disponível devido ao bloqueio do robots.

Se o robots.txt continuar bloqueando a página, atualiza-la com noindex não vai funcionar pois o googlebot não consegue visualizar seu conteúdo e html e nem sequer ler o noindex. Nesse caso o caminho correto e remover o bloqueio do robots.txt e atualizar a página com noindex para que a mesma possa ser lida pelo Google e o mesmo entender que você não quer indexar esse resultado.

Lembre-se: o robots.txt não tem função de bloquear indexação, mas sim de bloquear a leitura dos mecanismos de pesquisas… muito embore pareça redundante, isso significa que o robots serve prioritariamente para orientar os bots de pesquisa em sua leitura, alertando para arquivos e ou pastas que o bot não deve perder tempo lendo. Para não indexar use sempre noindex e para evitar qualquer indexação ou leitura use proteção por senha e ou login.

A resposta de Mueller e a discussão completa pode ser acompanhada nesse hangout aos 24:36.

0 respostas

Deixe uma resposta

Want to join the discussion?
Feel free to contribute!

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *