mobile - usar - un archivo robots txt bloquear el robot de google
¿Por qué rastrea Googlebot las páginas/mobile/* y/m/* que no están referenciadas en ninguna parte? (4)
Desde finales de mayo, tengo muchos nuevos errores 404 en la página Errores de rastreo de teléfonos inteligentes en Herramientas para webmasters / Consola de búsqueda de Google. Todos ellos comienzan con / m / o / mobile /, ninguno de los cuales está disponible ni vinculado a ninguna parte del sitio.
Por ejemplo, tengo un error 404 para http://www.example.com/mobile/foo-bar/ y http://www.example.com/m/foo-bar páginas. Según Search Console, esas páginas están vinculadas en la página existente http://www.example.com/foo-bar/ , pero no lo son.
¿Googlebot decide por sí solo buscar una versión móvil de cada página? ¿Puedo deshabilitar este comportamiento? Esto se debe a que mi sitio aún no admite dispositivos móviles (un problema por el que recibí otro mensaje de advertencia de Google).
Como se mencionó en @Jonny 5 en un comentario, esto parece estar sucediendo como resultado de que Google adivine que puede tener una versión móvil de su sitio en los directorios /m y / o /mobile . Según lo que he leído, solo probarán esos directorios si decidieron que las páginas que inicialmente indexaron no eran compatibles con dispositivos móviles / receptivas. Más información sobre este comportamiento se puede encontrar en estos temas del Foro de productos de Google:
- https://productforums.google.com/forum/#!topic/webmasters/k3TFeCkFE0Q
- https://productforums.google.com/forum/#!topic/webmasters/56CNFxZBFwE
Otro comentario útil vino de @ user29671, quien señaló que su sitio web de hecho tiene algunas URL con /m e /mobile indexado en /mobile . Descubrí que lo mismo era cierto para mi sitio web, por lo que este comportamiento también puede estar limitado a los sitios que Google tiene (por cualquier razón) indexados para /m a /m y / o /mobile URL /mobile . Para comprobar si esto es cierto para su sitio, vaya a las siguientes URL y reemplace example.com con el dominio de su sitio web:
- https://www.google.com/search?q=site:example.com/m/&filter=0
- https://www.google.com/search?q=site:example.com/mobile/&filter=0
En lo que respecta a la prevención de esto, su mejor opción es crear una versión optimizada para dispositivos móviles de su sitio o redirigir /mobile páginas /m /mobile a los originales.
En cuanto a redireccionar /m /mobile páginas /mobile a los originales, aquí hay un fragmento para nginx:
location /m/ {
rewrite ^/[^/]+(/.*)$ $1 permanent;
}
location /mobile/ {
rewrite ^/[^/]+(/.*)$ $1 permanent;
}
También se puede redirigir todo a la raíz:
location /m/ {
return 301 $scheme://$host/;
}
location /mobile/ {
return 301 $scheme://$host/;
}
Estoy experimentando el mismo problema desde diciembre de 2016. Googlebot intenta constantemente rastrear las páginas de mi sitio web con los prefijos / m / y / mobile /.
Todas esas URL causan los errores 404 y aparecen en las Herramientas para webmasters de Google como errores.
El correo electrónico automático se recibió de GWT el 2 de enero de 2017 indicando
El robot de Google para teléfonos inteligentes identificó un aumento significativo en el número de URL en http://example.com que arrojan un error 404 (no encontrado). Si estas páginas existen en su sitio de escritorio, mostrar un error a los usuarios de dispositivos móviles puede ser una mala experiencia para el usuario. Esta configuración incorrecta también puede evitar que Google muestre la página correcta en los resultados de búsqueda para dispositivos móviles. Si estas URL no existen, no es necesario realizar ninguna acción.
Esto lo hace un rastreador móvil:
* Ip: 66.249.65.124
Agente: Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, como Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (compatible; Googlebot / 2.1)
Navegador: Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, como Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (compatible; Googlebot / 2.1) *
No estás solo, por lo tanto. Tómalo con calma. Es un error de Google :)
Puedes bloquear esos directorios en tu archivo robots.txt, pero eso es un poco de una solución. La mejor opción sería averiguar de dónde exactamente Googlebot está recogiendo esas URL.
Si compartió una URL de página de ejemplo donde Google dice que tiene enlaces a las páginas / mobile, podría verla y descubrir dónde se está recogiendo.
Y no, Google no solo inventa directorios para rastrear en caso de que haya escapado al azar en una página móvil al azar :)