html - tag - se ha detectado la etiqueta·"noindex" en la metaetiqueta "robots"
¿Cómo evitar que los motores de búsqueda indexen una sola página de mi sitio web? (7)
Crea un archivo robots.txt y establece los controles allí.
Aquí están los documentos para google: http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
No quiero que los motores de búsqueda indexen mi página de impresión. ¿Cómo podría hacer eso?
Hoy en día, el mejor método es usar una metaetiqueta de robots y establecerlo en noindex,follow :
<meta name="robots" content="noindex, follow">
Puede configurar un archivo robots.txt para probar y decirle a los motores de búsqueda que ignoren ciertos directorios.
Básicamente:
User-agent: *
Disallow: /[directory or file here]
También puedes agregar la siguiente metaetiqueta en HEAD de esa página
<meta name="robots" content="noindex,nofollow" />
Un robot quiere ver la URL de un sitio web, por ejemplo, http://www.example.com/welcome.html . Antes de hacerlo, primero verifica http://www.example.com/robots.txt , y encuentra: puede rechazar explícitamente:
User-agent: *
Disallow: /~joe/junk.html
Por favor, visite el siguiente enlace para más detalles.
Necesitas un archivo robots.txt simple. Básicamente, es un archivo de texto que le dice a los motores de búsqueda que no indexen páginas particulares.
No necesitas incluirlo en el encabezado de tu página; Mientras esté en el directorio raíz de su sitio web, será rastreado por los rastreadores.
Créelo en la carpeta raíz de su sitio web y coloque el siguiente texto en:
User-Agent: *
Disallow: /imprint-page.htm
Tenga en cuenta que reemplazaría imprint-page.html en el ejemplo con el nombre real de la página (o el directorio) que desea evitar que se indexe.
¡Eso es! Si desea obtener más información, puede consultar here , here o here para obtener más información. Además, puede encontrar herramientas gratuitas en línea que generarán un archivo robots.txt para usted (por ejemplo, here ).
<meta name="robots" content="noindex, nofollow">
Solo incluye esta línea en tu etiqueta <html> <head> . Por qué le digo esto porque si usa el archivo robots.txt para ocultar sus URL que pueden ser páginas de inicio de sesión u otras URL protegidas que no mostrará a otra persona o motores de búsqueda.
Lo que puedo hacer es acceder al archivo robots.txt directamente desde su sitio web y ver qué URL tiene secretas. Entonces, ¿cuál es la lógica detrás de este archivo robots.txt?
La buena manera es incluir la metaetiqueta de arriba y mantenerse a salvo de cualquier persona.