google - Robots.txt Permitir subcarpetas pero no el padre

search console robots

Question

¿Alguien puede explicar el comando robots.txt correcto para el siguiente escenario?

Me gustaría permitir el acceso a:

/directory/subdirectory/..

Pero también me gustaría restringir el acceso a /directory/ no soportar la excepción anterior.

Answer 1

Si estos son realmente directorios, entonces la respuesta aceptada es probablemente tu mejor opción. Pero, si está escribiendo una aplicación y los directorios son rutas generadas dinámicamente (también conocidos como contextos, rutas, etc.), es posible que desee utilizar etiquetas meta en lugar de definirlas en el archivo robots.txt. Esto le da la ventaja de no tener que preocuparse por cómo los diferentes navegadores pueden interpretar / priorizar el acceso a la ruta del subdirectorio.

Puedes probar algo como esto en el código:

if is_parent_directory_path
   <meta name="robots" content="noindex, nofollow">
end

Answer 2

Tenga en cuenta que no existe un estándar oficial real y que cualquier rastreador web puede ignorar su archivo robots.txt

Según una publicación de grupos de Google , lo siguiente funciona al menos con GoogleBot;

User-agent: Googlebot 
Disallow: /directory/ 
Allow: /directory/subdirectory/

Answer 3

Yo recomendaría usar el robot tester de Google. Utilice las herramientas para webmasters de Google: https://support.google.com/webmasters/answer/6062598?hl=en

Puede editar y probar las URL directamente en la herramienta, además de que también obtiene una gran cantidad de otras herramientas.