seo - tester - robots.txt wordpress

¿Ignorar urls en robot.txt con parámetros específicos?

Question

Me gustaría que Google ignore las URL como esta:

http://www.mydomain.com/new-printers?dir=asc&order=price&p=3

Todas las direcciones URL que tienen los parámetros dir, orden y precio deben ignorarse pero no tengo experiencia con Robots.txt.

¿Alguna idea?

Answer 1

Aquí hay una solución si desea rechazar cadenas de consulta:

Disallow: /*?*

o si desea ser más preciso en su cadena de consulta:

Disallow: /*?dir=*&order=*&p=*

También puede agregar al archivo robots.txt la url para permitir

Allow: /new-printer$

El $ asegurará que solo se permita la /new-printer .

Más información:

http://code.google.com/web/controlcrawlindex/docs/robots_txt.html

http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/

Answer 2

Puede bloquear esos parámetros de cadena de consulta específicos con las siguientes líneas

Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=

Por lo tanto, si cualquier URL contiene dir= , order= o p= en cualquier lugar de la cadena de consulta, se bloqueará.

Answer 3

Registre su sitio web con Google WebMaster Tools. Allí puedes decirle a Google cómo lidiar con tus parámetros.

Configuración del sitio -> Parámetros de URL

Debe tener las páginas que contienen esos parámetros que indican que deben excluirse de la indexación a través de la etiqueta meta de robots. p.ej