web-crawler - una - sitemap.xml example
¿Cómo encontrar la ruta de sitemap.xml en los sitios web? (4)
De acuerdo con la documentación del protocolo, hay al menos tres opciones que los diseñadores de sitios web pueden usar para informar la ubicación de sitemap.xml a los motores de búsqueda:
- Informar a cada motor de búsqueda de la ubicación a través de su interfaz proporcionada
- Agregar url al archivo robots.txt
- Envío de url a los motores de búsqueda a través de http
Por lo tanto, a menos que hayan elegido publicar la ubicación del mapa del sitio en su archivo robots.txt, no se puede saber realmente dónde han colocado sus archivos sitemap.xml.
¿Cómo puedo encontrar el archivo sitemap.xml de sitios web?
por ejemplo, ir a stackoverflow / sitemap.xml me da un 404.
En stackoverflow / robots.txt está escrito lo siguiente:
"esto técnicamente no es válido, ya que por alguna razón olvidada por la razón, las rutas del mapa del sitio deben ser ABSOLUTAS y no relativas. Sitemap: /sitemap.xml"
La ubicación del mapa del sitio afecta a las URL que puede incluir, pero de lo contrario no existe un estándar. Aquí hay un buen enlace con más explicaciones: http://www.sitemaps.org/protocol.html#location
No creo que haya un estándar en cuanto a la ubicación del mapa del sitio. Esa es la razón por la que debe especificar una URL arbitraria para su mapa del sitio cuando agrega una usando las Herramientas para webmasters de Google.
No hay un estándar, por lo que no hay garantía. Dicho esto, es común que el mapa del sitio esté auto etiquetado y en la raíz, así:
example.com/sitemap.xml
Case es sensible en algunos servidores, así que tenlo en cuenta. Si no está allí, busca en el archivo de robots en la raíz:
example.com/robots.txt
Si no lo ve en la lista del archivo de robots diríjase a Google y busque esto:
site:example.com filetype:xml
Esto limitará los resultados a archivos XML en su dominio de destino. En este punto es de prueba y error y se basa en los detalles del sitio web con el que está trabajando. Si obtiene varias páginas de resultados de la frase de búsqueda de Google arriba, intente limitar más los resultados:
filetype:xml site:example.com inurl:sitemap
o
filetype:xml site:example.com inurl:products
Si aún no puede encontrarlo, puede right-click > "View Source" y hacer una búsqueda (también conocido como "control buscar" o Ctrl + F ) para .xml para ver si hay una referencia en el código.