download - network - Denegar bots para descargar mis archivos
user bandwidth calculator (4)
Tengo una página de descarga asp.net que envía un archivo al cliente pero quiero negar que los robots descarguen este archivo porque el archivo es grande y, como puedo ver en los registros, un bot descarga este archivo unas 20 veces. Esto está ralentizando el servidor y provoca el consumo de ancho de banda.
Codifiqué esta página para contar las descargas y detectar .NET Framework del cliente para poder publicar un archivo de instalación que contenga .NET Framework o no.
De alguna manera, necesito negarle a Google y a otros bots que lleguen a esta página.
Mi enlace de descarga es como download.aspx? Pack = msp
En lugar de un archivo robots.txt, donde no es posible, puede decorar sus páginas con una etiqueta <meta name="robots" content="noindex"> .
Una vez más, como mencionó Donnie, esto es solo una recomendación para bots y no hay ningún requisito para seguirlo.
Implemente un método CAPTCHA que proporcione un mecanismo de inicio de sesión para permitir que los usuarios deseados accedan a una carpeta protegida donde guarda sus archivos más grandes.
En lugar de proporcionar enlaces directos a contenido que los bots puedan analizar fácilmente, use Javascript en su enlace de descarga para redirigir a los usuarios. Muchos bots no ejecutarán javascript, aunque la ofuscación de bot es a menudo un objetivo móvil.
La respuesta correcta, según lo observado por las otras dos personas, es crear un archivo robots.txt para que los robots de buen comportamiento no descarguen cosas.
Sin embargo, es importante saber que no todos los robots se portan bien, y que robots.txt es solo de carácter consultivo. Si tiene páginas que no están vinculadas públicamente, no las liste en el archivo robots.txt para "protegerlas", ya que algunos robots especialmente mal portados escanean el archivo para ver qué URLs interesantes pueden existir que aún no conocen. .
Quieres un archivo robots.txt . Por ejemplo:
User-agent: *
Disallow: /download.aspx
Esto no bloquea a la fuerza los motores de búsqueda, pero la mayoría (incluido Google) buscará un archivo robots.txt y seguirá sus instrucciones.