net - webclient c#

Descarga de múltiples archivos WebClient

Question

Intento descargar varios archivos pero no funciona como esperaba. ¿Puede alguien decirme qué pasa con este guión, porque he probado muchas cosas y ya no sé qué hacer?

public static void DownloadFile(string url)
{
WebClient client = new WebClient();
var name = url.Substring(url.LastIndexOf(''/'')).Remove(0, 1);
foreach (var item in urls)
{
client.DownloadFile(item, "C://" + name);
}
}
private void btnGo_Click(object sender, EventArgs e)
{
urls.Add("url1");
urls.Add("url2");
urls.Add("url3");
Parallel.ForEach(urls,
new ParallelOptions { MaxDegreeOfParallelism = 10 },
DownloadFile);
}

using (var sr = new StreamReader(HttpWebRequest.Create(url).GetResponse().GetResponseStream()))
{
using (var sw = new StreamWriter(url.Substring(url.LastIndexOf(''/''))))
{
sw.Write(sr.ReadToEnd());
}
}

Answer 1

Está descargando todos los archivos al mismo archivo en su código de DownloadFile, que asume que una sola llamada a esta función descarga todos los archivos.

Correcciones:

Opción 1: No use Parallel.ForEach y simplemente llame a DownloadFile una vez. Especifique nombres de archivo únicos para cada descarga. Es decir, al tomar parte de Url que está descargando o simplemente utilizando nombres de archivo aleatorios / temporales.

Algo como esto (suponiendo que las URL son algún tipo de IEnumerable<string> )

foreach (var item in urls)
{
var name = item.Substring(item.LastIndexOf(''/'')).Remove(0, 1);
client.DownloadFile(item, "C://" + name);
}

Opción 2: Use Parallel.ForEach pero cambie el código DownloadFile para descargar solo un archivo:

public static void DownloadFile(string url)
{
WebClient client = new WebClient();
var name = url.Substring(url.LastIndexOf(''/'')).Remove(0, 1);
client.DownloadFile(url, "C://" + name);
}

Answer 2

Yo usaría una System.Net.HttpWebRequest lugar.

Así es como se vería el código:

private List<string> urls = new List<string>();
private void btnGo_Click(object sender, EventArgs e)
{
urls.Add("http://199.91.152.106/ua0p3fbc5nlg/gg2w2fq4ljc1nnd/MicroCraft_Beta.zip");
Parallel.ForEach(urls, new ParallelOptions { MaxDegreeOfParallelism = 10 }, DownloadFile);
}
public static void DownloadFile(string url)
{
var req = (HttpWebRequest)WebRequest.Create(url);
var name = url.Substring(url.LastIndexOf(''/'') + 1);
using (var res = (HttpWebResponse)req.GetResponse())
using (var resStream = res.GetResponseStream())
using (var fs = new FileStream("C://" + name, FileMode.Create, FileAccess.Write, FileShare.None))
{
// Save to file
var buffer = new byte[8 * 1024]; // 8 KB buffer
int len; // Read count
while ((len = resStream.Read(buffer, 0, buffer.Length)) > 0)
fs.Write(buffer, 0, buffer.Length);
}
}

Porque la URL que me dijo en el comentario no utiliza una implementación adecuada del protocolo HTTP. Deberá agregar esto a su archivo de configuración para que funcione (ya sea App.config o Web.config, dependiendo de si es un sitio ASP.Net o una aplicación fuera de línea):

<system.net>
<settings>
<httpWebRequest useUnsafeHeaderParsing="true" />
</settings>
</system.net>

En cuanto a su problema con los nombres que colisionan, que dijo en su comentario, esto debería resolverse cambiando su var name = url.Substring(url.LastIndexOf(''/'')).Remove(0, 1); en otra cosa.

Si desea tener un nombre de archivo incremental, puede usar esto:

// Inside your class:
private static int counter = 0;
// In your method:
var name = "file" + System.Threading.Interlocked.Increment(ref counter) + ".html";