Golang web scraper NTLM authentication

web-scraping

Question

Un raspador web de Golang necesita extraer información de una página web autenticada mediante NTLM.

Con un nombre de usuario y contraseña válidos, ¿cómo puede el raspador web realizar el intercambio de direcciones NTLM en 4 direcciones con el servidor para obtener acceso a la página web protegida?

url, username, password := "http://www.some-website.com", "admin", "12345"

client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Authorization", "NTLM")
res, _ := client.Do(req)

Answer 1

Puede usar un paquete como Azure/go-ntlmssp para autenticarse antes de comenzar a raspar.

url, username, password := "http://www.some-website.com", "admin", "12345"

client := &http.Client{
    Transport: ntlmssp.Negotiator{
        RoundTripper:&http.Transport{},
    },
}

req, _ := http.NewRequest("GET", url, nil)
req.SetBasicAuth(username, password)

res, _ := client.Do(req)