node.js - Scraping Netflix

web-scraping

Question

Tratando de sacar mis últimos datos visualizados de Netflix mediante programación, pero teniendo algunos problemas solo con la fase de inicio de sesión. Mi código actual solo causa que Netflix responda un mensaje. We were unable to process your request. página:

var request = require(''request'').defaults({jar: true});
var cheerio = require(''cheerio'');
var url = "https://www.netflix.com/Login?locale=en-GB&nextpage=https%3A%2F%2Fwww.netflix.com%2FWiViewingActivity";
request(url, function (error, response, body) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var authCode = $("#login-form > input").attr("value");
request.post(url+"?email=myemail%40gmail.com&password=mypassword&RememberMe=on&authURL="+authCode, {
}, function(err, response, body){
console.log(body);
});
}
})

¿Algunas ideas?

Sorprendentemente, no hay casi nada en Google para Scraping Netflix .

Answer 1

Lo descubrí, necesitaba para:

1. Enviar cualquier tipo de cadena de agente de usuario
2. Envíe los datos del formulario usando el form de solicitud param
3. Envía las cookies manualmente

Aquí está mi código final que obtiene el último elemento observado:

var request = require(''request'').defaults({jar: true});
var cheerio = require(''cheerio'');
var url = "https://www.netflix.com/Login";
request(url, function (error, response, body) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var authCode = $("#login-form > input").attr("value");
request.post({url: url,
form: {
"email": "[email protected]",
"password": "password",
"authURL": authCode,
"RememberMe": "on"
},
headers:{
''User-Agent'': "NodeScrape"
}
}, function(err, response, body){
var cookies = response.headers[''set-cookie''];
request({url: "https://www.netflix.com/WiViewingActivity", headers: {''Cookie'': cookies, ''User-Agent'': "NodeScrape"}}, function(error, response, body){
var $ = cheerio.load(body);
console.log($(".seriestitle").eq(0).text());
});
});
}
})