ruby on rails - HTTP GET en craigslist bloqueado

ruby-on-rails amazon-ec2

Question

Estoy tratando de hacer un HTTP GET en craigslist sfbay.craigslist.org . Aquí está mi código (ruby) que es realmente simple

require ''net/http''
result = Net::HTTP.get(URI.parse(''http://sfbay.craigslist.org''))

Termino recibiendo un error "Esta IP ha sido bloqueada automáticamente".

Este comportamiento solo ocurre cuando intento esto desde Amazon EC2 o en heroku. Cuando intento de nuevo en mi computadora localhost obtengo el resultado correcto. ¿Tiene esto que ver con Amazon EC2?

Me pregunto si otras personas han tenido el mismo problema. ¿Qué puedo hacer para acceder a craigslist desde EC2?

Answer 1

Puedo confirmar que Craigslist está bloqueando desde los principales intervalos de IP de Amazon EC2 por IP (no por agente de usuario). Funciona en otro lado, aunque sospecho que cualquier volumen podría bloquear el acceso de otros IP.

Podrías rodearlo con tor . Más significativamente, esta pregunta de stackoverflow analiza las fuentes de datos utilizadas por los mashups de craigslist .

Incluso probé un EC2 de Brasil, suponiendo que no tienen todos los CIDR bloqueados. No bueno