switch - Cambiar la dirección IP en ruby

switch to window in selenium

Question

En este momento estoy ejecutando un programa de raspado en mi computadora. Es enorme en tamaño y, lamentablemente, debido a esto, mi dirección IP ha sido prohibida en el sitio que necesito eliminar. ¿Hay alguna manera de que en Ruby, o simplemente de una manera simple, puedo cambiar mi dirección IP para que pueda volver a entrar en este sitio para raspar, o no tengo suerte, y puedo tener que recurrir a otros soluciones. Es un 403 Forbidden Error, y para lo que sea que valga la pena, estoy usando nokogiri y mi agente de usuario es ruby, gracias.

Answer 1

Puede conectarse a través de un proxy, y si tiene una lista de direcciones proxy, entonces puede decirle a ruby ​​que cambie el proxy cada x minutos, esto dará como resultado un cambio de la dirección IP que el sitio web cree que tiene. Aquí hay un código para raspar los resultados de la búsqueda de Google a través de un proxy, para usar una lista de proxy solo extienda el código un poco.

require ''rubygems''
require ''mechanize''

agent = Mechanize.new
agent.set_proxy ''78.186.178.153'', 8080
page = agent.get(''http://www.google.com/'')

google_form = page.form(''f'')
google_form.q = ''new york city council''

page = agent.submit(google_form, google_form.buttons.first)

page.links.each do |link|
    if link.href.to_s =~/url.q/
        str=link.href.to_s
        strList=str.split(%r{=|&}) 
        url=strList[1] 
        puts url
    end 
end