ruby - VCRProxy: Grabe llamadas PhantomJS ajax con VCR dentro de Capybara

https

Question

Ya hice algunas investigaciones en este campo, pero no encontré ninguna solución. Tengo un sitio, donde las llamadas asynchron ajax se realizan en Facebook (usando JSONP). Estoy grabando todas mis solicitudes HTTP en el lado de Ruby con VCR, así que pensé que sería genial, usar esta función también para llamadas AJAX.

Así que jugué un poco, y se me ocurrió un intento de proxy. Estoy usando PhantomJS como navegador sin cabeza y poltergeist para la integración dentro de Capybara. Poltergeist ahora está configurado para usar un proxy como este:

 Capybara.register_driver :poltergeist_vcr do |app|
options = {
:phantomjs_options => [
"--proxy=127.0.0.1:9100",
"--proxy-type=http",
"--ignore-ssl-errors=yes",
"--web-security=no"
],
:inspector => true
}
Capybara::Poltergeist::Driver.new(app, options)
end
Capybara.javascript_driver = :poltergeist_vcr

Para fines de prueba, escribí un servidor proxy basado en WEbrick, que integra VCR:

require ''io/wait''
require ''webrick''
require ''webrick/httpproxy''
require ''rubygems''
require ''vcr''
module WEBrick
class VCRProxyServer < HTTPProxyServer
def service(*args)
VCR.use_cassette(''proxied'') { super(*args) }
end
end
end
VCR.configure do |c|
c.stub_with :webmock
c.cassette_library_dir = ''.''
c.default_cassette_options = { :record => :new_episodes }
c.ignore_localhost = true
end
IP = ''127.0.0.1''
PORT = 9100
reader, writer = IO.pipe
@pid = fork do
reader.close
$stderr = writer
server = WEBrick::VCRProxyServer.new(:BindAddress => IP, :Port => PORT)
trap(''INT'') { server.shutdown }
server.start
end
raise ''VCR Proxy did not start in 10 seconds'' unless reader.wait(10)

Esto funciona bien con cada llamada de localhost, y se graban bien. Los archivos HTML, JS y CSS se graban mediante VCR. Luego habilité la opción c.ignore_localhost = true , porque es inútil (en mi opinión) grabar llamadas locales.

Luego lo intenté de nuevo, pero tuve que descubrir que las llamadas AJAX que se hacen en la página no se graban. Peor aún, ya no funcionan dentro de las pruebas.

Entonces, para ir al grano, mi pregunta es: ¿por qué se registran todas las llamadas a los archivos JS en el host local y las llamadas JSONP a los recursos externos no? No puede ser lo más jSONP, porque es una solicitud ajax "normal". ¿O hay un error dentro de phantomjs, que las llamadas AJAX no tienen proxy? Si es así, ¿cómo podríamos arreglar eso?

Si se está ejecutando, quiero integrar el procedimiento de inicio y detención dentro

------- ACTUALIZACIÓN -------

Investigué un poco y llegué al siguiente punto: el proxy tiene algunos problemas con las llamadas HTTPS y los datos binarios a través de llamadas HTTPS.

Inicié el servidor e hice algunas llamadas curl:

curl --proxy 127.0.0.1:9100 http://d3jgo56a5b0my0.cloudfront.net/images/v7/application/stories_view/icons/bug.png

Esta llamada se graba como debería. El resultado de solicitud y respuesta del proxy es

GET http://d3jgo56a5b0my0.cloudfront.net/images/v7/application/stories_view/icons/bug.png HTTP/1.1
User-Agent: curl/7.24.0 (x86_64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5
Host: d3jgo56a5b0my0.cloudfront.net
Accept: */*
Proxy-Connection: Keep-Alive
HTTP/1.1 200 OK
Server: WEBrick/1.3.1 (Ruby/1.9.3/2012-10-12)
Date: Tue, 20 Nov 2012 10:13:10 GMT
Content-Length: 0
Connection: Keep-Alive

Pero esta llamada no se graba, debe haber algún problema con HTTPS:

curl --proxy 127.0.0.1:9100 https://d3jgo56a5b0my0.cloudfront.net/images/v7/application/stories_view/icons/bug.png

El resultado del encabezado es:

CONNECT d3jgo56a5b0my0.cloudfront.net:443 HTTP/1.1
Host: d3jgo56a5b0my0.cloudfront.net:443
User-Agent: curl/7.24.0 (x86_64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5
Proxy-Connection: Keep-Alive
HTTP/1.1 200 OK
Server: WEBrick/1.3.1 (Ruby/1.9.3/2012-10-12)
Date: Tue, 20 Nov 2012 10:15:48 GMT
Content-Length: 0
Connection: close

Por lo tanto, pensé que tal vez el proxy no puede manejar HTTPS, pero puede (siempre y cuando obtenga la salida en la consola después de la llamada cURL). Entonces pensé, tal vez VCR no puede burlarse de las solicitudes HTTPS. Pero al usar esta secuencia de comandos, la videograbadora se burla de las solicitudes HTTPS, cuando yo no las uso dentro del proxy:

require ''vcr''
VCR.configure do |c|
c.hook_into :webmock
c.cassette_library_dir = ''cassettes''
end
uri = URI("https://d3jgo56a5b0my0.cloudfront.net/images/v7/application/stories_view/icons/bug.png")
VCR.use_cassette(''https'', :record => :new_episodes) do
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.verify_mode = OpenSSL::SSL::VERIFY_NONE
response = http.request_get(uri.path)
puts response.body
end

Entonces, ¿cuál es el problema? La videograbadora maneja HTTPS y el proxy maneja HTTPS. ¿Por qué no juegan juntos?

Answer 1

Así que investigué un poco y ahora tengo un ejemplo muy básico de un servidor proxy VCR que funciona, que maneja llamadas HTTPS como un servidor proxy MITM (si desactiva la verificación de seguridad en su cliente). Me sentiría muy feliz si alguien pudiera contribuir y ayudarme a darle vida a esto.

Aquí está el repositorio de github: https://github.com/23tux/vcr_proxy

Answer 2

Un amigo mío me habló de https://github.com/oesmith/puffing-billy pero aún no lo he usado, así que no puedo comentar qué tan bien podría funcionar.

Answer 3

Puffing Billy es una herramienta muy buena. Debe especificar qué dominios omitir y qué direcciones URL necesita. También es un poco difícil anotar https urls. Debes codificar las URL de https como https://www.example.com:443/path/