Ruby streaming tar/gz

Question

Básicamente quiero transmitir datos desde la memoria a un formato tar / gz (posiblemente varios archivos en el tar, pero NUNCA TOCAR LA HARDDRIVE, ¡solo la transmisión!), Luego transmitirlos a otro lugar (un cuerpo de solicitud HTTP en mi caso).

Alguien sabe de una biblioteca existente que puede hacer esto? ¿Hay algo en Rails?

libarchive-ruby es solo un contenedor C y parece que dependerá mucho de la plataforma (¿los documentos quieren que compile como un paso de instalación ?!).

SOLUCIÓN:

require ''zlib''
require ''rubygems/package''
tar = StringIO.new
Gem::Package::TarWriter.new(tar) { |writer|
writer.add_file("a_file.txt", 0644) { |f|
(1..1000).each { |i|
f.write("some text/n")
}
}
writer.add_file("another_file.txt", 0644) { |f|
f.write("some more text/n")
}
}
tar.seek(0)
gz = Zlib::GzipWriter.new(File.new(''this_is_a_tar_gz.tar.gz'', ''wb'')) # Make sure you use ''wb'' for binary write!
gz.write(tar.read)
tar.close
gz.close

¡Eso es! Puede intercambiar el archivo en el GzipWriter con cualquier IO para mantenerlo en línea. ¡Cookies para dw11wtq!

Answer 1

Basado en la solución que OP escribió, escribí la función de archivo tgz totalmente en la memoria lo que quiero usar para POSTAR al servidor web.

 # Create tar gz archive file from files, on the memory.
# Parameters:
# files: Array of hash with key "filename" and "body"
# Ex: [{"filename": "foo.txt", "body": "This is foo.txt"},...]
#
# Return:: tar_gz archived image as string
def create_tgz_archive_from_files(files)
tar = StringIO.new
Gem::Package::TarWriter.new(tar){ |tar_writer|
files.each{|file|
tar_writer.add_file(file[''filename''], 0644){|f|
f.write(file[''body''])
}
}
}
tar.rewind
gz = StringIO.new('''', ''r+b'')
gz.set_encoding("BINARY")
gz_writer = Zlib::GzipWriter.new(gz)
gz_writer.write(tar.read)
tar.close
gz_writer.finish
gz.rewind
tar_gz_buf = gz.read
return tar_gz_buf
end

Answer 2

Eche un vistazo a la clase TarWriter en rubygems: http://rubygems.rubyforge.org/rubygems-update/Gem/Package/TarWriter.html solo opera en una secuencia IO, que puede ser un StringIO.

tar = StringIO.new
Gem::Package::TarWriter.new(tar) do |writer|
writer.add_file("hello_world.txt", 0644) { |f| f.write("Hello world!/n") }
end
tar.seek(0)
p tar.read #=> mostly padding, but a tar nonetheless

También proporciona métodos para agregar directorios si necesita un diseño de directorio en el tarball.

Como referencia, puede lograr el gzipping con IO.popen , simplemente IO.popen / sacando los datos del proceso del sistema:

http://www.ruby-doc.org/core-1.9.2/IO.html#method-c-popen

El gzip se vería así:

gzippped_data = IO.popen("gzip", "w+") do |gzip|
gzip.puts "Hello world!"
gzip.close_write
gzip.read
end
# => "/u001F/x8B/b/u0000/xFD/u001D/xA2N/u0000/u0003/xF3H/xCD/xC9/xC9W(/xCF//xCAIQ/xE4/u0002/u0000A䩲/r/u0000/u0000/u0000"