tener - ¿Cuál es la mejor manera de analizar un archivo delimitado por tabuladores en Ruby?

puede tener caracteristicas no compatibles con csv delimitado por comas

Question

¿Cuál es la mejor (la más eficiente) forma de analizar un archivo delimitado por tabuladores en Ruby?

Answer 1

La biblioteca Ruby CSV le permite especificar el delimitador de campo. Ruby 1.9 usa FasterCSV . Algo como esto funcionaría:

require "csv"
parsed_file = CSV.read("path-to-file.csv", { :col_sep => "/t" })

Answer 2

Las reglas para TSV son en realidad un poco diferentes de CSV. La principal diferencia es que CSV tiene disposiciones para pegar una coma dentro de un campo y luego usar los caracteres de comillas y las comillas de escape dentro de un campo. Escribí un ejemplo rápido para mostrar cómo falla la respuesta simple:

require ''csv''
line = ''boogie/ttime/tis "now"''
begin
  line = CSV.parse_line(line, col_sep: "/t")
  puts "parsed correctly"
rescue CSV::MalformedCSVError
  puts "failed to parse line"
end

begin
  line = CSV.parse_line(line, col_sep: "/t", quote_char: "Ƃ")
  puts "parsed correctly with random quote char"
rescue CSV::MalformedCSVError
  puts "failed to parse line with random quote char"
end

#Output:
# failed to parse line
# parsed correctly with random quote char

Si desea utilizar la biblioteca CSV, podría utilizar un carácter de comillas al azar que no espera ver si su archivo (el ejemplo lo muestra), pero también podría usar una metodología más simple como la clase StrictTsv que se muestra a continuación para obtener el mismo efecto sin tener que preocuparse por las citas de campo.

# The main parse method is mostly borrowed from a tweet by @JEG2
class StrictTsv
  attr_reader :filepath
  def initialize(filepath)
    @filepath = filepath
  end

  def parse
    open(filepath) do |f|
      headers = f.gets.strip.split("/t")
      f.each do |line|
        fields = Hash[headers.zip(line.split("/t"))]
        yield fields
      end
    end
  end
end

# Example Usage
tsv = Vendor::StrictTsv.new("your_file.tsv")
tsv.parse do |row|
  puts row[''named field'']
end

La elección de utilizar la biblioteca CSV o algo más estricto depende de quién le envía el archivo y si están esperando adherirse al estricto estándar TSV.

Los detalles sobre el estándar TSV se pueden encontrar en http://en.wikipedia.org/wiki/Tab-separated_values

Answer 3

Me gusta la respuesta de mmmries. SIN EMBARGO, odio la forma en que el rubí elimina cualquier valor vacío del final de una división. Tampoco se está quitando la nueva línea al final de las líneas.

Además, tenía un archivo con nuevas líneas potenciales dentro de un campo. Entonces, reescribí su ''análisis'' de la siguiente manera:

def parse
  open(filepath) do |f|
    headers = f.gets.strip.split("/t")
    f.each do |line|
      myline=line
      while myline.scan(//t/).count != headers.count-1
        myline+=f.gets
      end
      fields = Hash[headers.zip(myline.chomp.split("/t",headers.count))]
      yield fields
    end
  end
end

Concatena las líneas según sea necesario para obtener una línea completa de datos, y siempre devuelve el conjunto completo de datos (sin posibles entradas nulas al final).