ruby - ¿Cómo puedo analizar robustamente CSV con formato incorrecto?

regex fastercsv

Question

Estoy procesando datos de fuentes gubernamentales (FEC, bases de datos de votantes estatales, etc.). Está inconsistentemente mal formado, lo que rompe mi analizador CSV en todo tipo de formas deliciosas.

Es de origen externo y autoritativo. Debo analizarlo, y no puedo volver a ingresarlo, validarlo en la entrada ni nada por el estilo. Es lo que es; No controlo la entrada.

Propiedades:

1. Los campos contienen UTF-8 malformado (por ejemplo, Foo /xAB bar )
2. El primer campo de una línea especifica el tipo de registro de un conjunto conocido. Conociendo el tipo de registro, usted sabe cuántos campos hay y sus respectivos tipos de datos, pero no hasta que lo haga.
3. Cualquier línea dentro de un archivo puede usar cadenas entre comillas ( "foo",123,"bar" ) o sin comillas ( foo,123,bar ). Todavía no he encontrado ningún lugar donde se mezcle dentro de una línea determinada (es decir, "foo",123,bar ), pero probablemente esté allí.
4. Las cadenas pueden incluir caracteres internos de nueva línea, comillas y / o comas.
5. Las cadenas pueden incluir números separados por comas.
6. Los archivos de datos pueden ser muy grandes (millones de filas), por lo que debe ser razonablemente rápido.

Estoy usando Ruby FasterCSV (conocido simplemente como CSV en 1.9), pero la pregunta debe ser independiente del lenguaje.

Mi suposición es que una solución requerirá una sustitución de preprocesamiento con caracteres inequívocos separador de registros / comillas (por ejemplo, ASCII RS, STX). Empecé un poco aquí pero no funciona para todo lo que obtengo.

¿Cómo puedo procesar este tipo de datos sucios de forma robusta?

ETA: Aquí hay un ejemplo simplificado de lo que puede estar en un solo archivo:

"this","is",123,"a","normal","line" "line","with "an" internal","quote" "short line","with an "internal quote", 1 comma and linebreaks" un "quot" ed,text,with,1,2,3,numbers "quoted","number","series","1,2,3" "invalid /xAB utf-8"

Answer 1

Es posible subclasificar el archivo de Ruby para procesar cada línea del archivo CSV antes de pasarlo al analizador CSV de Ruby. Por ejemplo, así es cómo utilicé este truco para reemplazar las comillas escapadas no estándar / "con comillas dobles estándar" "

class MyFile < File
  def gets(*args)
    line = super
    if line != nil
      line.gsub!(''//"'',''""'')  # fix the /" that would otherwise cause a parse error
    end
    line
  end
end

infile = MyFile.open(filename)
incsv = CSV.new(infile)

while row = incsv.shift
  # process each row here
end

En principio, podría hacer todo tipo de procesamiento adicional, por ejemplo, limpiezas UTF-8. Lo bueno de este enfoque es que maneja el archivo línea por línea, por lo que no necesita cargarlo todo en la memoria o crear un archivo intermedio.

Answer 2

Creé una aplicación para reformatear archivos CSV, doblando las comillas simples dentro de los campos y reemplazando las nuevas líneas dentro de ellas con una cadena como ''/ n''.

Una vez que los datos están dentro de la base de datos, podemos reemplazar la ''/ n'' por nuevas líneas.

Necesitaba hacer esto porque las aplicaciones que tuve que procesar CSV no tratan correctamente las nuevas líneas.

Siéntase libre de usar y cambiar.

En Python:

import sys

def ProcessCSV(filename):
    file1 = open(filename, ''r'')
    filename2 = filename + ''.out''
    file2 = open(filename2, ''w'')
    print ''Reformatting {0} to {1}...'', filename, filename2
    line1 = file1.readline()
    while (len(line1) > 0):
        line1 = line1.rstrip(''/r/n'')
        line2 = ''''
        count = 0
        lastField = ( len(line1) == 0 )
        while not lastField:
            lastField = (line1.find(''","'') == -1)
            res = line1.partition(''","'')
            field = res[0]
            line1 = res[2]
            count = count + 1
            hasStart = False
            hasEnd = False

            if  ( count == 1 )  and  ( field[:1] == ''"'' ) :
                field = field[1:]
                hasStart = True
            elif count > 1:
                hasStart = True

            while (True):
                if  ( lastField == True )  and  ( field[-1:] == ''"'' ) :
                    field = field[:-1]
                    hasEnd = True
                elif not lastField:
                    hasEnd = True

                if lastField and not hasEnd:
                    line1 = file1.readline()
                    if (len(line1) == 0): break
                    line1 = line1.rstrip(''/r/n'')
                    lastField = (line1.find(''","'') == -1)
                    res = line1.partition(''","'')
                    field = field + ''//n'' + res[0]
                    line1 = res[2]
                else:
                    break

            field = field.replace(''"'', ''""'')

            line2 = line2 + iif(count > 1, '','', '''') + iif(hasStart, ''"'', '''') + field + iif(hasEnd, ''"'', '''')

        if len(line2) > 0:
            file2.write(line2)
            file2.write(''/n'')

        line1 = file1.readline()

    file1.close()
    file2.close()
    print ''Done''

def iif(st, v1, v2):
    if st:
        return v1
    else:
        return v2

filename = sys.argv[1]
if len(filename) == 0:
    print ''You must specify the input file''
else:
    ProcessCSV(filename)

En VB.net:

Module Module1

Sub Main()
    Dim FileName As String
    FileName = Command()
    If FileName.Length = 0 Then
        Console.WriteLine("You must specify the input file")
    Else
        ProcessCSV(FileName)
    End If
End Sub

Sub ProcessCSV(ByVal FileName As String)
    Dim File1 As Integer, File2 As Integer
    Dim Line1 As String, Line2 As String
    Dim Field As String, Count As Long
    Dim HasStart As Boolean, HasEnd As Boolean
    Dim FileName2 As String, LastField As Boolean
    On Error GoTo locError

    File1 = FreeFile()
    FileOpen(File1, FileName, OpenMode.Input, OpenAccess.Read)

    FileName2 = FileName & ".out"
    File2 = FreeFile()
    FileOpen(File2, FileName2, OpenMode.Output)

    Console.WriteLine("Reformatting {0} to {1}...", FileName, FileName2)

    Do Until EOF(File1)
        Line1 = LineInput(File1)
        ''
        Line2 = ""
        Count = 0
        LastField = (Len(Line1) = 0)
        Do Until LastField
            LastField = (InStr(Line1, """,""") = 0)
            Field = Strip(Line1, """,""")
            Count = Count + 1
            HasStart = False
            HasEnd = False
            ''
            If (Count = 1) And (Left$(Field, 1) = """") Then
                Field = Mid$(Field, 2)
                HasStart = True
            ElseIf Count > 1 Then
                HasStart = True
            End If
            ''
locFinal:
            If (LastField) And (Right$(Field, 1) = """") Then
                Field = Left$(Field, Len(Field) - 1)
                HasEnd = True
            ElseIf Not LastField Then
                HasEnd = True
            End If
            ''
            If LastField And Not HasEnd And Not EOF(File1) Then
                Line1 = LineInput(File1)
                LastField = (InStr(Line1, """,""") = 0)
                Field = Field & "/n" & Strip(Line1, """,""")
                GoTo locFinal
            End If
            ''
            Field = Replace(Field, """", """""")
            ''
            Line2 = Line2 & IIf(Count > 1, ",", "") & IIf(HasStart, """", "") & Field & IIf(HasEnd, """", "")
        Loop
        ''
        If Len(Line2) > 0 Then
            PrintLine(File2, Line2)
        End If
    Loop

    FileClose(File1, File2)
    Console.WriteLine("Done")

    Exit Sub
locError:
    Console.WriteLine("Error: " & Err.Description)
End Sub

Function Strip(ByRef Text As String, ByRef Separator As String) As String
    Dim nPos As Long
    nPos = InStr(Text, Separator)
    If nPos > 0 Then
        Strip = Left$(Text, nPos - 1)
        Text = Mid$(Text, nPos + Len(Separator))
    Else
        Strip = Text
        Text = ""
    End If
End Function

End Module

Answer 3

Primero, aquí hay un intento bastante ingenuo: http://rubular.com/r/gvh3BJaNTc

/"(.*?)"(?=[/r/n,]|$)|([^,"/s].*?)(?=[/r/n,]|$)/m

Las suposiciones aquí son:

• Un campo puede comenzar con comillas. En ese caso, debe terminar con una cita que sea:
  • antes de una coma
  • antes de una nueva línea (si es el último campo en su línea)
  • antes del final del archivo (si es el último campo en la última línea)
• O bien, su primer carácter no es una cita, por lo que contiene caracteres hasta que se cumple la misma condición que antes.

Esto casi hace lo que quiere, pero falla en estos campos:

1 comma and linebreaks"

Como TC había señalado en los comentarios , su texto es ambiguo. Estoy seguro de que ya lo sabes, pero para completarlo:

• "a" - ¿es eso o "a" ? ¿Cómo se representa un valor que quiere que esté entre comillas?
• "1","2" : se pueden analizar como 1 , 2 o como 1","2 , ambos son legales.
• ,1 /n 2, - Fin de línea, o nueva línea en el valor? No se puede decir, especialmente si se supone que es el último valor de su línea.
• 1 /n 2 /n 3 - ¿Un valor con nuevas líneas? Dos valores ( 1/n2 , 3 o 1 , 2/n3 )? Tres valores?

Es posible que pueda obtener algunas pistas si examina el primer valor en cada fila, que como ha dicho, debería indicarle el número de columnas y sus tipos; esto puede proporcionarle la información adicional que falta para analizar el archivo ( por ejemplo, si sabe que debe haber otro campo en esta línea, todas las líneas nuevas pertenecen al valor actual). Incluso entonces, parece que hay serios problemas aquí ...