python - feed_dict - dataset api tensorflow

Tensorflow crea un archivo tfrecords desde csv

Question

Estoy intentando escribir un archivo csv (todas las columnas son flotantes) en un archivo tfrecords y luego leerlos de nuevo. Todos los ejemplos que he visto empaquetan las columnas csv y luego lo introducen en sess.run () directamente, pero no puedo encontrar la forma de escribir las columnas de entidades y la columna de etiquetas en un archivo tfrecord. ¿Cómo podría hacer esto?

Answer 1

No estoy seguro de si hay un ejemplo de csv-> tfrecords. Pero como ha descubierto la parte csv, para la parte tfrecord, ¿puede seguir el ejemplo en el tutorial tensorflow?

Answer 2

Necesitará un script separado para convertir su archivo csv a TFRecords.

Imagine que tiene un archivo CSV con el siguiente encabezado:

feature_1, feature_2, ..., feature_n, label

Necesitas leer tu CSV con algo como pandas , construir tf.train.Example manualmente y luego escribirlo en un archivo con TFRecordWriter

csv = pandas.read_csv("your.csv").values
with tf.python_io.TFRecordWriter("csv.tfrecords") as writer:
    for row in csv:
        features, label = row[:-1], row[-1]
        example = tf.train.Example()
        example.features.feature["features"].float_list.value.extend(features)
        example.features.feature["label"].int64_list.value.append(label)
        writer.write(example.SerializeToString())