tutorial - web scraping python examples

¿Cómo cargar datos de entrenamiento en PyBrain?

Question

Estoy tratando de usar PyBrain para un entrenamiento simple de NN. Lo que no sé hacer es cargar los datos de entrenamiento de un archivo. No se explica en su sitio web en ninguna parte. No me importa el formato porque puedo compilarlo ahora, pero tengo que hacerlo en un archivo en lugar de agregarlo fila por fila manualmente, porque tendré varios cientos de filas.

Answer 1

Así es como lo hice:

ds = SupervisedDataSet(6,3) tf = open(''mycsvfile.csv'',''r'') for line in tf.readlines(): data = [float(x) for x in line.strip().split('','') if x != ''''] indata = tuple(data[:6]) outdata = tuple(data[6:]) ds.addSample(indata,outdata) n = buildNetwork(ds.indim,8,8,ds.outdim,recurrent=True) t = BackpropTrainer(n,learningrate=0.01,momentum=0.5,verbose=True) t.trainOnDataset(ds,1000) t.testOnData(verbose=True)

En este caso, la red neuronal tiene 6 entradas y 3 salidas. El archivo csv tiene 9 valores en cada línea separados por una coma. Los primeros 6 valores son valores de entrada y los últimos tres son salidas.

Answer 2

Simplemente usas matrices de pandas de esta manera

import pandas as pd
ds = SupervisedDataSet(6,3)
dataset = pd.read_csv(''mycsvfile.csv'',''r'', delimiter='','',skiprows=1)
ds.setfield(''input'' dataset.values[:,0:6])
ds.setfield(''target'', dataset.values[:,-2:-1])

y eres bueno para ir.