dataset - pronosticos - redes neuronales mineria de datos ejemplo
Faltan valores para los datos que se utilizarán en un modelo de red neuronal para la predicción (3)
No soy un experto, pero seguramente esto dependerá del tipo de red neuronal que tengas?
El objetivo de las redes neuronales es que pueden tratar con información faltante, etc.
Aunque estoy de acuerdo, establecer datos vacíos con 1 y 0 no puede ser algo bueno.
¿Tal vez podría dar alguna información sobre su red neuronal?
Actualmente tengo una gran cantidad de datos que se utilizarán para entrenar una red neuronal de predicción (gigabytes de datos meteorológicos para los principales aeropuertos de los EE. UU.). Tengo datos para casi todos los días, pero algunos aeropuertos tienen valores perdidos en sus datos. Por ejemplo, un aeropuerto podría no haber existido antes de 1995, por lo que no tengo datos antes de esa fecha para esa ubicación específica. Además, a algunos les faltan años enteros (uno podría abarcar entre 1990 y 2011, faltar 2003).
¿Qué puedo hacer para entrenar con estos valores perdidos sin equivocarme en mi red neuronal? Pensé en llenar los datos vacíos con 0s o -1s, pero creo que esto haría que la red predijera estos valores para algunas salidas.
Estoy usando muchas NN para pronosticar y puedo decir que simplemente puede dejar esos "agujeros" en sus datos. De hecho, las NN pueden aprender relaciones dentro de los datos observados y, por lo tanto, si no tiene un período específico, no importa ... si establece los datos vacíos como un valor constante, le dará a su algoritmo de entrenamiento información engañosa. . Los NN no necesitan datos "continuos", de hecho, es una buena práctica mezclar los conjuntos de datos antes del entrenamiento para hacer la fase de retropropagación en muestras no contiguas ...
Bueno, un tipo de red neuronal llamada autoencoder es adecuada para su trabajo. Los autoencoders pueden usarse para reconstruir la entrada. Un autoencoder está entrenado para aprender la variedad / distribución de datos subyacente. Sin embargo, se utilizan principalmente para tareas de reconstrucción de señal, como imagen y sonido. Sin embargo, podría usarlos para completar las características que faltan.
También hay otra técnica acuñada como " factorización matricial " que se utiliza en muchos sistemas de recomendación. La gente usa técnicas de factorización matricial para llenar matrices enormes con muchos valores perdidos. Por ejemplo, supongamos que hay 1 millón de películas en IMDb. Casi nadie ha visto ni siquiera 1/10 de esas películas a lo largo de su vida. Pero ella ha votado por algunas películas. La matriz es N by M donde N es la cantidad de usuarios y M la cantidad de películas. La factorización de matrices se encuentran entre las técnicas utilizadas para completar los valores perdidos y sugerir películas a los usuarios en función de sus votos previos para otras películas.