machine-learning - supervisado - clasificacion machine learning

Máquina de estado líquido: ¿Cómo funciona y cómo usarla?

Question

Ahora estoy aprendiendo acerca de LSM (Máquinas de estado líquido), y trato de entender cómo se usan para aprender.

Estoy bastante confundido por lo que leo en la web.

Escribiré lo que entendí -> Puede ser incorrecto y estaré contento si me puede corregir y explicar lo que es verdadero:

1. Los LSM no están entrenados en absoluto: solo se inicializan con muchas "neuronas temporales" (p. Ej., Leaky Integrate y Fire), mientras que sus umbrales se seleccionan al azar, por lo que las conexiones entre ellos (es decir, no cada neurona tiene que tener una ventaja común) con cada una de las otras neuronas).

2. Si desea "aprender" que x unidades de tiempo después de ingresar I , ocurre la ocurrencia Y , debe "esperar" x unidades de tiempo con los "detectores" LIF y ver qué neuronas se activaron en este momento específico. Luego, puede entrenar a un clasificador (por ejemplo, FeedForward Network), que este subconjunto específico de neuronas que disparan significa que ocurrió la aparición Y.

3. Puede usar muchas "neuronas temporales" en su "líquido", por lo que puede tener muchos posibles subconjuntos diferentes de neuronas activadas, por lo que un subconjunto específico de neuronas activadas se vuelve casi único para el momento después de esperar x unidades de tiempo, después de ingresar su entrada I

No sé si lo que escribí arriba es verdad, o si es una basura total.

Por favor, dígame si este es el uso correcto y los objetivos de LIF.

Answer 1

De tus preguntas, parece que estás en el camino correcto. De todos modos, la máquina de estado líquido y la máquina de estado de eco son temas complejos que tratan con la neurociencia computacional y la física, temas como el caos, el sistema de acción dinámica y el sistema de retroalimentación y el aprendizaje automático. Así que está bien si sientes que es difícil rodearlo con la cabeza.

Para responder tu pregunta:

1. La mayoría de las implementaciones de máquinas de estado líquido utilizan el reservorio de neuronas sin entrenamiento. Hay algunos intentos de entrenar el reservorio, pero no tuvieron un éxito espectacular que valga la potencia computacional necesaria para este objetivo. (Consulte Métodos de cálculo de yacimientos para la capacitación recurrente de redes neuronales http://www.sciencedirect.com/science/article/pii/S1574013709000173 ) o (La Regla de aprendizaje p-Delta para percepciones paralelas http://www.igi.tugraz.at/psfiles/pdelta-journal.pdf )
   
   Mi opinión es que si desea usar el Líquido como clasificador en términos de separabilidad o generalización del patrón, puede obtener mucho más de la forma en que las neuronas se conectan entre sí (consulte Hazan, H. y Manevitz, L., Restricciones topológicas y robustez en máquinas de estado líquido, Expert Systems with Applications, Volumen 39, Número 2, páginas 1597-1606, http://dx.doi.org/10.1016/j.eswa.2011.06.052 , febrero de 2012.) o (Cual ¿Modelo a utilizar para la máquina de estado líquido? http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5178822 ) El enfoque biológico (en mi opinión, el más interesante) (¿Qué puede aprender una neurona con Spike- ¿Plasticidad dependiente del tiempo? Www.mitpressjournals.org/doi/abs/10.1162/0899766054796888)
2. Tiene razón, debe esperar al menos hasta que termine de dar la entrada. De lo contrario, se arriesga a detectar su aporte, y no la actividad que se produce como resultado de su aporte como debería ser.
3. Sí, puede imaginar que su complejidad líquida es un núcleo en SVM que intenta proyectar los puntos de datos a algún hiperespacio y el detector en el líquido como la parte que intenta separar las clases en el conjunto de datos. Como regla general, el número de neuronas y la forma en que se conectan entre sí determinan el grado de complejidad del líquido.
   

Sobre LIF (Leaky Integrate & Fire neurons), como lo veo (podría estar equivocado), la gran diferencia entre los dos enfoques es la unidad individual. En el estado líquido, la máquina utiliza biológicas como las neuronas, y en el estado eco usa más unidades analógicas. Entonces, en términos de "memoria a muy corto plazo", el enfoque de estado líquido de cada neurona individual recuerda su propia historia, donde en el estado de eco cada neurona individual reacciona solo en el estado actual, allí para la memoria almacenada en la actividad entre las unidades .

Answer 2

Para comprender los LSM, debes comprender la comparación con Liquid. Considera la siguiente imagen:

• Estás arrojando piedras al agua al azar. Dependiendo de qué tipo de piedras arrojó al agua, hay otro patrón de onda después de x pasos de tiempo.
• Con respecto a este patrón de onda, puede tener conclusiones sobre las características de las diferentes piedras
• Fuera de este patrón puedes decir qué tipo de piedras tiraste.

El LSM modela este comportamiento que tenemos:

• Una capa de entrada que se conecta aleatoriamente al reservorio de neuronas. Tómalo como las piedras que arrojas al agua.

• Un reservorio de neuronas conectadas al azar. Esos representan su agua que interactúa con sus piedras de una manera específica.

  • En términos de LSM tenemos neuronas especiales (intentan modelar neuronas reales). Añaden activaciones a lo largo de los pasos de tiempo y solo se activan si se alcanza una cierta cantidad de activación, además se aplica un factor de enfriamiento que representa las bombas de natio kalium en el cerebro.
  • Después de x timesteps tendrás un patrón de neuronas punzantes en ese momento.

• Una capa de salida que interpreta ese patrón y la usa para la clasificación.

Answer 3

Solo quiero agregar 2 puntos adicionales para otros lectores. Primero, que las bombas "natrium-kalium" son bombas de sodio-potasio en inglés. La segunda es la relación entre las máquinas de estado líquido (LSM) y las máquinas de estado finito (FSM) (ya que algunos lectores pueden llegar a comprender ya las máquinas de estado finito).

La relación entre LSM y FSM es principalmente una mera analogía. Sin embargo, las unidades (neuronas) de un LSM pueden modelarse individualmente como FSM con respecto a si disparan o no los potenciales de acción (cambio de estado). Una dificultad con esto es que el tiempo de los cambios de estado de cada unidad y sus vecinos no es fijo. Entonces, cuando consideramos los estados de todas las unidades y cómo cambian en el tiempo, obtenemos una tabla de transición infinita, y eso coloca al LSM en la clase de un sistema de transición, no un FSM (tal vez esto sea un poco obvio). Sin embargo, luego agregamos el discriminador lineal ... Esta es una capa de lectura determinista simple que está entrenada para seleccionar patrones en el LSM correspondientes a los cálculos deseados. El sistema de lectura supervisa un subconjunto de unidades, y generalmente tiene reglas temporales bien definidas. En otras palabras, ignora muchas transiciones de estado y es sensible a solo unas pocas. Esto lo hace un poco como un FSM.

Puede leer que las combinaciones de unidades en el LSM pueden formar un FSM de tal manera que la lectura identifique al FSM "virtualmente contenido dentro de él". Esto proviene de un escritor que está pensando en el LSM como un modelo de computadora en primer lugar (cuando en principio podría dilucidar las unidades y conexiones que comprenden un "FSM virtual" y construir un FSM similar real). Tal declaración puede ser confusa para cualquiera que piense en el LSM como un sistema biológico, donde es mejor pensar en la lectura como un elemento que selecciona y combina las características del LSM de una manera que ignora la variabilidad de alta dimensión y produce una fiabilidad. FSM de baja dimensión como resultado.