machine learning - sobre - ¿Qué tan rápido son las técnicas de aprendizaje profundo(DNN, DBN,...) en la práctica?

que es el deep learning muy interesante

Question

Las técnicas de aprendizaje profundo (Deep Neural Network, Deep Belief Network, Deep Stacking Networks, ...) son muy eficientes en algunas áreas. Tardan mucho tiempo en entrenar, pero este es un costo único.

Leí varios artículos sobre diferentes técnicas y solo se enfocaron en la precisión y el tiempo para entrenarlos. ¿Qué tan rápido deben producir una respuesta en la práctica, una vez entrenado?

¿Hay alguna información disponible sobre la evaluación comparativa de redes profundas con tal vez millones de parámetros?

Creo que son bastante rápidos ya que todos los pesos son fijos, pero como las funciones pueden ser bastante complejas y el número de parámetros bastante alto, no estoy seguro de cómo realmente funcionan en la práctica.

Answer 1

La velocidad depende en gran medida del tamaño de la red. Asumiendo que su red es densa red Feed Forward, cada capa de la red está representada por una matriz (generalmente muy rectangular). Presionar una entrada a través de la red requiere un producto vectorial de matriz. Entonces, si tienes una red con 8 capas, te llevará 8 productos de matriz. Cuánto tiempo cada una de esas tomas depende de la dimensión original del conjunto de datos y el tamaño de dichas capas.