Búsqueda · 34 momentos en 22 episodios
Error de amplitud reducido
Con
0:000:301:001:302:002:303:03
Francis Villatoro describe un comportamiento inusual en el error durante el entrenamiento de redes neuronales, contrastándolo con la curva ideal descrita en los libros.
…que voy pasando por todos los datos de entrenamiento. Una de las cosas que se había observado en ciertas redes, sobre todo en redes relativamente pequeñas, pero ahora hay evidencia también en una red grande: es que el error de la red durante el entrenamiento. No era monótono. Muchas veces en los libros vemos que el error es alto; el error baja rápidamente. Después se relaja y baja pero mucho más despacio. Es la curva ideal para el entrenamiento. Pero se habían observado muchos casos en los que el error baja y llega un momento en que el error crece, y después vuelve a bajar y crece, y vuelve a bajar y crece, y bueno, sí, la red acaba convergiendo a algo; pues esas oscilaciones son cada vez de menor amplitud y acabo más o menos convergiendo a algo que me permite decir que esta. Red más o menos está entrenada, pero hay redes incluso que este comportamiento oscilatorio no se detiene y se mantiene ad eternum. Entonces se pensaba que era algo debido a la dinámica no lineal de las redes y que la causa tenía que ser una causa como muy…
Significado #1 · Palabras #3
Francis Villatoro describe un comportamiento inusual en el error durante el entrenamiento de redes neuronales, contrastándolo con la curva ideal descrita en los libros.
Habla: Francis VillatoroSignificado #1 · Palabras #3error en redes neuronalescurva ideal entrenamiento librososcilaciones error amplitud decreciente…que voy pasando por todos los datos de entrenamiento. Una de las cosas que se había observado en ciertas redes, sobre todo en redes relativamente pequeñas, pero ahora hay evidencia también en una red grande: es que el error de la red durante el entrenamiento. No era monótono. Muchas veces en los libros vemos que el error es alto; el error baja rápidamente. Después se relaja y baja pero mucho más despacio. Es la curva ideal para el entrenamiento. Pero se habían observado muchos casos en los que el error baja y llega un momento en que el error crece, y después vuelve a bajar y crece, y vuelve a bajar y crece, y bueno, sí, la red acaba convergiendo a algo; pues esas oscilaciones son cada vez de menor amplitud y acabo más o menos convergiendo a algo que me permite decir que esta. Red más o menos está entrenada, pero hay redes incluso que este comportamiento oscilatorio no se detiene y se mantiene ad eternum. Entonces se pensaba que era algo debido a la dinámica no lineal de las redes y que la causa tenía que ser una causa como muy…
Francis Villatoro continúa explicando cómo la amplificación de errores relacionada con el caos determinista y la sensibilidad a las condiciones iniciales es otro fenómeno relevante en redes neuronales.
Habla: Francis VillatoroSignificado #10amplificación de errores en redes neuronalescaos determinista y condiciones inicialesalgoritmo de gradiente converge…no está discretizada a la hora de operar; la naturaleza actúa más o menos de manera analógica. Se refiere a que ese mecanismo que yo desconozco bien y no puedo argumentar, también produce una amplificación de los errores, entonces en ese sentido yo creo que La amplificación de los errores asociadas a caos deterministas y al hecho de que tenemos una sensibilidad con las condiciones iniciales, etc., es otro fenómeno y es relevante. En redes normales, por ejemplo, las redes normales se diseñan para que el algoritmo de gradiente converja, eso sí, asumiendo un número infinito de pasos, etc. Pero hay garantías de que ese tipo de no linealidad no aparece. Hay redes normales en las que se aprovecha ese tipo de normalidad, que tienen comportamiento caótico y tú aprovechas esa sensibilidad a las condiciones iniciales para permitir que la red almacene…