Búsqueda · 33 momentos en 21 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Crespoerror en redes neuronalescurva ideal entrenamiento librososcilaciones error amplitud decrecienteredes neuronales oscilaciones errordinámica no lineal de redesartículos publicados 2025 2026Francis Villatoro
Oscilaciones error amplitud decreciente
Ep577: Planeta Enano; Errores en IAs; Romper Agujeros Negros; Habitabilidad Química; Virus y Monos
29 de octubre de 20264 momentos
Con
0:000:301:001:302:002:303:03
Francis Villatoro describe un comportamiento inusual en el error durante el entrenamiento de redes neuronales, contrastándolo con la curva ideal descrita en los libros.
…que voy pasando por todos los datos de entrenamiento. Una de las cosas que se había observado en ciertas redes, sobre todo en redes relativamente pequeñas, pero ahora hay evidencia también en una red grande: es que el error de la red durante el entrenamiento. No era monótono. Muchas veces en los libros vemos que el error es alto; el error baja rápidamente. Después se relaja y baja pero mucho más despacio. Es la curva ideal para el entrenamiento. Pero se habían observado muchos casos en los que el error baja y llega un momento en que el error crece, y después vuelve a bajar y crece, y vuelve a bajar y crece, y bueno, sí, la red acaba convergiendo a algo; pues esas oscilaciones son cada vez de menor amplitud y acabo más o menos convergiendo a algo que me permite decir que esta. Red más o menos está entrenada, pero hay redes incluso que este comportamiento oscilatorio no se detiene y se mantiene ad eternum. Entonces se pensaba que era algo debido a la dinámica no lineal de las redes y que la causa tenía que ser una causa como muy exótica. Pero ya en los últimos dos años, en 2025 y en 2026, se han publicado varios artículos que muestran que Este tipo de comportamiento podría tener una explicación muy, muy sencilla y lo sorprendente ha sido un artículo; ya había varias explicaciones publicadas. Lo que pasa es que, como en redes de inteligencia artificial se están publicando a la semana miles de…
Significado #1 · Palabras #2
Francis Villatoro describe un comportamiento inusual en el error durante el entrenamiento de redes neuronales, contrastándolo con la curva ideal descrita en los libros.
Habla: Francis VillatoroSignificado #1 · Palabras #2error en redes neuronalescurva ideal entrenamiento librososcilaciones error amplitud decrecienteredes neuronales oscilaciones errordinámica no lineal de redesartículos publicados 2025 2026…que voy pasando por todos los datos de entrenamiento. Una de las cosas que se había observado en ciertas redes, sobre todo en redes relativamente pequeñas, pero ahora hay evidencia también en una red grande: es que el error de la red durante el entrenamiento. No era monótono. Muchas veces en los libros vemos que el error es alto; el error baja rápidamente. Después se relaja y baja pero mucho más despacio. Es la curva ideal para el entrenamiento. Pero se habían observado muchos casos en los que el error baja y llega un momento en que el error crece, y después vuelve a bajar y crece, y vuelve a bajar y crece, y bueno, sí, la red acaba convergiendo a algo; pues esas oscilaciones son cada vez de menor amplitud y acabo más o menos convergiendo a algo que me permite decir que esta. Red más o menos está entrenada, pero hay redes incluso que este comportamiento oscilatorio no se detiene y se mantiene ad eternum. Entonces se pensaba que era algo debido a la dinámica no lineal de las redes y que la causa tenía que ser una causa como muy exótica. Pero ya en los últimos dos años, en 2025 y en 2026, se han publicado varios artículos que muestran que Este tipo de comportamiento podría tener una explicación muy, muy sencilla y lo sorprendente ha sido un artículo; ya había varias explicaciones publicadas. Lo que pasa es que, como en redes de inteligencia artificial se están publicando a la semana miles de…
Francis Villatoro explica las consecuencias de obtener valores constantes al calcular probabilidades en redes neuronales, lo que impide la corrección adecuada de los pesos durante el entrenamiento.
Habla: Francis VillatoroSignificado #3gradientes cero en redes neuronalescorrección de pesos entrenamiento iVooxefecto slingshot en redes pequeñasoscilaciones efecto onda…tan pequeños que suman 0. Son 0 relativo al 1 en el tamaño de la aritmética que yo estoy usando. El resultado final es que obtengo 1 dividido entre 1. Pero claro, 1 dividido entre 1 es un valor constante. Cuando calculo los gradientes, los gradientes son 0 y. entonces cuando yo tendría que corregir en el entrenamiento los pesos para que se ajustara mejor la red, resulta que no puedo corregir el gradiente asociado al valor correcto; no lo puedo corregir porque todos los gradientes son cero y puedo corregir, sin embargo, todos los demás. Además, cuando hago los gradientes respecto a todos los demás valores, valores incorrectos, sí corrijo esos valores. Lo que pasa es que ahora los gradientes no suman igual a cero porque me falta uno de ellos. La diferencia es pequeña, ¿vale? Sí, es pequeña, pero ya no es cero. Y esto que parece una cosa como de menor importancia, son cositas pequeñas, no importa; lo que provoca se ha observado en los experimentos que han mostrado con redes relativamente pequeñas, es que aparezcan esas oscilaciones: esas oscilaciones que se le llamaban el efecto onda, el efecto slingshot. Eso en español se le llama también, ¿cómo se le llama? Tirachinas, ¿no? Tirachina, exactamente; el efecto tirachina, es decir, una cosa que no se sabía muy bien qué causa tenía, resulta que la causa es la aritmética, las cancelaciones catastróficas, la…
Francis Villatoro describe un problema observado durante el entrenamiento de redes neuronales, donde estas pueden volverse inestables y generar errores significativos.
Habla: Francis VillatoroSignificado #18errores del 200 en gradientesredes neuronales inestables villatoroentrenamiento de redes relativamente grandes…de memoria por relativamente pequeña, 50.000 millones de tokens, ¿eh? Han observado que aparece este tipo de fenómeno en el proceso de entrenamiento: cuando el entrenamiento tiene muchas épocas, llega un momento en que de repente se va de olla y se va. Y se desvía una barbaridad con errores enormes, errores en los gradientes que pueden llegar a ser del 200%, del 200%, 219% en algunos parámetros. Es una barbaridad, con lo que incluso en el entrenamiento de este tipo de redes relativamente grandes también se observa este fenómeno y la solución es tan sencilla como cambiar unas restas en un cierto lugar y corregirlas. Por cierto, este artículo del 28 de septiembre se publicó antes que el de DeepMind y utiliza la misma técnica de resolver estas diferencias cancelativas, o sea que se ha publicado esto varias veces. Qué curioso, Francis; deja que te pregunte por esto porque…
Francis Villatoro continúa explicando cómo la amplificación de errores relacionada con el caos determinista y la sensibilidad a las condiciones iniciales es otro fenómeno relevante en redes neuronales.
Habla: Francis VillatoroSignificado #6amplificación de errores en redes neuronalescaos determinista y condiciones inicialesalgoritmo de gradiente converge…no está discretizada a la hora de operar; la naturaleza actúa más o menos de manera analógica. Se refiere a que ese mecanismo que yo desconozco bien y no puedo argumentar, también produce una amplificación de los errores, entonces en ese sentido yo creo que La amplificación de los errores asociadas a caos deterministas y al hecho de que tenemos una sensibilidad con las condiciones iniciales, etc., es otro fenómeno y es relevante. En redes normales, por ejemplo, las redes normales se diseñan para que el algoritmo de gradiente converja, eso sí, asumiendo un número infinito de pasos, etc. Pero hay garantías de que ese tipo de no linealidad no aparece. Hay redes normales en las que se aprovecha ese tipo de normalidad, que tienen comportamiento caótico y tú aprovechas esa sensibilidad a las condiciones iniciales para permitir que la red almacene…