Búsqueda · 32 momentos en 21 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Cresporetrasos relacionados con error conocidoingenieros al tanto del errorerror detectado en contextos previoserrores no detectados en disciplinasalgoritmos relativamente sencillosredes neuronales y francis villatoroIngenierosIgnacio CrespoFrancis Villatoro
Error detectado en contextos previos
Con
0:000:301:001:302:002:303:03
Ignacio Crespo expresa interés por una razón detrás de ciertos retrasos, preguntando si está relacionada con un error previamente conocido.
…datos, que supuestamente tiene que ser más poderosa y haber aprendido más cosas, de repente cuando vas a hacer la fase de prueba descubres que ha desaprendido muchísimas cosas y que es peor que la que ya tenías. Esto no lo puedo sacar al mercado ¿Y por qué? ¿Ha ocurrido? Pues lo mismo ha ocurrido por una razón de este tipo. Esto me interesa, y es lo que te quería preguntar antes porque dices que puede que en parte estos retrasos se deban a este error que se ha detectado, y que ya en otros contextos se conocía. La cosa es que estuvieran al tanto los ingenieros que se dedican. A programar estas redes y a entrenarlas. La pregunta es: si del mismo modo que este error pasaba desapercibido pero se conocía, puede haber otros que se conozcan en otras disciplinas y que estén afectando también aquí y que todavía no se hayan detectado. Es posible. De todas formas, los algoritmos son relativamente sencillos. Los algoritmos de entrenamiento y de funcionamiento de estas redes, o sea, una de las grandes cosas que ha ocurrido en los últimos 15 años es que de todas las cosas de las que había cientos de variantes de los algoritmos, por mera evolución darwiniana, han quedado uno de cada cosa. Y entonces ahora mismo, pues el soft mass, la entropía cruzada, varios algoritmos de gradientes tocasticos, varios algoritmos que se están usando y que eran uno de los muchos que se…
Significado #1 · Palabras #1
Francis Villatoro describe un comportamiento inusual en el error durante el entrenamiento de redes neuronales, contrastándolo con la curva ideal descrita en los libros.
Habla: Francis VillatoroSignificado #17error en redes neuronalescurva ideal entrenamiento librososcilaciones error amplitud decreciente…que voy pasando por todos los datos de entrenamiento. Una de las cosas que se había observado en ciertas redes, sobre todo en redes relativamente pequeñas, pero ahora hay evidencia también en una red grande: es que el error de la red durante el entrenamiento. No era monótono. Muchas veces en los libros vemos que el error es alto; el error baja rápidamente. Después se relaja y baja pero mucho más despacio. Es la curva ideal para el entrenamiento. Pero se habían observado muchos casos en los que el error baja y llega un momento en que el error crece, y después vuelve a bajar y crece, y vuelve a bajar y crece, y bueno, sí, la red acaba convergiendo a algo; pues esas oscilaciones son cada vez de menor amplitud y acabo más o menos convergiendo a algo que me permite decir que esta. Red más o menos está entrenada, pero hay redes incluso que este comportamiento oscilatorio no se detiene y se mantiene ad eternum. Entonces se pensaba que era algo debido a la dinámica no lineal de las redes y que la causa tenía que ser una causa como muy…
Ignacio Crespo expresa interés por una razón detrás de ciertos retrasos, preguntando si está relacionada con un error previamente conocido.
Habla: Ignacio CrespoSignificado #1 · Palabras #1retrasos relacionados con error conocidoingenieros al tanto del errorerror detectado en contextos previoserrores no detectados en disciplinasalgoritmos relativamente sencillosredes neuronales y francis villatoro…datos, que supuestamente tiene que ser más poderosa y haber aprendido más cosas, de repente cuando vas a hacer la fase de prueba descubres que ha desaprendido muchísimas cosas y que es peor que la que ya tenías. Esto no lo puedo sacar al mercado ¿Y por qué? ¿Ha ocurrido? Pues lo mismo ha ocurrido por una razón de este tipo. Esto me interesa, y es lo que te quería preguntar antes porque dices que puede que en parte estos retrasos se deban a este error que se ha detectado, y que ya en otros contextos se conocía. La cosa es que estuvieran al tanto los ingenieros que se dedican. A programar estas redes y a entrenarlas. La pregunta es: si del mismo modo que este error pasaba desapercibido pero se conocía, puede haber otros que se conozcan en otras disciplinas y que estén afectando también aquí y que todavía no se hayan detectado. Es posible. De todas formas, los algoritmos son relativamente sencillos. Los algoritmos de entrenamiento y de funcionamiento de estas redes, o sea, una de las grandes cosas que ha ocurrido en los últimos 15 años es que de todas las cosas de las que había cientos de variantes de los algoritmos, por mera evolución darwiniana, han quedado uno de cada cosa. Y entonces ahora mismo, pues el soft mass, la entropía cruzada, varios algoritmos de gradientes tocasticos, varios algoritmos que se están usando y que eran uno de los muchos que se…