Búsqueda · 33 momentos en 23 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Crespoerrores no detectados en disciplinasalgoritmos relativamente sencillosredes neuronales y francis villatoroalgoritmos darwinianos selecciónsoft mass entropía cruzadagradientes tocasticos evoluciónalgoritmos finales de los 90investigadores ia noventa reivindicar trabajoalgoritmos actuales investigadores esperan fallométodos inteligencia artificial años noventaFrancis VillatoroIgnacio Crespoagente de IA
Algoritmos relativamente sencillos
Ep577: Planeta Enano; Errores en IAs; Romper Agujeros Negros; Habitabilidad Química; Virus y Monos
29 de octubre de 20262 momentos
Con
0:000:301:001:302:002:303:03
Francis Villatoro plantea la posibilidad de que existan otros errores no detectados en otras disciplinas que puedan estar afectando el rendimiento de las redes neuronales, a pesar de que los algoritmos son relativamente sencillos.
…Esto me interesa, y es lo que te quería preguntar antes porque dices que puede que en parte estos retrasos se deban a este error que se ha detectado, y que ya en otros contextos se conocía. La cosa es que estuvieran al tanto los ingenieros que se dedican. A programar estas redes y a entrenarlas. La pregunta es: si del mismo modo que este error pasaba desapercibido pero se conocía, puede haber otros que se conozcan en otras disciplinas y que estén afectando también aquí y que todavía no se hayan detectado. Es posible. De todas formas, los algoritmos son relativamente sencillos. Los algoritmos de entrenamiento y de funcionamiento de estas redes, o sea, una de las grandes cosas que ha ocurrido en los últimos 15 años es que de todas las cosas de las que había cientos de variantes de los algoritmos, por mera evolución darwiniana, han quedado uno de cada cosa. Y entonces ahora mismo, pues el soft mass, la entropía cruzada, varios algoritmos de gradientes tocasticos, varios algoritmos que se están usando y que eran uno de los muchos que se podían usar a finales de los 90, hoy en día prácticamente es el único que se usa, es que nadie se le ocurre usar otro. Y tenemos a miles de investigadores en IA que desarrollaron esos algoritmos a finales de los 90 e incluso antes, que están deseando que falle los algoritmos más usados ahora mismo para reivindicar que lo suyo lo pueden corregir. Entonces esto es parte de la clave, que es fácil en principio asegurarse de si están funcionando porque no hay un abanico tan grande de algoritmos que se nos puedan estar escapando. Tenemos cuatro más o menos ahí, que evidentemente son más, y se puede investigar cada caso. Exactamente. En principio, pero aún así, hay muchos huecos en los que las diferencias cancelativas, por ejemplo, pueden aparecer en cantidad de lugares. Y entonces un estudio sistemático de todas las posibles diferencias cancelativas en ese tipo de sistemas dinámicos, de…
Significado #1 · Palabras #1
Francis Villatoro explica cómo los compiladores no siempre optimizan código para evitar problemas numéricos como diferencias cancelativas, y propone una solución sencilla: sustituir la función softmax por softplus.
Habla: Francis VillatoroPalabras #6diferencias cancelativas en compiladoressoftplus como alternativa a softmaxalgoritmos entrenamiento redes neuronalesoperador softmax en paquetes ia…función también corregida para que no haya diferencias cancelativas; y eso está implementado en los coprocesadores. Tú las puedes usar, pero tienes que saber que existen y tienes que preocuparte de este problema. Si no te preocupa este problema, no los usas. Pero para eso está el compilador, ¿no? O debería. O el agente de IA que sepa que hay que usar esas expresiones raras. Claro, muchas veces uno confía en que los compiladores optimicen, pero hay muchas cosas que los compiladores no optimizan. Y este tipo de cosas, este tipo de diferencias cancelativas, en general a los ordenadores les cuesta trabajo identificarla de manera automática. Entonces, la solución es realmente sencilla: por ejemplo, sustituir el operador softmax, súper famoso, por otro que viene en todos los paquetes de IA, que es el softplus, que calcula una operación en la que se evita la diferencia cancelativa. Entonces, con cambios realmente triviales y que se pueden implementar en cualquier algoritmo que tengas de entrenamiento de redes neuronales, porque además lo permiten los algoritmos modificar las funciones que aplicas para hacer ciertas operaciones, con un par de pequeñas sustituciones automáticamente resuelves el problema y te lo quitas de encima. entonces es una cosa que se ha ido publicando en varios artículos; en los últimos años y medio ha habido varios artículos que han identificado esto, pero la bomba ha explotado el viernes pasado cuando la han publicado desde DeepMind. entonces aquí hay: este…
Francis Villatoro plantea la posibilidad de que existan otros errores no detectados en otras disciplinas que puedan estar afectando el rendimiento de las redes neuronales, a pesar de que los algoritmos son relativamente sencillos.
Habla: Francis VillatoroSignificado #1 · Palabras #1errores no detectados en disciplinasalgoritmos relativamente sencillosredes neuronales y francis villatoroalgoritmos darwinianos selecciónsoft mass entropía cruzadagradientes tocasticos evoluciónalgoritmos finales de los 90investigadores ia noventa reivindicar trabajoalgoritmos actuales investigadores esperan fallométodos inteligencia artificial años noventa…Esto me interesa, y es lo que te quería preguntar antes porque dices que puede que en parte estos retrasos se deban a este error que se ha detectado, y que ya en otros contextos se conocía. La cosa es que estuvieran al tanto los ingenieros que se dedican. A programar estas redes y a entrenarlas. La pregunta es: si del mismo modo que este error pasaba desapercibido pero se conocía, puede haber otros que se conozcan en otras disciplinas y que estén afectando también aquí y que todavía no se hayan detectado. Es posible. De todas formas, los algoritmos son relativamente sencillos. Los algoritmos de entrenamiento y de funcionamiento de estas redes, o sea, una de las grandes cosas que ha ocurrido en los últimos 15 años es que de todas las cosas de las que había cientos de variantes de los algoritmos, por mera evolución darwiniana, han quedado uno de cada cosa. Y entonces ahora mismo, pues el soft mass, la entropía cruzada, varios algoritmos de gradientes tocasticos, varios algoritmos que se están usando y que eran uno de los muchos que se podían usar a finales de los 90, hoy en día prácticamente es el único que se usa, es que nadie se le ocurre usar otro. Y tenemos a miles de investigadores en IA que desarrollaron esos algoritmos a finales de los 90 e incluso antes, que están deseando que falle los algoritmos más usados ahora mismo para reivindicar que lo suyo lo pueden corregir. Entonces esto es parte de la clave, que es fácil en principio asegurarse de si están funcionando porque no hay un abanico tan grande de algoritmos que se nos puedan estar escapando. Tenemos cuatro más o menos ahí, que evidentemente son más, y se puede investigar cada caso. Exactamente. En principio, pero aún así, hay muchos huecos en los que las diferencias cancelativas, por ejemplo, pueden aparecer en cantidad de lugares. Y entonces un estudio sistemático de todas las posibles diferencias cancelativas en ese tipo de sistemas dinámicos, de…