Búsqueda · 22 momentos en 13 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Crespoexponenciales y logaritmos en coprocesadoresfunciones exponenciales para probabilidadespropiedad monótona exponencial logaritmologaritmo requiere valores positivosfunción exponencial con números negativosredes neuronales y puntuaciones logicssalida de red entrenada logicsFrancis Villatorologaritmo de 1 más xexponencial m1
CFT logarítmicas
Ep577: Planeta Enano; Errores en IAs; Romper Agujeros Negros; Habitabilidad Química; Virus y Monos
29 de octubre de 20262 momentos
Con
0:000:301:001:302:002:303:03
Francis Villatoro explica cómo el logaritmo requiere valores positivos, contrastando con la función exponencial que puede operar tanto con números positivos como negativos.
…una salida, y las salidas son una serie de etiquetas que yo he convenido, una serie de números, pues yo qué sé, 1, menos 9 y 9. Y digo: pues tres numeritos, tengo tres salidas y a una le voy a dar el número uno, a otra el nueve y a otra el menos nueve. Pero ¿cómo yo convierto eso en una probabilidad? Una posibilidad sería coger los valores absolutos y dividir cada número entre su valor absoluto. Pero hay una manera mucho más sencilla que calcular una exponencial. La exponencial y el logaritmo son funciones que están en todos los coprocesadores matemáticos y que tienen muchas ventajas matemáticas, aparte de que son monótonas, quizás es la propiedad más importante, es decir, si algo es más pequeño que otra cosa, la exponencial de ese algo es más pequeño que la exponencial de la otra cosa o el logaritmo de este algo es más pequeño que el logaritmo de la otra cosa. El logaritmo requiere que las cosas sean positivas. Es la diferencia con la exponencial, que le da lo mismo que sean positivas o negativas. Entonces una operación que se utiliza, dada la salida a una red que está siendo entrenada y que los resultados de salida, que se llaman logics, digamos las puntuaciones que se dan a cada una de las categorías de los resultados que yo obtengo. pues esos son números enteros normalmente. Lo que hago yo es convertirlo en probabilidades metiendo la exponencial. Entonces yo, si tengo 1, menos 9 y 9, pues hago la exponencial de 1, la exponencial de 9 y la exponencial de menos 9. Pero fijaros, todo eso lo…
Significado #1
Francis Villatoro explica cómo el logaritmo requiere valores positivos, contrastando con la función exponencial que puede operar tanto con números positivos como negativos.
Habla: Francis VillatoroSignificado #1exponenciales y logaritmos en coprocesadoresfunciones exponenciales para probabilidadespropiedad monótona exponencial logaritmologaritmo requiere valores positivosfunción exponencial con números negativosredes neuronales y puntuaciones logicssalida de red entrenada logics…una salida, y las salidas son una serie de etiquetas que yo he convenido, una serie de números, pues yo qué sé, 1, menos 9 y 9. Y digo: pues tres numeritos, tengo tres salidas y a una le voy a dar el número uno, a otra el nueve y a otra el menos nueve. Pero ¿cómo yo convierto eso en una probabilidad? Una posibilidad sería coger los valores absolutos y dividir cada número entre su valor absoluto. Pero hay una manera mucho más sencilla que calcular una exponencial. La exponencial y el logaritmo son funciones que están en todos los coprocesadores matemáticos y que tienen muchas ventajas matemáticas, aparte de que son monótonas, quizás es la propiedad más importante, es decir, si algo es más pequeño que otra cosa, la exponencial de ese algo es más pequeño que la exponencial de la otra cosa o el logaritmo de este algo es más pequeño que el logaritmo de la otra cosa. El logaritmo requiere que las cosas sean positivas. Es la diferencia con la exponencial, que le da lo mismo que sean positivas o negativas. Entonces una operación que se utiliza, dada la salida a una red que está siendo entrenada y que los resultados de salida, que se llaman logics, digamos las puntuaciones que se dan a cada una de las categorías de los resultados que yo obtengo. pues esos son números enteros normalmente. Lo que hago yo es convertirlo en probabilidades metiendo la exponencial. Entonces yo, si tengo 1, menos 9 y 9, pues hago la exponencial de 1, la exponencial de 9 y la exponencial de menos 9. Pero fijaros, todo eso lo…
Francis Villatoro explica el origen del 'efecto tirachinas', una oscilación observada en experimentos con redes neuronales, que resulta ser causada por problemas de aritmética en cálculos con exponenciales y logaritmos.
Habla: Francis VillatoroSignificado #16 · Palabras #4efecto tirachinas en redes neuronalesaritmética causa efecto tirachinascancelaciones catastróficas exponenciales logaritmosreescribir logaritmos funciones alternativasexponencial m1 corregida en coprocesadoresfunciones alternativas a logaritmos exponencialesdiferencias cancelativas en funciones neuronales…importancia, son cositas pequeñas, no importa; lo que provoca se ha observado en los experimentos que han mostrado con redes relativamente pequeñas, es que aparezcan esas oscilaciones: esas oscilaciones que se le llamaban el efecto onda, el efecto slingshot. Eso en español se le llama también, ¿cómo se le llama? Tirachinas, ¿no? Tirachina, exactamente; el efecto tirachina, es decir, una cosa que no se sabía muy bien qué causa tenía, resulta que la causa es la aritmética, las cancelaciones catastróficas, la aritmética por ordenador en ese tipo de operaciones que se trabajan con exponenciales y con logaritmos y cuya solución, que viene en todos los libros de texto, es trivial: es cambiar ligeramente la manera en que escribes los logaritmos. Porque tienes que aplicar logaritmos y entonces tú puedes reescribir los logaritmos utilizando funciones alternativas al logaritmo y la exponencial. Hay funciones como el logaritmo de 1 más x, que es una función que te garantiza que funciona; está implementada en la máquina de tal manera que funciona incluso cuando x está muy próximo a la unidad. En lugar de tú evaluar, hacer una resta entre dos números y después aplicar el logaritmo, puedes aplicar una función que garantiza que incluso cuando podría haber diferencia cancelativa se está corregida, está corregida; y lo mismo pasa con la exponencial. La exponencial de x-1 es una función que tiene nombre y apellidos: es la exponencial m1, exponencial menos 1, que es una función también corregida para que no haya diferencias cancelativas; y eso está implementado en los coprocesadores. Tú las puedes usar, pero tienes que saber que existen y tienes que preocuparte de este problema. Si no te preocupa este problema, no los usas. Pero para eso está el compilador, ¿no? O debería. O el agente de IA que sepa que hay que usar esas expresiones raras. Claro, muchas veces uno confía en que los compiladores optimicen, pero hay muchas cosas que los compiladores no optimizan. Y este tipo de…