Búsqueda · 19 momentos en 13 episodios
TensorFlow
Con
0:000:301:001:302:002:303:03
Francis Villatoro explica que las librerías estándar en Python utilizadas para implementar redes neuronales como PyTorch, TensorFlow y JAX no corrigen un problema numérico común.
…problemita que aparece en muchas circunstancias y aparece, por ejemplo, en redes neuronales. Y es una cosa que uno, yo, que he dado clase de método numérico durante 30 años, pues siempre he pensado que en redes neuronales la gente sabía esto y lo arreglaba. Y resulta que no, que las librerías estándares en Python que se usan más para la implementación de redes neuronales como PyTorch, como TensorFlow, como JAX, no lo tienen implementado; no hacen esta corrección. Y claro, uno puede decir: bueno, pero esa corrección es poco relevante, bueno, poco relevante entre comillas, porque ahora se ha puesto de moda en todas las redes neuronales modernas. Todo lo que llaman apariencia de profundo, se utiliza una manera de estimar probabilidades para los resultados de la salida, que a partir de esas probabilidades yo calculo lo que llaman la pérdida, el error de la red neuronal y con ese error, hago un cálculo de una cosa que se llama el gradiente, la sensibilidad, de la salida a los parámetros de la red; modifico la red. Y cuando yo hago la operación más usada, se llama SoftMax. La idea es utilizar exponenciales. La idea es: la red, a partir de una entrada, me devuelve una salida, y las salidas son una serie de etiquetas que yo he convenido, una serie de números, pues yo qué…
Significado #1 · Palabras #1
Francis Villatoro explica que tres investigadores de Google DeepMind publicaron una posible explicación para un fenómeno oscilatorio durante el entrenamiento de redes neuronales.
Habla: Francis VillatoroSignificado #2investigadores google deepmind redes neuronalesfenómeno oscilatorio entrenamiento redes neuronalesexplicación fenómeno oscilatorio google deepmind…Lo que pasa es que, como en redes de inteligencia artificial se están publicando a la semana miles de artículos, encontrar artículos que te llamen la atención y que te muestren un comportamiento y que te den una explicación, a veces es muy difícil. ¿Y qué pasa? Pues que el viernes pasado, el viernes 22, tres investigadores de Google DeepMind, y claro, cuando Google DeepMind publica algo se entera todo el mundo, desvelan una posible explicación de este fenómeno oscilatorio en el entrenamiento que es súper convincente porque en los ejemplos que han puesto corrige perfectamente, y además es una cosa como súper lógica. Y es lo que en métodos numéricos llamamos una diferencia cancelativa. La diferencia cancelativa es algo que parece algo tan obvio que hay que tener en cuenta y que todo el mundo se supone que lo tiene en cuenta, que a uno se sorprende de que prácticamente…
Francis Villatoro explica que las librerías estándar en Python utilizadas para implementar redes neuronales como PyTorch, TensorFlow y JAX no corrigen un problema numérico común.
Habla: Francis VillatoroSignificado #1 · Palabras #1pytorch tensorflow jax redes neuronalespérdida error red neuronalgradiente sensibilidad salida parámetrosaparición de profundo estimar probabilidades…problemita que aparece en muchas circunstancias y aparece, por ejemplo, en redes neuronales. Y es una cosa que uno, yo, que he dado clase de método numérico durante 30 años, pues siempre he pensado que en redes neuronales la gente sabía esto y lo arreglaba. Y resulta que no, que las librerías estándares en Python que se usan más para la implementación de redes neuronales como PyTorch, como TensorFlow, como JAX, no lo tienen implementado; no hacen esta corrección. Y claro, uno puede decir: bueno, pero esa corrección es poco relevante, bueno, poco relevante entre comillas, porque ahora se ha puesto de moda en todas las redes neuronales modernas. Todo lo que llaman apariencia de profundo, se utiliza una manera de estimar probabilidades para los resultados de la salida, que a partir de esas probabilidades yo calculo lo que llaman la pérdida, el error de la red neuronal y con ese error, hago un cálculo de una cosa que se llama el gradiente, la sensibilidad, de la salida a los parámetros de la red; modifico la red. Y cuando yo hago la operación más usada, se llama SoftMax. La idea es utilizar exponenciales. La idea es: la red, a partir de una entrada, me devuelve una salida, y las salidas son una serie de etiquetas que yo he convenido, una serie de números, pues yo qué…
Francis Villatoro explica que las grandes compañías como Google DeepMind guardan en secreto los detalles de sus procesos de entrenamiento neuronal.
Habla: Francis VillatoroSignificado #7entrenamiento neuronal google deepmindsecreto industrial entrenamiento neuronalgoogle deepmind guarda detalles…que explotan nuestros experimentos son poco comunes en el entrenamiento estándar a gran escala, o sea, consideran que están un poco al margen, que no les afectaría. ¿Hay una división de opiniones respecto a ese paper que nos decías en septiembre? ¿Este? ¿O está claro que afectan? Claro, aquí el gran problema es que las grandes compañías no te lo van a confesar porque esto es... Claro, es eso. Los detalles de lo que hacen en el entrenamiento es alto secreto y no es secreto industrial, ¿no? Y estamos hablando de gente que es de Google DeepMind, que tiene que decir lo que nosotros estamos haciendo está bien, ¿vale? O sea, que nadie se preocupe, que nosotros esto no lo hemos visto en nuestras redes. Esto lo hemos visto en los ejemplos de juguetes de los demás, ¿no? Pero lo nuestro no lo hemos visto, ¿eh? Es un ataque defensivo. Lo que sí está claro es que nunca lo puedes…