Búsqueda · 30 momentos en 14 episodios
Francis VillatoroBorja TosarJuan Carlos GilGastón GiribetIgnacio Crespored neuronal investigadores chinosparámetros entrenamiento red neuronalopenai billones de parámetrosOpenAIFrancis VillatoroEstados UnidosChinaGoogle DeepMindviernes 22década de los 1940
Red Neuronal investigadores Chinos
Ep577: Planeta Enano; Errores en IAs; Romper Agujeros Negros; Habitabilidad Química; Virus y Monos
29 de octubre de 20264 momentos
Con
0:000:301:001:302:002:303:03
Francis Villatoro menciona un artículo publicado hace unas semanas por investigadores chinos que utilizan una red neuronal con 450 millones de parámetros para el entrenamiento.
…casos hasta 3, o sea, porque son redes tan grandes con tal número de parámetros que esto les afecta poco. Entonces, bueno, pues, en principio, estas pequeñas diferencias cancelativas son, entre comillas, irrelevantes para este tipo de problemas. Pero se Ha publicado un artículo, y se publicó en septiembre el 28 de septiembre, o sea, hace un par de semanas. De unos investigadores chinos que utilizan una red que no es pequeña, ¿vale? Una red que no es pequeña para la escala normal: es una red que tiene 450 millones de parámetros de entrenamiento, ¿vale? O sea que es pequeña comparada con las de OpenAI y que tienen billones con B, millones de millones de parámetros, ¿no? Aquí estamos hablando de solo 450 millones, pero 450 millones de parámetros son ya unos cuantos, ¿eh? Requieren... Y lo que han observado en una red en la que estaban entrenando con una cantidad de memoria por relativamente pequeña, 50.000 millones de tokens, ¿eh? Han observado que aparece este tipo de fenómeno en el proceso de entrenamiento: cuando el entrenamiento tiene…
Significado #1 · Palabras #2
Francis Villatoro explica que tres investigadores de Google DeepMind publicaron una posible explicación para un fenómeno oscilatorio durante el entrenamiento de redes neuronales.
Habla: Francis VillatoroSignificado #13investigadores google deepmind redes neuronalesfenómeno oscilatorio entrenamiento redes neuronalesexplicación fenómeno oscilatorio google deepmind…Lo que pasa es que, como en redes de inteligencia artificial se están publicando a la semana miles de artículos, encontrar artículos que te llamen la atención y que te muestren un comportamiento y que te den una explicación, a veces es muy difícil. ¿Y qué pasa? Pues que el viernes pasado, el viernes 22, tres investigadores de Google DeepMind, y claro, cuando Google DeepMind publica algo se entera todo el mundo, desvelan una posible explicación de este fenómeno oscilatorio en el entrenamiento que es súper convincente porque en los ejemplos que han puesto corrige perfectamente, y además es una cosa como súper lógica. Y es lo que en métodos numéricos llamamos una diferencia cancelativa. La diferencia cancelativa es algo que parece algo tan obvio que hay que tener en cuenta y que todo el mundo se supone que lo tiene en cuenta, que a uno se sorprende de que prácticamente…
Francis Villatoro reflexiona sobre un problema común que surge en redes neuronales, asumiendo que los profesionales del campo son conscientes de él y toman medidas para solucionarlo.
Habla: Francis VillatoroPalabras #20redes neuronales problemita comúnmétodo numérico clases francis villatoroproblema redes neuronales profesionales…más caras, menos caras, pero es verdad. O sea, solo lo aplicas en principio cuando se ve que es necesario. Esto es conocido desde que hay bits, vamos. Desde que hay ordenadores, desde que las primeras mujeres empezaron a programar en la década de los 1940. Y entonces esto es un problemita que aparece en muchas circunstancias y aparece, por ejemplo, en redes neuronales. Y es una cosa que uno, yo, que he dado clase de método numérico durante 30 años, pues siempre he pensado que en redes neuronales la gente sabía esto y lo arreglaba. Y resulta que no, que las librerías estándares en Python que se usan más para la implementación de redes neuronales como PyTorch, como TensorFlow, como JAX, no lo tienen implementado; no hacen esta corrección. Y claro, uno puede decir: bueno, pero esa…
Francis Villatoro explica cómo empresas chinas, restringidas por leyes estadounidenses y limitaciones tecnológicas, están utilizando usuarios para entrenar sus propias redes neuronales.
Habla: Francis VillatoroSignificado #2 · Palabras #3redes neuronales entrenadas por usuarios chinostecnología estados unidos para compañías chinasinteligencias artificiales comparan respuestas con urdafase de entrenamiento de redes neuronales…de entrenamiento no tengo que, puedo acelerar, digámoslo así, el entrenamiento buscando que las respuestas de mi red, que me cuesta más trabajo entrenar porque tengo una tecnología un poquito más barata para hacerlo, coincida con la que da el modelo grande. Entonces, lo que hacen los chinos, que se supone que lo han hecho y es una cosa que no pueden confesar de verdad, pero bueno, que lo dicen así en plan rumulología, es que supuestamente miles de usuarios chinos están usando la tecnología de Estados Unidos, pero para las compañías chinas, no por el gusto personal de tener ellos en su cuenta Entonces le están preguntando cosas a estas inteligencias artificiales con objeto de comparar esas respuestas con las respuestas que dan sus propias redes neuronales durante la fase de entrenamiento Entonces Se llama un entrenamiento por destilado, un entrenamiento profesor-alumno. Entonces aquí tenemos el mismo problema que antes, lo que pasa es que ahora estamos comparando la probabilidad a las respuestas que ofrece el profesor con la probabilidad que durante…
Francis Villatoro menciona un artículo publicado hace unas semanas por investigadores chinos que utilizan una red neuronal con 450 millones de parámetros para el entrenamiento.
Habla: Francis VillatoroSignificado #1 · Palabras #2red neuronal investigadores chinosparámetros entrenamiento red neuronalopenai billones de parámetros…casos hasta 3, o sea, porque son redes tan grandes con tal número de parámetros que esto les afecta poco. Entonces, bueno, pues, en principio, estas pequeñas diferencias cancelativas son, entre comillas, irrelevantes para este tipo de problemas. Pero se Ha publicado un artículo, y se publicó en septiembre el 28 de septiembre, o sea, hace un par de semanas. De unos investigadores chinos que utilizan una red que no es pequeña, ¿vale? Una red que no es pequeña para la escala normal: es una red que tiene 450 millones de parámetros de entrenamiento, ¿vale? O sea que es pequeña comparada con las de OpenAI y que tienen billones con B, millones de millones de parámetros, ¿no? Aquí estamos hablando de solo 450 millones, pero 450 millones de parámetros son ya unos cuantos, ¿eh? Requieren... Y lo que han observado en una red en la que estaban entrenando con una cantidad de memoria por relativamente pequeña, 50.000 millones de tokens, ¿eh? Han observado que aparece este tipo de fenómeno en el proceso de entrenamiento: cuando el entrenamiento tiene…