Búsqueda · 22 momentos en 7 episodios
Juan Carlos GilGastón GiribetFrancis VillatoroHéctor Socasaprendizaje por refuerzo inteligencia artificialtransformers modelos de atenciónestudios aprendizaje refuerzo negativomodelos grandes aprendizaje refuerzointeligencia artificial china dixiameta inteligencias artificiales destiladasaprendizaje por refuerzo modelos lenguajeresultados negativos aprendizaje refuerzointentos previos aprendizaje lenguajeaprendizaje refuerzo inteligencia artificialpesos sinápticos neurona artificialresultados positivos aprendizaje refuerzohallazgo espurio aprendizaje refuerzoentrenamiento con refuerzo humano chatgptevaluación humana calidad respuestas openaichatgpt interacción humanosFrancis VillatoroMetaTransformerOpenAIBad BunnyTaeniopygia gutataNaturePavlovDixiaChatGPTGPT
Fracaso aprendizaje refuerzo modelos lenguaje
Con
0:000:301:001:302:002:44
Francis Villatoro continúa hablando sobre el aprendizaje por refuerzo en el contexto de grandes modelos de lenguaje, mencionando que previamente se habían realizado intentos con resultados negativos.
…haciendo mal, tanto en una red biológica como artificial. He creído entender que sugería que la red neuronal y el diamante se han puesto de acuerdo para tener ambos dos la recompensa a la vez. Parece que hay un mecanismo de realimentación de la inteligencia. Artificial, bueno, la inteligencia artificial usada en este estudio estaba entrenada ya; no se cambia el entrenamiento durante el proceso de entrenamiento del pájaro. Bueno, en principio depende: hay inteligencias artificiales que utilizan aprendizaje por refuerzo y muchos que no lo usan. Los modelos de tipo Transformer, los modelos de aprendizaje basado en la atención, no usan aprendizaje con refuerzo. Aunque en los últimos años se ha reivindicado, porque bueno, hubo una serie de estudios que dijeron que el aprendizaje por refuerzo era negativo y que desaprendían estas inteligencias artificiales; pero lo que se ha descubierto es que si son suficientemente grandes, entonces el aprendizaje con refuerzo no desaprende, sino que permite seguir aprendiendo. Y eso es lo que fue noticia con Dixit, con la famosa inteligencia artificial china. Esta que hubo un movimiento en bolsa y monetario, fue porque habíamos utilizado técnicas de aprendizaje con refuerzo sobre inteligencias artificiales destiladas de la inteligencia artificial de Meta. Entonces, eso está reivindicando; este año hay ya muchos trabajos. Sobre aprendizaje con refuerzo en el contexto de grandes modelos de lenguaje. Pero ya os digo, durante muchos años, pues lo que se había hecho, se había estudiado varias veces, se había intentado varias veces, se había visto que los resultados eran negativos. Ahora estamos viendo que si tú tienes Un número suficientemente grande de parámetros, que son pesos sinápticos en la neurona artificial, el aprendizaje con refuerzo sí parece positivo. Todo ese tema está todavía un poquito en el aire. ¿Cuál será el papel del aprendizaje con refuerzo en las inteligencias artificiales de dentro del año que viene? Eso todavía no sabemos. Puede que sea clave y fundamental o puede que esto haya sido algo espurio y que después descubramos que hay algún efecto negativo. Pero bueno, ahora mismo sí hay mucha gente trabajando en eso. Yo soy muy fan del aprendizaje con refuerzo y creo que acabará todo yendo por ahí. Y recordar también que ChatGPT la parte chat, no la parte GPT, no la parte del modelo de lenguaje, sino la parte de interacción con humanos y de calidad de respuestas se usaba un entrenamiento con refuerzo humano, había humanos que evaluaban la calidad de las respuestas y usando esa evaluación se mejoraba la parte de chat, la parte de chateo de chat GPT Sigue habiéndolo Se sigue haciendo ahora. El otro día, cuando te muestra, perdónate, cuando preguntas algo te muestra dos respuestas y te dice: ¿Cuál prefieres? Ya, pero bueno, eso es una cosa que sigue haciéndolo, pero no es lo relevante. Lo relevante es que había miles de…
Significado #1 · Palabras #2
Francis Villatoro explica cómo funciona el aprendizaje por refuerzo, comparándolo con el experimento de Pavlov sobre los perros y la salivación al escuchar un timbre asociado a comida.
Habla: Francis VillatoroPalabras #16aprendizaje por refuerzo experimento pavlovseñal externa aprendizaje organismos vivosaprendizaje del habla humanos bebéspronunciación infantil contraste parental…cuanto a lo de los pájaros cuéntanos lo de los pájaros, cómo aprenden los pájaros, que por lo visto se pegan unos chutes de dopamina cuando van aprendiendo a cantar. La idea del entrenamiento por refuerzo es algo que todos conocemos de los perros de Pavlov. tú generas una señal, un timbre o lo que sea y cuando asocian el timbre a un alimento y entonces salivan cuando tocas el timbre, aunque no haya presencia de alimento. Este es un aprendizaje con refuerzo. Lo que ocurre en muchos mecanismos de aprendizaje en organismos vivos es que no hay una señal clara de refuerzo externa, una señal externa al sistema. Y uno de los ejemplos clásicos es el aprendizaje del habla en humanos. Los humanos no aprendemos contrastando cómo pronunciamos las primeras palabras, los bebés o los niños muy pequeños, cuando empiezan a pronunciar palabras, no empiezan a contrastar esas palabras con la pronunciación correcta de parental, de su padre o de su madre, sino con lo que han almacenado en su mente Ahora que estamos con el tema de la visita de Einstein a Argentina, pues es la famosa anécdota de los tres años y la abuela de Einstein, ¿no? Todo el mundo la ha oído, ¿no? La abuela de Einstein estaba súper preocupada de que el niño no hablaba, hasta los…
Francis Villatoro continúa explicando un estudio sobre aprendizaje del habla en aves, mencionando específicamente el uso de diamantes cebra (Taeniopygia gutata) como animales modelo para la investigación.
Habla: Francis VillatoroPalabras #13diamantes cebra taeniopygia gutataanimal modelo diamantes cebrainvestigación aprendizaje habla aves…uno como a finales de 2023 y otro como a mediados de 2024, se publican los dos el mismo día y fueron aceptados con la diferencia de una semana Los dos artículos publican prácticamente lo mismo en cuanto a la tecnología que se usa, a lo que se mide, pero hay muchos pequeños detalles de diferencia, pero son a nivel de detalle Grosso modo, ambos refuerzan, uno refuerza las conclusiones del otro y viceversa Aquí se utiliza un animal modelo, un animal modelo es un pajarito que tenemos en las pajarerías, que es el diamante no sé si conocéis, los diamantes son unos pajaritos así pequeñitos que cantan y son muy bonitos y entonces aquí en concreto se ha utilizado un diamante que es el diamante cebra es el Taeniopygia gutata creo que en español el nombre que ten es diamante mandarín diamante mandarín, puede ser, sí, sí, sí, pues lo Mismo lo pongo y entonces este pajarito es un pajarito en el que solo cantan los machos y los jóvenes aprenden el canto aproximadamente en los primeros tres meses. Hay un primer mes en el que el pajarito es incapaz de cantar, pero oye a otros, llamémosle…
Francis Villatoro explica cómo el aprendizaje por refuerzo se basa en una comparación interna, recordando lo escuchado previamente, y bromea sobre la posible falta de dopamina en la vida de Bad Bunny.
Habla: Francis VillatoroPalabras #8aprendizaje refuerzo comparación internabad bunny falta dopamina…por algún motivo y eso le hace afinar. Él escucha la sílaba y aparentemente eso induce el cambio en dopamina. Qué bueno. Qué macho soy. Claro, qué bien lo he hecho. Y te sube un poquito la dopamina. Vuelve a bajar a nivel basal y ahora lo hago mal. Y le baja. Claro, de ahí el aprendizaje por refuerzo. Claro, es un aprendizaje por refuerzo basado en una comparación no con una señal externa, sino con una señal interna, que es lo que tú recuerdas de lo que habías escuchado. ¿Sabes por qué? Qué triste, estoy pensando ahora en la existencia de un Bad Bunny; tiene que ser tristísima, con cero dopamina o cantidades negativas. Y fijaros, y tú dices: bueno, pero esta hipótesis hay que contrastarla químicamente. Podemos inyectarle, no solo le meten una fibra óptica para ver los niveles de fosforescencia de la dopamina sino le meten también una pequeña aguja por la que pueden inyectar…
Francis Villatoro explica cómo, según un modelo de inteligencia artificial, la inhibición de la dopamina en los días 80 y 81 afecta al pájaro como si estuviera en el día 80 del aprendizaje.
Habla: Francis VillatoroPalabras #7dopamina inhibición pájaro día 80inteligencia artificial aprendizaje por refuerzoalgoritmo aprendizaje refuerzo pajarito…la dopamina de tal manera de que no puede has bajado el nivel basal y ya no puede haber esa diferencia, resulta que el pájaro al día siguiente ha aprendido con un día equivocado. Le puedes quitar un día de aprendizaje, dos días de aprendizaje al pájaro. Entonces, en el día 82, como les inhibiste la dopamina en el 80 y en el 81, pues sigue estando en el día 80, según la inteligencia artificial; con lo que eso te correlaciona que claramente la dopamina de alguna manera, no se tiene ni idea, no se tiene ni idea de cómo ocurre, codifica la señal de refuerzo interna en el algoritmo de aprendizaje con refuerzo que utiliza el pajarito para entender. Todo esto está muy simplificado, los sonogramas son imágenes en el tiempo de cada una de las frecuencias, son parecidos a las imágenes que vemos en las señales de ondas gravitacionales, algo parecido, lo que pasa es que son más complicados, son sonogramas un…
Francis Villatoro plantea una duda sobre si existe aprendizaje por refuerzo interno, donde la señal de refuerzo es una predicción del propio desempeño basada en lo memorizado. Menciona un artículo que compara los resultados con un modelo teórico antiguo llamado actor crítico.
Habla: Francis VillatoroPalabras #6dopamina neurotransmisor aprendizaje motorneuronas dopaminérgicas funciones encéfaloaprendizaje por refuerzo interno prediccionesactor crítico modelo teórico antiguoaprendizaje por refuerzo señal desempeño memorizadotendencias de crecimiento aprendizaje…en este caso el canto del pájaro, pero cualquier cosa que aprendemos ya se pensaba que la dopamina ejerce un papel fundamental en decirle a nuestro cerebro: esto está bien, quédate con esto, fija esta estructura neuronal que te ha hecho hacer esto bien. Todas las hormonas o todos los neurotransmisores, la dopamina es un neurotransmisor, tiene muchas funciones en el organismo y la dopamina, una de las funciones que tiene, es el tema asociado al aprendizaje; digamos, fijar ciertas pautas en el aprendizaje, sobre todo el aprendizaje de motor. Esto no solo influye en el habla, sino también en el aprendizaje a tocar instrumentos musicales, pero tiene también muchos otros papeles. Los neurotransmisores tienen muchos papeles. Las neuronas dopaminérgicas, que son las que preferentemente usan la dopamina como neurotransmisor, están en diferentes lugares del encéfalo y en cada lugar tienen funciones diferentes. Y hay varias funciones asociadas a la dopamina. Esto ya se sabía que la dopamina era importante; pero lo que no se quedaba claro, o sea, el gran problema aquí era: ¿puede haber aprendizaje por refuerzo interno? Es decir, ¿que tu señal de refuerzo sea una predicción de cómo lo estás haciendo a partir de lo que has memorizado? Y esa es un poco la duda, ¿no? claro, hay mucha gente que decía que sí de hecho uno de los dos artículos presenta compara los resultados con un modelo teórico que es un modelo ya muy antiguo un modelo de actor crítico el actor que mejora su actuación en función de lo que opina el crítico que bueno, parece que se ajusta más o menos pero es un modelo muy sencillito y los datos también son sencillos tampoco son datos especialmente complicados porque son básicamente tendencias de crecimiento en el aprendizaje pero bueno, el modelo parece que sigue esa línea ellos introducen un concepto que llaman Vector dopaminérgico que es en esa separación en dos variables principales, digamos A y B, pues se ve que el crecimiento aparece como una especie de línea recta. Bueno, pues ahí definen un vector que es la dirección en la día a día, cómo ha mejorado, cómo se…
Francis Villatoro continúa hablando sobre el aprendizaje por refuerzo en el contexto de grandes modelos de lenguaje, mencionando que previamente se habían realizado intentos con resultados negativos.
Habla: Francis VillatoroSignificado #1 · Palabras #2aprendizaje por refuerzo inteligencia artificialtransformers modelos de atenciónestudios aprendizaje refuerzo negativomodelos grandes aprendizaje refuerzointeligencia artificial china dixiameta inteligencias artificiales destiladasaprendizaje por refuerzo modelos lenguajeresultados negativos aprendizaje refuerzointentos previos aprendizaje lenguajeaprendizaje refuerzo inteligencia artificialpesos sinápticos neurona artificialresultados positivos aprendizaje refuerzohallazgo espurio aprendizaje refuerzoentrenamiento con refuerzo humano chatgptevaluación humana calidad respuestas openaichatgpt interacción humanos…haciendo mal, tanto en una red biológica como artificial. He creído entender que sugería que la red neuronal y el diamante se han puesto de acuerdo para tener ambos dos la recompensa a la vez. Parece que hay un mecanismo de realimentación de la inteligencia. Artificial, bueno, la inteligencia artificial usada en este estudio estaba entrenada ya; no se cambia el entrenamiento durante el proceso de entrenamiento del pájaro. Bueno, en principio depende: hay inteligencias artificiales que utilizan aprendizaje por refuerzo y muchos que no lo usan. Los modelos de tipo Transformer, los modelos de aprendizaje basado en la atención, no usan aprendizaje con refuerzo. Aunque en los últimos años se ha reivindicado, porque bueno, hubo una serie de estudios que dijeron que el aprendizaje por refuerzo era negativo y que desaprendían estas inteligencias artificiales; pero lo que se ha descubierto es que si son suficientemente grandes, entonces el aprendizaje con refuerzo no desaprende, sino que permite seguir aprendiendo. Y eso es lo que fue noticia con Dixit, con la famosa inteligencia artificial china. Esta que hubo un movimiento en bolsa y monetario, fue porque habíamos utilizado técnicas de aprendizaje con refuerzo sobre inteligencias artificiales destiladas de la inteligencia artificial de Meta. Entonces, eso está reivindicando; este año hay ya muchos trabajos. Sobre aprendizaje con refuerzo en el contexto de grandes modelos de lenguaje. Pero ya os digo, durante muchos años, pues lo que se había hecho, se había estudiado varias veces, se había intentado varias veces, se había visto que los resultados eran negativos. Ahora estamos viendo que si tú tienes Un número suficientemente grande de parámetros, que son pesos sinápticos en la neurona artificial, el aprendizaje con refuerzo sí parece positivo. Todo ese tema está todavía un poquito en el aire. ¿Cuál será el papel del aprendizaje con refuerzo en las inteligencias artificiales de dentro del año que viene? Eso todavía no sabemos. Puede que sea clave y fundamental o puede que esto haya sido algo espurio y que después descubramos que hay algún efecto negativo. Pero bueno, ahora mismo sí hay mucha gente trabajando en eso. Yo soy muy fan del aprendizaje con refuerzo y creo que acabará todo yendo por ahí. Y recordar también que ChatGPT la parte chat, no la parte GPT, no la parte del modelo de lenguaje, sino la parte de interacción con humanos y de calidad de respuestas se usaba un entrenamiento con refuerzo humano, había humanos que evaluaban la calidad de las respuestas y usando esa evaluación se mejoraba la parte de chat, la parte de chateo de chat GPT Sigue habiéndolo Se sigue haciendo ahora. El otro día, cuando te muestra, perdónate, cuando preguntas algo te muestra dos respuestas y te dice: ¿Cuál prefieres? Ya, pero bueno, eso es una cosa que sigue haciéndolo, pero no es lo relevante. Lo relevante es que había miles de…