Francis Villatoro explica cómo funciona el aprendizaje por refuerzo, comparándolo con el experimento de Pavlov sobre los perros y la salivación al escuchar un timbre asociado a comida.
Habla: Francis VillatoroSignificado #12aprendizaje por refuerzo experimento pavlovseñal externa aprendizaje organismos vivosaprendizaje del habla humanos bebéspronunciación infantil contraste parental…cuanto a lo de los pájaros cuéntanos lo de los pájaros, cómo aprenden los pájaros, que por lo visto se pegan unos chutes de dopamina cuando van aprendiendo a cantar. La idea del entrenamiento por refuerzo es algo que todos conocemos de los perros de Pavlov. tú generas una señal, un timbre o lo que sea y cuando asocian el timbre a un alimento y entonces salivan cuando tocas el timbre, aunque no haya presencia de alimento. Este es un aprendizaje con refuerzo. Lo que ocurre en muchos mecanismos de aprendizaje en organismos vivos es que no hay una señal clara de refuerzo externa, una señal externa al sistema. Y uno de los ejemplos clásicos es el aprendizaje del habla en humanos. Los humanos no aprendemos contrastando cómo pronunciamos las primeras palabras, los bebés o los niños muy pequeños, cuando empiezan a pronunciar palabras, no empiezan a contrastar esas palabras con la pronunciación correcta de parental, de su padre o de su madre, sino con lo que han almacenado en su mente Ahora que estamos con el tema de la visita de Einstein a Argentina, pues es la famosa anécdota de los tres años y la abuela de Einstein, ¿no? Todo el mundo la ha oído, ¿no? La abuela de Einstein estaba súper preocupada de que el niño no hablaba, hasta los…
Francis Villatoro continúa explicando la analogía entre el aprendizaje animal y el desarrollo humano, señalando las limitaciones éticas que impiden estudiar directamente el cerebro de un niño.
Habla: Francis VillatoroSignificado #13 · Palabras #7estudio cerebro niño limitaciones éticassensores fibra óptica encéfalo infantilhormonas sustancias glándula basalhipocampo hipotálamo estudio animal modelo…fue consciente de que podía hablar perfectamente, podía pronunciar perfectamente las palabras; eso lo dijo obviamente en broma, porque nadie se acuerda de lo que hizo cuando tenía menos de tres años. Pues lo mismo pasa con animales, entonces tenemos que usar Un animal modelo. El problema que tenemos con los niños es que no podemos abrirle la cabeza a un niño y meterle ahí unos cuantos sensores con fibra óptica para ver cómo se mueven las hormonas y ciertas sustancias dentro de su encéfalo, en su glándula basal o en su hipocampo, en su hipotálamo. Eso no está permitido; legalmente no. Podemos hacerlo, entonces podemos hacerlo con animales. Entonces yo tomo un animal modelo. Perdón, Francis, pero ayer estaba escuchando una entrevista a un amigo, Mariano Sigman, que creo que es conocido en España porque vive allá hace un tiempo, pero contaba…
Francis Villatoro explica cómo el aprendizaje del canto en pájaros está relacionado con la producción de dopamina basal y una región específica del cerebro llamada área X.
Habla: Francis VillatoroPalabras #2dopamina basal aprendizaje pájarosárea x vocalización pájaroshormona induce dopamina area x…en una cámara en la que está él solito durante un mes sin poder volver a escuchar nunca más el sonido de sus padres, solo lo que él produce. Y yo veo si va mejorando el sonido y lo que observan los experimentos es que sí, el pajarito sigue entrenándose. Lo que provoca que el pajarito se entrene es una producción de dopamina basal. Se sabe que hay una parte de su encéfalo que produce una hormona que induce la actividad de dopamina en un área, que es un área de los ángulos basales asociada a la vocalización, que se llama el área X. Bien, pues lo que se ha observado es que hay un nivel importante de dopamina que fuerza al entrenamiento; es decir, el pajarito disfruta entrenándose y ese disfrute lo refleja elevando sus niveles de dopamina. Hay un nivel de dopamina que está como…
Héctor Socas interrumpe a Francis Villatoro para comentar sobre la mejora en la enunciación de las sílabas y frases por parte del pajarito durante su proceso de aprendizaje.
Habla: Héctor SocasPalabras #17pajarito mejora enunciación sílabasaprendizaje sílabas pajaritoautotune elemento pequeño…de la sílaba dando un valor del día de la sílaba. Entre el día, aproximadamente el día 50 y el día 100, la inteligencia artificial aprende a identificar una sílaba a qué día corresponde y con un error de mediodía. Eso es un entrenamiento de la red neuronal. Perdona, Francisco, o sea, lo que va mejorando el pajarito es cómo enuncia cada sílaba o las frases que compone con las diferentes sílabas. En principio aquí se han centrado en las sílabas; las sílabas y eso muestra evolución, o sea, me parece sorprendente que en un elemento tan pequeño como la sílaba se vea una progresión en el aprendizaje. Hace como un autotune, ¿no? Es como si estuviera produciendo fonemas y está diciendo la A, la E, la I, la O y va logrando que se identifiquen. En los sonogramas se ve bastante bien la evolución; se ve incluso a vista, cuando tú ves el sonograma dices: este sonograma es una porquería y…
Francis Villatoro explica cómo el aprendizaje por refuerzo se basa en una comparación interna, recordando lo escuchado previamente, y bromea sobre la posible falta de dopamina en la vida de Bad Bunny.
Habla: Francis VillatoroSignificado #8aprendizaje refuerzo comparación internabad bunny falta dopamina…por algún motivo y eso le hace afinar. Él escucha la sílaba y aparentemente eso induce el cambio en dopamina. Qué bueno. Qué macho soy. Claro, qué bien lo he hecho. Y te sube un poquito la dopamina. Vuelve a bajar a nivel basal y ahora lo hago mal. Y le baja. Claro, de ahí el aprendizaje por refuerzo. Claro, es un aprendizaje por refuerzo basado en una comparación no con una señal externa, sino con una señal interna, que es lo que tú recuerdas de lo que habías escuchado. ¿Sabes por qué? Qué triste, estoy pensando ahora en la existencia de un Bad Bunny; tiene que ser tristísima, con cero dopamina o cantidades negativas. Y fijaros, y tú dices: bueno, pero esta hipótesis hay que contrastarla químicamente. Podemos inyectarle, no solo le meten una fibra óptica para ver los niveles de fosforescencia de la dopamina sino le meten también una pequeña aguja por la que pueden inyectar…
Francis Villatoro explica las implicaciones de inhibir la dopamina en el proceso de aprendizaje del canto en pájaros.
Habla: Francis VillatoroSignificado #6dopamina inhibición aprendizaje pájarosnivel basal dopamina aprendizaje cantopájaros aprendizaje día equivocadodopamina inhibición pájaro día 80inteligencia artificial aprendizaje por refuerzoalgoritmo aprendizaje refuerzo pajarito…contrastarla químicamente. Podemos inyectarle, no solo le meten una fibra óptica para ver los niveles de fosforescencia de la dopamina sino le meten también una pequeña aguja por la que pueden inyectar sustancias y se pueden inyectar sustancias inhibidoras. De la dopamina: si tú en un día determinado inhibes la dopamina de tal manera de que no puede has bajado el nivel basal y ya no puede haber esa diferencia, resulta que el pájaro al día siguiente ha aprendido con un día equivocado. Le puedes quitar un día de aprendizaje, dos días de aprendizaje al pájaro. Entonces, en el día 82, como les inhibiste la dopamina en el 80 y en el 81, pues sigue estando en el día 80, según la inteligencia artificial; con lo que eso te correlaciona que claramente la dopamina de alguna manera, no se tiene ni idea, no se tiene ni idea de cómo ocurre, codifica la señal de refuerzo interna en el algoritmo de aprendizaje con refuerzo que utiliza el pajarito para entender. Todo esto está muy simplificado, los sonogramas son imágenes en el tiempo de cada una de las frecuencias, son parecidos a las imágenes que vemos en las señales de ondas gravitacionales, algo parecido, lo que pasa es que son más complicados, son sonogramas un…
Francis Villatoro explica la función de la dopamina como neurotransmisor en el organismo y su relación con el aprendizaje motor, incluyendo ejemplos como tocar instrumentos musicales.
Habla: Francis VillatoroSignificado #2 · Palabras #4dopamina aprendizaje canto pájaroestructura neuronal dopamina cerebrorol dopamina aprendizajedopamina neurotransmisor aprendizaje motorneuronas dopaminérgicas funciones encéfaloaprendizaje por refuerzo interno predicciones…creo, que al final se vuelve más aguda porque los pájaros también suelen hacer ese sonido así y por eso le pusieron ese nombre; o sea, no es casualidad que sea o sea, sí es casualidad que suba la frecuencia al final, pero que por eso se le llama así el chirp. Francis, esto del aprendizaje, en este caso el canto del pájaro, pero cualquier cosa que aprendemos ya se pensaba que la dopamina ejerce un papel fundamental en decirle a nuestro cerebro: esto está bien, quédate con esto, fija esta estructura neuronal que te ha hecho hacer esto bien. Todas las hormonas o todos los neurotransmisores, la dopamina es un neurotransmisor, tiene muchas funciones en el organismo y la dopamina, una de las funciones que tiene, es el tema asociado al aprendizaje; digamos, fijar ciertas pautas en el aprendizaje, sobre todo el aprendizaje de motor. Esto no solo influye en el habla, sino también en el aprendizaje a tocar instrumentos musicales, pero tiene también muchos otros papeles. Los neurotransmisores tienen muchos papeles. Las neuronas dopaminérgicas, que son las que preferentemente usan la dopamina como neurotransmisor, están en diferentes lugares del encéfalo y en cada lugar tienen funciones diferentes. Y hay varias funciones asociadas a la dopamina. Esto ya se sabía que la dopamina era importante; pero lo que no se quedaba claro, o sea, el gran problema aquí era: ¿puede haber aprendizaje por refuerzo interno? Es decir, ¿que tu señal de refuerzo sea una predicción de cómo lo estás haciendo a partir de lo que has memorizado? Y esa es un poco la duda, ¿no? claro, hay mucha gente que decía que sí de hecho uno de los dos artículos presenta compara los resultados con un modelo teórico que es un modelo ya muy antiguo un modelo de actor crítico el actor que mejora su actuación en…
Francis Villatoro explica un estudio sobre la producción de dopamina en relación con el aprendizaje vocal, indicando que se ha observado una correlación entre la dirección del vector asociado a la dopamina y la dirección del aprendizaje.
Habla: Francis VillatoroSignificado #14dopamina aprendizaje vocal dirección…ha mejorado, cómo se ha movido en ese espacio; tengo un punto y al día siguiente tengo otro punto y al día siguiente tengo otro punto, y estos puntos más o menos crecen, pues puedo definir un pequeño vector. Bueno, pues definen también un vector asociado. a la producción de dopamina y obtienen que la dirección del vector asociado a la dopamina y el vector asociado a la dirección del aprendizaje están perfectamente correlacionados y eso le llaman la dirección de aprendizaje vocal. O sea que hay ciertos detalles técnicos muy interesantes en ese artículo y por supuesto son dos artículos que se apoyan el uno al otro, pero tendrán que ser verificados por futuras medidas y aquí hay muchísimas cosas, cómo influyen otros de los transmisores, ¿Cómo influyen muchos detalles? No se sabe, o sea, ¿cómo se codifica la información? Tampoco se sabe, o sea, hay muchísimas cosas que están abiertas, ¿no? Pero esto es un trabajo. ¿Puedo hacer un comentario? Esto va a ser el típico comentario del que llega a una mesa donde todos saben…
Francis Villatoro explica que actualmente hay mucho trabajo enfocado en entender temas relacionados con pájaros, aunque no haya un interés claro desde una perspectiva básica.
Habla: Francis VillatoroSignificado #1 · Palabras #1pájaros sin interés básicodificultades aprendizaje bebés niñoshormonas neurotransmisores aprendizaje humanoactivadores hormonas mejora aprendizaje…eso nada más porque me he olvidado; tenía olvidado este recuerdo después; no gastamos la plata en vinos en Pristo; no tendrás el contacto de esa gente que te paga por jugar a videojuegos metidos; ya no trabajan de eso, no tengo el contacto de esa gente. Aquí se está trabajando mucho, sobre todo por, claro, a quién le interesa este tipo de temas en pájaros; pues a nadie. Pero desde el punto de vista aplicado, una vez que entendamos este tipo de problemas. Además, hay muchas dificultades de aprendizaje en bebés y en niños que quizás se podrían corregir de manera farmacológica introduciendo activadores de ciertas hormonas, de ciertos neurotransmisores que permitieran una mejora en ese aprendizaje para corregir ese defecto que tienen en el aprendizaje algunos humanos. Entonces entender muy bien estos mecanismos en animales, en los que yo puedo hacer barbaridades y puedo hacerlo perrerías y no pasa nada porque pajaritos de estos pues tengo muchísimos; yo tengo una colonia en su laboratorio con miles de pajaritos de estos…
Héctor Socas, junto a Francis Villatoro y Juan Carlos Gil, discuten las posibles implicaciones futuras de los estudios sobre aprendizaje en animales, incluyendo el desarrollo de fármacos para corregir déficits de aprendizaje y la posibilidad de mejorar el rendimiento cognitivo mediante intervenciones.
Habla: Héctor SocasSignificado #7 · Palabras #16fármacos para corregir déficits aprendizajerendimiento cognitivo intervenciones económicasdopamina gastón aprendizaje reglaaprendizaje mejor pagando a gastón…hecho, arreglar la cirugía y dejar el pajarito ahí con su herida el resto de la vida y no sabemos si habrá aprendido bien o no y cómo se analizará después. No lo sé, por eso en el artículo no pone nada. Pero bueno, que ese tipo de cosas tienen después enormes Implicaciones, porque cuando esto se controle bien, puede que en 30, 50 años haya fármacos que corrijan muchísimos déficits de aprendizaje en personas. Y si no funciona el fármaco, con un poquito de guita, Gastón aprendía, ¿no es? Sí, exacto: pagas al niño y que aprenda mejor. Yo tengo curiosidad si la dopamina que segregaba Gastón era por aprender la regla y que le bajara la ficha o porque estaba ganando más dinero. Esa es buena, claro, yo creo que están esas degeneraciones en la interpretación también, ¿no? De los resultados. ¿Qué es lo que le ocurre a este tipo en el cerebro? Ciertamente ocurría algo; eso me había parecido maravilloso. Puedo hacer otra nota…
Francis Villatoro continúa la discusión sobre el aprendizaje por refuerzo en inteligencia artificial, señalando que los resultados positivos recientes podrían ser cruciales o, alternativamente, un hallazgo espurio.
Habla: Francis VillatoroSignificado #19aprendizaje refuerzo inteligencia artificialpesos sinápticos neurona artificialresultados positivos aprendizaje refuerzohallazgo espurio aprendizaje refuerzo…de grandes modelos de lenguaje. Pero ya os digo, durante muchos años, pues lo que se había hecho, se había estudiado varias veces, se había intentado varias veces, se había visto que los resultados eran negativos. Ahora estamos viendo que si tú tienes Un número suficientemente grande de parámetros, que son pesos sinápticos en la neurona artificial, el aprendizaje con refuerzo sí parece positivo. Todo ese tema está todavía un poquito en el aire. ¿Cuál será el papel del aprendizaje con refuerzo en las inteligencias artificiales de dentro del año que viene? Eso todavía no sabemos. Puede que sea clave y fundamental o puede que esto haya sido algo espurio y que después descubramos que hay algún efecto negativo. Pero bueno, ahora mismo sí hay mucha gente trabajando en eso. Yo soy muy fan del aprendizaje con refuerzo y creo que acabará todo yendo por ahí. Y recordar también que ChatGPT la parte chat, no la parte GPT, no la parte del modelo de lenguaje, sino la parte de interacción con humanos y de calidad de respuestas se usaba un entrenamiento con refuerzo humano, había humanos que evaluaban la calidad de las…