Búsqueda · 26 momentos en 8 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasredes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptHéctor SocasYangPiantadosiGrandes modelos de lenguajeRedes neuronalesArtículosBebésMarteM87María RibesChatGPTFrancis VillatoroNoam ChomskyNature Communications
Redes Neuronales aprendizaje con pocos ejemplos
Con
0:000:301:001:302:002:303:003:33
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
Significado #1 · Palabras #1
Héctor Socas introduce una serie de temas científicos que se abordarán durante el programa, incluyendo la terraformación de Marte y el aprendizaje acelerado del lenguaje en redes neuronales.
Habla: Héctor SocasPalabras #9terraformación de marte tecnologíaaprendizaje acelerado lenguaje redes neuronaleserror ciencia exoplanetas sigmas universochorros relativistas acreción agujero negro m87…como siempre, aquí les proponemos una actualidad diferente, no rabiosa sino radiante, no bélica sino bella, no corrupta sino correcta en lo político y en lo intelectual Porque las noticias de la ciencia suelen ser buenas noticias, no siempre, pero a menudo Y Aquí entre los rescoldos de la actualidad vamos a hablar de qué haría falta para terraformar Marte, no en recalificación urbanística, sino en cuanto a tecnología; de cómo acelerar el aprendizaje de la lengua en redes neuronales; de un error muy extendido en ciencia de exoplanetas, con eso de las sigmas y del universo; de la intermitencia de los chorros relativistas y de la acreción del agujero negro supermasivo en M87. Todo eso son los temas que hablaremos dentro de un momento. Antes les quiero recordar rápidamente que tenemos una página web que es señalirruido.com Señal y ruido, con la ñ, todo junto, señalirruido.com. En esa página pueden encontrar toda la información de todos los episodios anteriores, las referencias, los papers…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #16aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesPalabras #20sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
Francis Villatoro explica la diferencia entre representación simbólica y neuronal en redes neuronales, describiendo esta última como una 'caja negra' donde los símbolos se representan a través de imágenes aprendidas.
Habla: Francis VillatoroPalabras #14redes neuronales convolución imágenesrepresentación neuronal caja negrasímbolos representados en imágenes aprendidas…palabras, es decir, combinaciones de símbolos que son válidas. El lenguaje consiste en un conjunto de reglas que te dicen cómo puedes combinar los símbolos del alfabeto para obtener palabras válidas. Eso es la representación simbólica, la representación. Conexionista o representación neuronal es una representación de caja negra. Tú tienes un embedding, tienes una representación de los símbolos en forma de unos objetos que son objetos abstractos. Hoy en día, en redes neuronales, básicamente de convolución, son siempre imágenes. Yo tengo una imagen que representa información y nadie sabe cómo los símbolos se representan en esa imagen porque es una imagen aprendida. En el proceso de aprendizaje se aprenden las imágenes que representan de manera efectiva los símbolos y las relaciones entre símbolos. Entonces yo trabajo con esas. Imágenes y obtengo soluciones al problema que yo quiera, como en el caso de los modelos de lenguaje: pues generar el siguiente token para una registra de token. Básicamente yo represento la entrada en una serie de imágenes y genero nuevas imágenes y esas…
María Ribes comenta sobre un artículo complejo relacionado con redes neuronales y métodos bayesianos para el aprendizaje de lenguajes formales. Expresa su dificultad para comprenderlo completamente.
Habla: María RibesPalabras #13redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronalesredes neuronales y métodos bayesianosaprendizaje de lenguajes formales maria ribesartículo complejo héctor socas…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De mí también un poco, ¿eh? La parte lingüística es la que he entendido un poco Mejor también quería decir que habla mucho de lenguas sintéticas, ¿eh? Y aquí utiliza la palabra sintética en dos sentidos: sintética como artificial, que son estos lenguajes formales que yo digo que no es como el Alto Valirio, sino símbolos. Pero también en…
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
Habla: Héctor SocasSignificado #1 · Palabras #1redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgpt…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…