Búsqueda · 26 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptHéctor SocasGrandes modelos de lenguajeRedes neuronalesArtículosBebésMaría RibesChatGPTNature CommunicationsFrancis VillatoroKlingonDothrakiNueva York
Redes Neuronales modelos lenguaje grandes
Con
0:000:301:001:302:002:303:003:33
Héctor Socas continúa reflexionando sobre la capacidad de los grandes modelos de lenguaje para aprender, comparándolos con las redes neuronales y destacando su potencial como una vía prometedora para el aprendizaje general.
…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
Significado #1 · Palabras #2
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #16aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes señala similitudes entre los experimentos de resonancia magnética cerebral realizados por Gastón Giribet en Nueva York y el entrenamiento de redes neuronales, comparando las tareas como 'lenguajes formales' artificiales.
Habla: María RibesPalabras #20redes neuronales como lenguajes formalestareas de videojuego como lenguaje formallenguaje artificial bayesianosklingon y dothraki como lenguas artificiales…eso, Gastón? Y habrá sido circa 2009, por ahí. ¿2009? Claro, y ahí se desarrolló tu cerebro más, ¿no? Y por eso empezaste a escribir esos agujeros. No, no, mi cerebro no. Pero está bien ya. Sí, sí, sí. Esto es muy íntimo, hablar del cerebro de una persona. Oye, eso es muy interesante porque justamente eso es lo que hacen con las redes neuronales las entrenan, cada videojuego tuyo que te están poniendo para que tú infieras esas reglas con la red neuronal son lenguajes formales o sea cada tarea es un lenguaje formal y digo un lenguaje porque no es una lengua, no es una lengua natural sino una lengua artificial pero no una lengua artificial como el Klingon o el Dothraki, están creados como de los bayesianos entonces son cadenas de caracteres y lo que tienen esas lenguas, pero creo que me estoy adelantando porque me emociona y me meto en el medio de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesPalabras #13sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
Habla: María RibesSignificado #8 · Palabras #17redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronales…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
Héctor Socas continúa reflexionando sobre la capacidad de los grandes modelos de lenguaje para aprender, comparándolos con las redes neuronales y destacando su potencial como una vía prometedora para el aprendizaje general.
Habla: Héctor SocasSignificado #1 · Palabras #2aprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgpt…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
Habla: Héctor SocasPalabras #15embeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socas…una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…