Búsqueda · 27 momentos en 10 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasmodelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguajemodelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisiciónMaría RibesThomas McCoyInstituto WoodsideThomas GriffithsUniversidad de PrincetonLaboratorio de Ciencia Cognitiva y ComputacionalChatGPTHéctor SocasEPTFrancis VillatoroSiri
Modelo de lenguaje emula adquisición humana
Con
0:000:301:001:302:002:303:003:33
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
Significado #1 · Palabras #1
María Ribes explica cómo el artículo que está analizando busca emular el proceso de adquisición de lenguas por parte de niños, diferenciando entre aprender y adquirir un idioma.
Habla: María RibesPalabras #2adquisición de lenguas por niñosproceso de adquisición de lenguaslenguaje como habilidad innatabebés y los primeros años infancia…encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana para comunicarnos y es como una habilidad innata que tenemos todos los niños humanos, todos los niños como nosotros, para aprender una lengua. Lo que pasa es que cuando tú eres un bebito, hasta se ha puesto convencionalmente la barrera en los siete años, pero no es exacta. Hay un momento desde que eres bebé hasta durante los primeros años de la infancia en el que tú no aprendes una lengua. sino que la adquieres ¿Qué diferencia hay? Pues que cuando la adquieres no te das cuenta Cuando tu madre, tu padre o tu tutor te está hablando cosas y te dice aquí tienes un perrito y ahora tienes otro, son dos Entonces, perritos, ¿no? Pero tu madre o tu…
María Ribes introduce el Baby LLM Challenge y explica que el artículo analizado trata sobre cómo grandes modelos de lenguaje imitan la adquisición del lenguaje humano. Menciona a Thomas McCoy, director del Instituto Woodside, y a Thomas Griffiths, profesor en la Universidad de Princeton.
Habla: María RibesPalabras #4baby llm challenge imitación humanathomas mccoy instituto woodsidelaboratorio ciencia cognitiva computacional princeton…ese episodio, pues ya nunca lo hace bien, como yo que me perdí el de izquierda y derecha. Y no he conseguido arreglarlo, Borja tampoco, ¿eh? Sí, y tiene implicaciones muy peligrosas en mi caso. Bueno, entonces, lo que quiere este artículo, ¿os acordáis que hablamos aquí en Coffee Break del Baby LLM Challenge? Que era entrenar grandes modelos de lenguaje con poquitos datos para imitar la adquisición de los humanos, ¿no? Pues esto es de lo que trata este artículo y lo que estudia el Thomas McCoy, dirige el Instituto Woodside, es precisamente eso, cómo funciona la cognición humana y Griffiths, él está en el departamento de Psicología y Ciencias de la Computación de la Universidad de Princeton o sea que él tiene doble grado en Psicología y en Ciencias de la Computación entonces él dirige el laboratorio de allí de Princeton que se llama Laboratorio de Ciencia Cognitiva y Computacional no solo eso sino también el Laboratorio de Inteligencia Artificial de Princeton y él lo que trabaja es la ciencia cognitiva computacional Perdón María, la otra vez que conté una anécdota sobre que me sometí a un experimento dentro de un resonador, era en su laboratorio de hecho ¿En serio? Guau, ¿y te tocó él? No, no, mi amigo Greg Duke, que era su postdoc. No, no, conforme lo, perdón, no digáis nada, conforme lo decía lo he sentido, que no era el lugar para decir esta expresión, fue él quien trabajó contigo. Yo fui solamente un cobayo, yo no…
María Ribes explica cómo los grandes modelos de lenguaje como ChatGPT funcionan basándose en estadísticas y predicciones, comparándolos con la corrección automática del móvil.
Habla: María RibesSignificado #19modelo de lenguaje con millones de caracteresdatos naturalistas más complejosmétodos bayesianos en lenguajes formalesfrancis y héctor explican métodos bayesianos…hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado: ¿Podríamos hacer esto con datos más realistas, más complejos? Ellos lo llaman datos naturalistas, naturalistic, y no es que sean datos que estudian la naturaleza; habla de datos reales. ¿Cuál es el experimento? Primero han creado lenguajes formales artificiales con métodos bayesianos, eso ni pretendo explicar lo que es porque tenemos aquí a Francis y a Héctor que nos lo explicarían muchísimo mejor. Ahora os dejo el turno para que expliquéis lo que Es, pero primero han creado, creo que son 25.000 lenguajes formales con unas características muy matemáticas, por ejemplo de simetría, de inducción fonológica, sintáctica. O sea, el niño, el niño humano, cuando adquiere una lengua, lo que hace son, pues como…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesPalabras #6adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #1 · Palabras #1modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguajemodelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisición…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesSignificado #16sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
Héctor Socas continúa reflexionando sobre la capacidad de los grandes modelos de lenguaje para aprender, comparándolos con las redes neuronales y destacando su potencial como una vía prometedora para el aprendizaje general.
Habla: Héctor SocasSignificado #17redes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #7modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…