Búsqueda · 28 momentos en 12 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptEPTHéctor SocasMaría RibesGrandes modelos de lenguajeRedes neuronalesArtículosBebésNoam ChomskyFrancis VillatoroChatGPTGastón GiribetNature CommunicationsTomas Vila
Aprendizaje del lenguaje amplía capacidades cognitivas
Con
0:000:301:001:302:002:303:003:33
Héctor Socas continúa la conversación sobre la capacidad de los modelos de lenguaje para aprender nuevas habilidades, retomando un comentario previo sobre cómo el aprendizaje del lenguaje puede ampliar las capacidades cognitivas.
…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…
Significado #1 · Palabras #1
Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
Habla: María RibesPalabras #20aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socas…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #15aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica cómo el artículo que está analizando busca emular el proceso de adquisición de lenguas por parte de niños, diferenciando entre aprender y adquirir un idioma.
Habla: María RibesSignificado #12adquisición de lenguas por niñosproceso de adquisición de lenguaslenguaje como habilidad innatabebés y los primeros años infancia…encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana para comunicarnos y es como una habilidad innata que tenemos todos los niños humanos, todos los niños como nosotros, para aprender una lengua. Lo que pasa es que cuando tú eres un bebito, hasta se ha puesto convencionalmente la barrera en los siete años, pero no es exacta. Hay un momento desde que eres bebé hasta durante los primeros años de la infancia en el que tú no aprendes una lengua. sino que la adquieres ¿Qué diferencia hay? Pues que cuando la adquieres no te das cuenta Cuando tu madre, tu padre o tu tutor te está hablando cosas y te dice aquí tienes un perrito y ahora tienes otro, son dos Entonces, perritos, ¿no? Pero tu madre o tu…
Gastón Giribet introduce una distinción entre adquisición y aprendizaje de un idioma, señalando que el aprendizaje es consciente y anticipa una pregunta sobre el problema que surge al aprender una lengua.
Habla: Gastón GiribetSignificado #10adquisición y aprendizaje de un idiomaaprendizaje consciente de una lenguapostestructuralismo políticamente incorrecto…sin que nadie se las explique? Como os decía antes, cuando tú adquieres la lengua, tu tutor o la persona con la que estás hablando no te dice ahora vamos a aprender el plural, ahora vamos a aprender a cambiar masculino a femenino, vamos a estudiar el pasado. ¿Qué es el problema que tenemos cuando aprendemos una lengua? Esa es la diferencia entre adquisición y aprendizaje. El aprendizaje es consciente. Diga usted. Una pregunta, ahora yo sé que formular la pregunta de esta manera acá, después de 45.000 años de postestructuralismo queda políticamente incorrecto, pero la voy a formular de la manera en la que se formulaba en los 50 Es Cierto también que Chomsky usaba como argumento, no necesariamente él, pero los chomskyanos, como argumento no solamente la filogénesis de un niño que estaba aprendiendo lenguaje sino también el hecho, por eso digo, está bien la parte que un…
María Ribes continúa la conversación sobre el aprendizaje de idiomas, refiriéndose a las ideas de Noam Chomsky y explicando por qué los adultos tienen más dificultades para aprender nuevos idiomas que los niños.
Habla: María RibesSignificado #15chomsky y características universales lenguasadquisición de idiomas hasta los 7 añossesgo cognitivo en aprendizaje idiomas adultosdistribuciones bayesianas a priori humanos…manera de hacer. Es que yo no puedo imaginar una lengua que no sea humana, entonces con la escritura sí que pudieron suplir ese problema. No sé si me explico, pero me estoy viniendo arriba quizás, porque me pongo a hablar de lengua: pues muy buena pregunta. Gastón, sí, entonces Chomsky dice que todas las lenguas del planeta tienen las mismas características y todos los humanos las aprendemos todas, todos, cuando eres bebé las adquieres, hasta los 7 años que os digo que se pone de manera convencional, sin embargo cuando tú vas al colegio, vas a una academia a aprender otro idioma porque siempre decimos los niños son esponjas y lo absorben todo y los mayores no, no, no, lo que es es tu capacidad de aceptar las cosas y de inferir de usar este sesgo cognitivo, estas distribuciones bayesianas a priori, que los humanos también lo hacemos Entonces, si yo voy a clase, ahora me dicen, te voy a enseñar el plural, ¿vale? o el pasado del verbo comer, pero en la lengua chirifú, depende si eres hombre o mujer; el verbo es diferente. Entonces yo tengo dos opciones: aceptarlo y decir, vale, dámelo, dámelo, que es lo que hacen los niños nuestros, los…
María Ribes explica que el aprendizaje del lenguaje en bebés humanos requiere interacción con otros seres humanos y es un proceso social y cognitivo.
Habla: María RibesSignificado #13 · Palabras #2aprendizaje del lenguaje en bebés humanosproceso cognitivo social con otros humanosvídeo de la madre ignorado por el bebélenguaje humano afectividadlenguas arma políticadenostar con la lenguaaprendizaje de lengua interacción visualadquisición de lengua requiere relaciónmaria ribes aprendizaje de lengua…vacía, oscura, no viera nada, no tocara nada, sino solamente escuchara sonidos, no aprendería a hablar, supongo, tiene que contextualizar Si viera solo a su madre o su padre o la persona que lo está criando, sí que lo aprendería todo sin tener el osito Porque el bebé humano solo aprende con otro humano. El lenguaje humano es una actividad social, es un proceso cognitivo social. Si tú le pones al bebé un vídeo, aunque sea su madre, en un vídeo, su madre hablando, diciéndole: Este es un osito, este es un tal, el bebé lo ignora; lo ignora, no lo considera apropiado, no lo considera necesario, tiene que ser otro humano el que le está hablando. entonces si está en habitación oscura y solo oye el sonido probablemente no lo va a aprender como dices tú, porque es una cosa también afectiva; el lenguaje humano, la capacidad lingüística tiene mucha afectividad. Por eso se ha usado durante tantísimo tiempo las lenguas como arma política para denostar a alguien, para decirle que tu lengua es peor que la mía, o tu lengua es un dialecto, no es bastante buena, o hay que prohibir tu lengua, etc. Pero tiene que estar viendo al otro humano. Si no, no hay aprendizaje que valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesSignificado #18adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesPalabras #11sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
Habla: Héctor SocasSignificado #19 · Palabras #3aprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Héctor Socas continúa la conversación sobre la capacidad de los modelos de lenguaje para aprender nuevas habilidades, retomando un comentario previo sobre cómo el aprendizaje del lenguaje puede ampliar las capacidades cognitivas.
Habla: Héctor SocasSignificado #1 · Palabras #1modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de ept…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…
Francis Villatoro responde a una pregunta sobre el origen del lenguaje humano, mencionando la hipótesis del innatismo propuesta por Noam Chomsky y sus críticas.
Habla: Francis VillatoroPalabras #8hipótesis del innatismo chomskysistemas cognitivos en genomacríticas al toque divino chomsky…ninguna lengua más primitiva que otras, como hablábamos antes con Gastón; no hay ninguna lengua que sea solo piedra, tú, aquí y yo, ¿no? Todas las lenguas pueden decir todas las mismas cosas y no sabemos cómo sería ese eslabón perdido, igual que del hombre. Es muy buena pregunta, pero no tengo la respuesta. Hablando de Chomsky, Chomsky propuso la hipótesis del innatismo: hay sistemas cognitivos que están en nuestro genoma y que hacen que las conexiones de base de nuestro encéfalo tengan una estructura en ciertas regiones que facilita de manera innata el aprendizaje del lenguaje. Pero es una hipótesis; todavía nadie ha sido capaz de encontrar esas regiones. Es una hipótesis que se le critica por el toque divino que tiene. Una anécdota personal, esto obviamente entiendo que la pregunta no. es la misma que una respuesta de Tomás Porque él dice que cuando nadie tiene un lenguaje, pero cuando yo era chico, con mi hermano, decidí inventar un lenguaje Decidimos inventar un lenguaje, un lenguaje que solo él y yo pudiésemos hablar Entonces dije,…