Búsqueda · 21 momentos en 4 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasaprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socasbayesian priors distribuciones a prioridistribuciones a priori maria ribesconfirmación o corrección francis y héctordestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communicationsNature CommunicationsMaría RibesTomas VilaHéctor SocasFrancis VillatoroChatGPTSiriPepitoABBAThomas McCoyInstituto WoodsideThomas GriffithsUniversidad de PrincetonLaboratorio de Ciencia Cognitiva y ComputacionalBaby LM ChallengeNoam ChomskyBayesian priorsMúnichBerlín
María Ribes explica modelos de lenguaje
Con
0:000:301:001:302:002:303:003:33
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
Significado #3 · Palabras #1
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #3 · Palabras #1aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socasbayesian priors distribuciones a prioridistribuciones a priori maria ribesconfirmación o corrección francis y héctordestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes introduce el Baby LLM Challenge y explica que el artículo analizado trata sobre cómo grandes modelos de lenguaje imitan la adquisición del lenguaje humano. Menciona a Thomas McCoy, director del Instituto Woodside, y a Thomas Griffiths, profesor en la Universidad de Princeton.
Habla: María RibesPalabras #8baby llm challenge imitación humanathomas mccoy instituto woodsidelaboratorio ciencia cognitiva computacional princeton…ese episodio, pues ya nunca lo hace bien, como yo que me perdí el de izquierda y derecha. Y no he conseguido arreglarlo, Borja tampoco, ¿eh? Sí, y tiene implicaciones muy peligrosas en mi caso. Bueno, entonces, lo que quiere este artículo, ¿os acordáis que hablamos aquí en Coffee Break del Baby LLM Challenge? Que era entrenar grandes modelos de lenguaje con poquitos datos para imitar la adquisición de los humanos, ¿no? Pues esto es de lo que trata este artículo y lo que estudia el Thomas McCoy, dirige el Instituto Woodside, es precisamente eso, cómo funciona la cognición humana y Griffiths, él está en el departamento de Psicología y Ciencias de la Computación de la Universidad de Princeton o sea que él tiene doble grado en Psicología y en Ciencias de la Computación entonces él dirige el laboratorio de allí de Princeton que se llama Laboratorio de Ciencia Cognitiva y Computacional no solo eso sino también el Laboratorio de Inteligencia Artificial de Princeton y él lo que trabaja es la ciencia cognitiva computacional Perdón María, la otra vez que conté una anécdota sobre que me sometí a un experimento dentro de un resonador, era en su laboratorio de hecho ¿En serio? Guau, ¿y te tocó él? No, no, mi amigo Greg Duke, que era su postdoc. No, no, conforme lo, perdón, no digáis nada, conforme lo decía lo he sentido, que no era el lugar para decir esta expresión, fue él quien trabajó contigo. Yo fui solamente un cobayo, yo no…
María Ribes explica cómo los bebés humanos aprenden idiomas, destacando que realizan análisis estadísticos del habla y eliminan sonidos no utilizados en su entorno.
Habla: María RibesSignificado #8 · Palabras #13bebés humanos análisis estadísticos hablababy lm challenge modelos de lenguajeentrenamiento modelos lenguaje grandes…le pones a escuchar español, ruso, inglés, catalán, lo que sea y lo va a adquirir todo, porque de alguna manera, como decía Gastón, esto decía Chomsky antiguamente, que tenemos como una app en el centro de la lengua, y tú la vas rellenando con lengua. El bebé humano, eso creo que lo hemos hablado aquí, hace estadísticas y escucha un montón de cosas; puede pronunciar todos los sonidos del mundo pero los va desterrando, los va desechando y solo se queda con los que usa la persona que le está hablando. Entonces estos autores, igual que el Baby LM Challenge, quieren buscar: ¿podemos entrenar de alguna manera a un gran modelo de lenguaje? ¿A qué brinda a hablar? Bueno, perdón que te interrumpa. Estaba esperando que llegaras a un punto adecuado, pero nada, ya que te paraste. Ah, vale, perdón. No, quería preguntarte por lo que dijiste, de que el bebé está expuesto a escuchar estos sonidos y entonces así va adquiriendo…
María Ribes explica que el aprendizaje del lenguaje en bebés humanos requiere interacción con otros seres humanos y es un proceso social y cognitivo.
Habla: María RibesPalabras #19aprendizaje del lenguaje en bebés humanosproceso cognitivo social con otros humanosvídeo de la madre ignorado por el bebé…vacía, oscura, no viera nada, no tocara nada, sino solamente escuchara sonidos, no aprendería a hablar, supongo, tiene que contextualizar Si viera solo a su madre o su padre o la persona que lo está criando, sí que lo aprendería todo sin tener el osito Porque el bebé humano solo aprende con otro humano. El lenguaje humano es una actividad social, es un proceso cognitivo social. Si tú le pones al bebé un vídeo, aunque sea su madre, en un vídeo, su madre hablando, diciéndole: Este es un osito, este es un tal, el bebé lo ignora; lo ignora, no lo considera apropiado, no lo considera necesario, tiene que ser otro humano el que le está hablando. entonces si está en habitación oscura y solo oye el sonido probablemente no lo va a aprender como dices tú, porque es una cosa también afectiva; el lenguaje humano, la capacidad lingüística tiene mucha afectividad. Por eso se ha usado durante tantísimo tiempo…
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesSignificado #5 · Palabras #4entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datos…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no…
María Ribes explica cómo los grandes modelos de lenguaje como ChatGPT funcionan basándose en estadísticas y predicciones, comparándolos con la corrección automática del móvil.
Habla: María RibesSignificado #2 · Palabras #5modelo de lenguaje con millones de caracteresdatos naturalistas más complejosmétodos bayesianos en lenguajes formalesfrancis y héctor explican métodos bayesianos…hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado: ¿Podríamos hacer esto con datos más realistas, más complejos? Ellos lo llaman datos naturalistas, naturalistic, y no es que sean datos que estudian la naturaleza; habla de datos reales. ¿Cuál es el experimento? Primero han creado lenguajes formales artificiales con métodos bayesianos, eso ni pretendo explicar lo que es porque tenemos aquí a Francis y a Héctor que nos lo explicarían muchísimo mejor. Ahora os dejo el turno para que expliquéis lo que Es, pero primero han creado, creo que son 25.000 lenguajes formales con unas características muy matemáticas, por ejemplo de simetría, de inducción fonológica, sintáctica. O sea, el niño, el niño humano, cuando adquiere una lengua, lo que hace son, pues como…
María Ribes explica que los modelos de lenguaje se basan en principios matemáticos como la simetría, ejemplificándola con el esquema ABBA similar a la estructura de un soneto.
Habla: María RibesSignificado #4adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completamodelos de lenguaje simetría abbaestructura soneto modelos de lenguajeejemplos formales paper simetríalengua real frases pepito corriendo…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está corriendo, la pregunta es: ¿Quién está corriendo? No es ¿Está corriendo quién? No sé si es un buen ejemplo tampoco aquí, donde. estoy ahora. Pepito está comiendo, ¿no? ¿Quién está comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés.…
María Ribes explica cómo una red neuronal realiza deducciones y crea sesgos, comparándolo con la forma en que un niño interpreta frases y detecta errores gramaticales.
Habla: María RibesSignificado #13red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronales…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #1 · Palabras #6modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguajemodelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisición…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesSignificado #6 · Palabras #7sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
Habla: María RibesSignificado #12 · Palabras #20redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronales…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #9redes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguas…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede…
María Ribes explica cómo se está utilizando la inteligencia artificial para analizar las tablillas sumerias digitalizadas y predecir qué signos podrían aparecer antes o después de una combinación dada.
Habla: María RibesPalabras #14ia para tablillas sumerias digitalizadaspredicción de signos con modelos de lenguajefragmentario conecta tablillas sumerias…bien y tenemos el fragmentarium de Enrique Jiménez, que es un profesor español que trabaja en, creo que es en Múnich, en Múnich, creo que tiene o en Berlín, no sé dónde está. Bueno, en Múnich podemos tener toda la discusión sobre si Múnich, Múnich, Múnich. Pues el fragmentario lo que hace es, es verdad, han digitalizado todas las tablillas sumerias que tenemos y el fragmentario está conectándolas, haciendo con IA como el que hacemos predicciones de gran modelo de lenguaje, con inglés, con español, con lo que sea, con la escritura, con el informe, para saber qué es lo más probable que aparezca antes o después de esta combinación de signos, porque todavía, aunque hablamos sumerios, aunque podemos leerlo, hay cosas que no están todavía 100% estudiadas. Igual que los jeroglíficos egipcios, hay muchos textos que se sobreentienden y que hay incluso discusiones entre distintos egiptólogos. Esto es un estativo, esto es un subjuntivo, esto es un imperativo; porque realmente lo hemos aprendido a través de la…