Búsqueda · 36 momentos en 22 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capaMaría RibesChatGPTEPTHéctor SocasTomas VilaNature CommunicationsGastón GiribetNoam Chomsky
Language Resources and Evaluation
Con
0:000:301:001:302:002:303:003:33
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
Significado #1
Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
Habla: María RibesSignificado #3aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socas…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #13aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica cómo el artículo que está analizando busca emular el proceso de adquisición de lenguas por parte de niños, diferenciando entre aprender y adquirir un idioma.
Habla: María RibesSignificado #7adquisición de lenguas por niñosproceso de adquisición de lenguaslenguaje como habilidad innatabebés y los primeros años infancia…encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana para comunicarnos y es como una habilidad innata que tenemos todos los niños humanos, todos los niños como nosotros, para aprender una lengua. Lo que pasa es que cuando tú eres un bebito, hasta se ha puesto convencionalmente la barrera en los siete años, pero no es exacta. Hay un momento desde que eres bebé hasta durante los primeros años de la infancia en el que tú no aprendes una lengua. sino que la adquieres ¿Qué diferencia hay? Pues que cuando la adquieres no te das cuenta Cuando tu madre, tu padre o tu tutor te está hablando cosas y te dice aquí tienes un perrito y ahora tienes otro, son dos Entonces, perritos, ¿no? Pero tu madre o tu…
María Ribes introduce un tema relacionado con el aprendizaje del lenguaje infantil y la investigación sobre cómo los niños adquieren habilidades lingüísticas con una cantidad limitada de información previa.
Habla: María RibesSignificado #15aprendizaje del lenguaje infantilhabilidades lingüísticas con poca informacióninvestigación chomsky sobre el lenguaje…de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan poca información anterior y esto ellos mismos están mencionando problemas de los que hablaba Chomsky, todos conocéis a. Chomsky, Chomsky se le fue un poco la cabeza, no, pero la dirección y se metió en política, etc. Pero Chomsky fue el impulsor de lo que es la gramática generativa o los universales lingüísticos, que se plantea este problema que ellos llaman el problema de…
Gastón Giribet introduce una distinción entre adquisición y aprendizaje de un idioma, señalando que el aprendizaje es consciente y anticipa una pregunta sobre el problema que surge al aprender una lengua.
Habla: Gastón GiribetSignificado #19adquisición y aprendizaje de un idiomaaprendizaje consciente de una lenguapostestructuralismo políticamente incorrecto…sin que nadie se las explique? Como os decía antes, cuando tú adquieres la lengua, tu tutor o la persona con la que estás hablando no te dice ahora vamos a aprender el plural, ahora vamos a aprender a cambiar masculino a femenino, vamos a estudiar el pasado. ¿Qué es el problema que tenemos cuando aprendemos una lengua? Esa es la diferencia entre adquisición y aprendizaje. El aprendizaje es consciente. Diga usted. Una pregunta, ahora yo sé que formular la pregunta de esta manera acá, después de 45.000 años de postestructuralismo queda políticamente incorrecto, pero la voy a formular de la manera en la que se formulaba en los 50 Es Cierto también que Chomsky usaba como argumento, no necesariamente él, pero los chomskyanos, como argumento no solamente la filogénesis de un niño que estaba aprendiendo lenguaje sino también el hecho, por eso digo, está bien la parte que un…
María Ribes explica que el aprendizaje de una lengua requiere la interacción visual y relacional con otra persona, aunque esta interacción no sea estrictamente necesaria para el proceso.
Habla: María RibesSignificado #14aprendizaje de lengua interacción visualadquisición de lengua requiere relaciónmaria ribes aprendizaje de lengua…durante tantísimo tiempo las lenguas como arma política para denostar a alguien, para decirle que tu lengua es peor que la mía, o tu lengua es un dialecto, no es bastante buena, o hay que prohibir tu lengua, etc. Pero tiene que estar viendo al otro humano. Si no, no hay aprendizaje que valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #12modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #1modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #10sesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…