Búsqueda · 25 momentos en 11 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capaMaría RibesChatGPTEPTHéctor SocasGastón GiribetNYU (Universidad de Nueva York)MúnichBerlínNature CommunicationsGoogle
Modelo lenguaje sin Inglés previo
Con
0:000:301:001:302:002:303:003:33
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
Significado #1 · Palabras #2
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #20aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #7modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesSignificado #12sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #1 · Palabras #2redes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #5 · Palabras #13chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüístico…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #3chatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
Héctor Socas reflexiona sobre cómo los modelos de lenguaje adquieren conocimientos de latín, considerando la influencia del material didáctico disponible en ese idioma.
Habla: Héctor SocasSignificado #20modelos de lenguaje y latínmaterial didáctico en latíncorpus para enseñar latínbúsqueda en google de latín…rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se enseña latín, ¿no? Es cierto. Y ahora cuando buscas en Google que la primera respuesta Es su Gemini, ¿no? A mí me da un poquito de rabia eso. La primera respuesta de Google es la IA. Y cuando yo le pregunto cualquier cosa lingüística, en vez de preguntarle a HGPT qué cosas tengo, todavía lo pongo en Google, Nena, dime tal; y la primera…
María Ribes explica cómo se está utilizando la inteligencia artificial para analizar las tablillas sumerias digitalizadas y predecir qué signos podrían aparecer antes o después de una combinación dada.
Habla: María RibesPalabras #18ia para tablillas sumerias digitalizadaspredicción de signos con modelos de lenguajefragmentario conecta tablillas sumerias…bien y tenemos el fragmentarium de Enrique Jiménez, que es un profesor español que trabaja en, creo que es en Múnich, en Múnich, creo que tiene o en Berlín, no sé dónde está. Bueno, en Múnich podemos tener toda la discusión sobre si Múnich, Múnich, Múnich. Pues el fragmentario lo que hace es, es verdad, han digitalizado todas las tablillas sumerias que tenemos y el fragmentario está conectándolas, haciendo con IA como el que hacemos predicciones de gran modelo de lenguaje, con inglés, con español, con lo que sea, con la escritura, con el informe, para saber qué es lo más probable que aparezca antes o después de esta combinación de signos, porque todavía, aunque hablamos sumerios, aunque podemos leerlo, hay cosas que no están todavía 100% estudiadas. Igual que los jeroglíficos egipcios, hay muchos textos que se sobreentienden y que hay incluso discusiones entre distintos egiptólogos. Esto es un estativo, esto es un subjuntivo, esto es un imperativo; porque realmente lo hemos aprendido a través de la…