Búsqueda · 29 momentos en 7 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socaschatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticoChatGPTMaría RibesNYU (Universidad de Nueva York)ChildesFrancis VillatoroCoreaEstados UnidosGastón GiribetEmily BenderEl timo de la IAMúnichBachAlto ValirioCanal NouPlaneta NouHéctor Socas
María Ribes sesgo lingüístico
Con
0:000:301:001:302:002:303:003:33
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te…
Significado #1 · Palabras #3
María Ribes explica por qué ciertas expresiones son difíciles de traducir entre lenguas con diferentes estructuras gramaticales, como el subjuntivo español.
Habla: María RibesSignificado #7estructura gramatical del subjuntivo españoltraducción entre lenguas de diferentes familiasrepresentación del español por maria ribespopular opinion en traducción interlingüística…cosas. Hay veces en las que no se puede traducir literalmente, ¿no? Eso es porque son de familias distintas. Yo tengo, nosotros tenemos; yo iba a decir yo, perdón, nosotros tenemos nuestro subjuntivo precioso en español, en francés, en catalán, en italiano. Eso es porque nosotros lo usamos mal. No, porque yo estoy acostumbrada a hablar; cuando hablo de estas cosas, hablo con gente de otros países, entonces yo represento el español. Luego hay alguien que es de Corea, alguien que es de Estados Unidos, entonces no lo puedo traducir directamente a una lengua de otra familia como el inglés, el subjuntivo, pero lo que hago es cambiar palabras de la frase o añadir palabras o adverbios y digo la misma cosa; es decir, no hay nada que puedas decir en una lengua sí y en otra no, y mira lo que voy a decir: un popular opinion. El piraña, el piraña tiene recursividad y tiene números; tiene maneras de contar que eso fue una de las grandes revoluciones que decían: no, es que hay una lengua que no cuenta o esta lengua no tiene pasado; no tiene un tiempo de pasado entonces significa que…
María Ribes refuta la idea de que algunas lenguas carecen de conceptos como el tiempo pasado, explicando que incluso aquellas sin conjugaciones verbales tradicionales encuentran formas alternativas para expresar esa noción.
Habla: María RibesSignificado #19tiempo pasado en lenguas sin conjugaciónexpresión temporal con verbo ser ayer…de contar que eso fue una de las grandes revoluciones que decían: no, es que hay una lengua que no cuenta o esta lengua no tiene pasado; no tiene un tiempo de pasado entonces significa que sus habitantes ven el tiempo de otra manera o para ellos no llega. Así, eso es mentira; todos le ponen una marca. A lo mejor el verbo no se conjuga, no tiene una conjugación como yo soy, tú eres, él es y no tiene equivalente de yo fui, tú fuiste, él fue, pero dicen yo ser ayer. ¿Entendés lo que te quiero decir? Así que sí, para responder a tu pregunta Si ahora mismo viniera un alienígena, vinieran los octapodos, los septopodos, vinieran a Boticostelo y nos oyen hablar, dirían pero esta gente habla en todos variantes de la misma lengua, la misma cosa, todos hacemos…
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesPalabras #4entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datos…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no…
María Ribes introduce el término 'El timo de la IA' acuñado por Emily Bender, lingüista computacional, mientras lee un libro de esta última sobre el exceso de entusiasmo en torno a la inteligencia artificial.
Habla: María RibesPalabras #13el timo de la ia emily benderlingüista computacional emily bender…y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista, no dice que vayamos a entrar en un nuevo invierno de la IA, pero que hay mucha paja, se ha puesto muy por encima, justo lo que hablábamos antes en la pausa. y esta Emily Bender es la que acuñó el término loro estocástico para ChatGPT porque lo único que hace es hacer estadísticas y predicciones de lo que puede venir antes y después que tiene un grado de perplejidad muy bajo, el grado de perplexity, cuán perplejo…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesSignificado #13 · Palabras #8adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes utiliza un ejemplo de Gastón Giribet con cartas para explicar cómo las redes neuronales aprenden reglas y patrones en el lenguaje.
Habla: María RibesPalabras #9red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronalesredes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child s…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesPalabras #14sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes explica que un 'sesgo' lingüístico puede ser positivo, ayudando a predecir y permitiendo la comunicación entre personas.
Habla: María RibesSignificado #2 · Palabras #2redes neuronales y métodos bayesianosaprendizaje de lenguajes formales maria ribesartículo complejo héctor socaslenguaje sintético como artificiallingüística sintético aglutina clustersmétodos bayesianos para lenguajes formalesred con 25000 lenguajes formalessesgo lingüístico positivo ribescorpus natural childes sesgodistribución a priori humanossesgo cognitivo predicción ribes…consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De mí también un poco, ¿eh? La parte lingüística es la que he entendido un poco Mejor también quería decir que habla mucho de lenguas sintéticas, ¿eh? Y aquí utiliza la palabra sintética en dos sentidos: sintética como artificial, que son estos lenguajes formales que yo digo que no es como el Alto Valirio, sino símbolos. Pero también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo los humanos somos capaces de hablar. Que ahora mismo yo estoy aquí emitiendo unos sonidos y vosotros los estáis recibiendo, los descodificáis y volvéis a producir otros y yo los vuelvo a comprender. pues también habla, una cosa que yo os quería preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #1 · Palabras #3chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüístico…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesSignificado #3 · Palabras #1chatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racial…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información…
María Ribes propone llamar 'Planeta Nou' al canal valenciano que generó controversia por su uso del idioma, explicando que la gente criticaba las palabras utilizadas y defendía sus propias formas de expresión.
Habla: María RibesSignificado #18planeta nou canal valencianocríticas al uso del idiomanormativizar una lengua problema…que existía el canal Nou, que ya no existe, el canal Nou, que era: el Nou significa nuevo y nueve a la vez, tenía un nueve el símbolo, pero claro, era un canal en el que se hablaba valenciano. Había una polémica tan grande con las palabras que existían allí. Lo voy a llamar Planeta Nou. Planeta Nou. Llámalo así. Llámalo así. Ya lo tienes, ya lo tienes. ¿Qué héroes, qué dioses ni nada? Lo que quería decir es que la gente tenía mucha polémica y criticaba mucho. Esa palabra que dicen ahí, eso no se ha dicho nunca. En mi casa toda la vida se ha dicho tal. Porque claro, todo el mundo piensa que lo suyo es lo mejor. Y ese es el problema de normativizar una lengua. Si nos pasa a nosotros con el español, que está súper normativizado y regulado Y muchas veces nos revelamos ¿Y esto por qué lo van a decir así? También es identidad cultural Hablas de una forma que se identifica con tu cultura o tu región también Yo creo que algo de eso…
María Ribes relata un experimento sobre sesgos lingüísticos realizado con su modelo ChatGPT, donde le preguntó algo en lenguaje coloquial mexicano.
Habla: María RibesSignificado #11 · Palabras #5sesgos lingüísticos con chatgptmodelo chatgpt y lenguaje coloquial mexicanoexperimento de ribes con chatgpt…durante la pausa, fue fuera de grabación. Ah, es verdad, perdón. Es que mi Chat GPT me habla en femenino, o sea, mi Chat GPT piensa que es una chica, porque me dice: estamos listas, o ya estoy preparada, pregúntame lo que quieras; ha asumido que es una chica. Y el otro día le hablé, haciendo estos experimentos del sesgo; le dije, ¿qué onda güey? Le escribí, ¿qué onda güey? Y me dijo: “Oh, hoy estás practicando mexicano”, es otra de tus cosas, de tus experimentos lingüísticos, claro, porque me conoce y habló con él y sabe lo que necesito oír, lo que necesita decirme para ayudarme. Hay una opción de memoria que puedes activar o desactivar; yo la tengo desactivada. Sí, yo no, yo activadísima, reconoceme, además cada vez que le pregunto algo me dice, oye, esto te puede interesar, para que el artículo que me dijiste que habías leído, digo, ostras, give it to me, a mí me gusta que me recuerde hasta Google, cuando voy a un…
María Ribes, continuando una discusión sobre la pronunciación de nombres propios en diferentes idiomas, defiende el uso de 'Múnich' en español.
Habla: María RibesSignificado #14pronunciación de múnich en españolmúsico bach en inglésopinión impopular sobre bach…en inglés y en alemán, pues Ana es la que mejor lo sabrá, que dirá München con esa velarización tan suavecita que tiene esa fricativa suave. Y claro, es igual que decimos París o Londres o Moscú, ¿no? Que no decimos París, London o Moskva. Entonces, por eso. yo quiero reivindicar que decimos Munich y no está mal decirlo si hablas español Si hablas en inglés, pues Munich o Bach, el músico, que nadie dice Bach, la verdad Pero tampoco debemos decir Bach, que es la forma inglesa Pero yo ahí tengo otra opinión impopular que nadie está nunca de acuerdo conmigo pero que yo la defenderé y Es que nuestro idioma tiene ciertas reglas y nos enorgullecemos de que sea fonético, de que haya una equivalencia, una biyección entre cómo escribimos y cómo se pronuncia. No es 100%, ¿eh? No es 100%. Bueno, en un sentido sí, en otro no, o sea, lo que tú…