Búsqueda · 31 momentos en 17 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socaschatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelosMaría RibesChatGPTNYU (Universidad de Nueva York)ChildesGastón GiribetFrancis Villatoro
Sesgos lingüísticos algoritmo becas Universidad
Con
0:000:301:001:302:002:303:003:33
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
Significado #1 · Palabras #1
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesSignificado #14 · Palabras #4entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datos…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesSignificado #15adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #6modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesSignificado #4sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique,…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #3sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes explica que un 'sesgo' lingüístico puede ser positivo, ayudando a predecir y permitiendo la comunicación entre personas.
Habla: María RibesSignificado #10 · Palabras #2sesgo lingüístico positivo ribescorpus natural childes sesgodistribución a priori humanossesgo cognitivo predicción ribes…también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo los humanos somos capaces de hablar. Que ahora mismo yo estoy aquí emitiendo unos sonidos y vosotros los estáis recibiendo, los descodificáis y volvéis a producir otros y yo los vuelvo a comprender. pues también habla, una cosa que yo os quería preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #20 · Palabras #3chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüístico…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesSignificado #1 · Palabras #1chatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
María Ribes relata un experimento sobre sesgos lingüísticos realizado con su modelo ChatGPT, donde le preguntó algo en lenguaje coloquial mexicano.
Habla: María RibesSignificado #18 · Palabras #7sesgos lingüísticos con chatgptmodelo chatgpt y lenguaje coloquial mexicanoexperimento de ribes con chatgpt…durante la pausa, fue fuera de grabación. Ah, es verdad, perdón. Es que mi Chat GPT me habla en femenino, o sea, mi Chat GPT piensa que es una chica, porque me dice: estamos listas, o ya estoy preparada, pregúntame lo que quieras; ha asumido que es una chica. Y el otro día le hablé, haciendo estos experimentos del sesgo; le dije, ¿qué onda güey? Le escribí, ¿qué onda güey? Y me dijo: “Oh, hoy estás practicando mexicano”, es otra de tus cosas, de tus experimentos lingüísticos, claro, porque me conoce y habló con él y sabe lo que necesito oír, lo que necesita decirme para ayudarme. Hay una opción de memoria que puedes activar o desactivar; yo la tengo desactivada. Sí, yo no, yo activadísima, reconoceme, además cada vez que le pregunto algo me dice, oye, esto te puede interesar, para que el artículo que me dijiste que habías leído, digo, ostras, give it to me, a mí me gusta que me recuerde hasta Google, cuando voy a un…