Búsqueda · 24 momentos en 12 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasentrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datoschatgpt sin emociones realessistema de predicciones chatgptfrancis villatoro experto en estadísticaFrancis VillatoroChatGPTMaría RibesNYU (Universidad de Nueva York)Gastón GiribetChildesReal Academia Galega de la LenguaBorja TosarHéctor SocasColgateShow de Truman
Sesgos lingüísticos en ChatGPT
Con
0:000:301:001:302:002:303:003:33
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista,…
Significado #1 · Palabras #3
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesSignificado #1 · Palabras #3entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datoschatgpt sin emociones realessistema de predicciones chatgptfrancis villatoro experto en estadística…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista,…
María Ribes utiliza un ejemplo de Gastón Giribet con cartas para explicar cómo las redes neuronales aprenden reglas y patrones en el lenguaje.
Habla: María RibesPalabras #14redes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child s…no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #13sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes explica que un 'sesgo' lingüístico puede ser positivo, ayudando a predecir y permitiendo la comunicación entre personas.
Habla: María RibesSignificado #16 · Palabras #5sesgo lingüístico positivo ribescorpus natural childes sesgodistribución a priori humanossesgo cognitivo predicción ribes…también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo los humanos somos capaces de hablar. Que ahora mismo yo estoy aquí emitiendo unos sonidos y vosotros los estáis recibiendo, los descodificáis y volvéis a producir otros y yo los vuelvo a comprender. pues también habla, una cosa que yo os quería preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo…
María Ribes comenta sobre la búsqueda de una cita relacionada con la superación de las limitaciones de las redes neuronales modernas, haciendo referencia a la capacidad de aprender idiomas.
Habla: María RibesSignificado #7redes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgpt…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesSignificado #3 · Palabras #1chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticochatgpt base en inglés para latínestadísticas de fuentes en latíndeclina casos en chatgptchatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modeloschatgpt en español rioplatensesesgo en experimentos chatgpt mexicanocorpus reducido para entrenamiento chatgpt…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se…
Héctor Socas comenta sobre una hipótesis planteada por Borja Tosar, según la cual ChatGPT consulta al profesor Francis Villatoro para obtener respuestas.
Habla: Héctor SocasPalabras #15chatgpt consulta a villatorohipótesis de borja tosargravedad cuántica en chatgpt…Tosar. No me digas, hipótesis Tosar. Que me la cuente la hipótesis Borja porque yo no sé cuál es. La hipótesis Tosar es que ChatGPT le pregunta a Francis por la noche. Ah, es que yo, sí, sí, sí, hice una movida de eso. Y el tío, lo dijiste el otro día, y el tío dice que se lo preguntó a ChatGPT y le responde ChatGPT Me encanta tu hipótesis, Borja. Nosotros consultamos a ChatGPT y ChatGPT consulta al profesor Villatoro. Probablemente a las 2 y las 5 de la madrugada cuando todo el sistema tiempa por culpa de la gravedad cuántica. Confirmo que sí. Si alguna vez tardó en responder, no es porque Villatoro esté dormido, es porque me estoy quitando el sombrero ante su última entrada del blog. ¡Guau! Por eso Francis no duerme. Yo le mando a Francis una cosa que hice y él decide si la publica o no. Te voy a…
Borja Tosar explica cómo ha experimentado preguntándole a ChatGPT en gallego, observando que la respuesta no sigue las normas del idioma.
Habla: Borja TosarSignificado #6chatgpt en gallego no es normativogallego correcto vs gallego popularfrancis villatoro experto en galegodiferencias entre gallego y inglés según chatgpt…me estoy quitando el sombrero ante su última entrada del blog. ¡Guau! Por eso Francis no duerme. Yo le mando a Francis una cosa que hice y él decide si la publica o no. Te voy a mandar una cosa y luego Francis. pero sí que a mí me parece normal que ChapGPT tire del blog de Francis porque es que es muy bueno entonces que yo también tiro de él, o sea cuando tengo cualquier problema pero bueno, una de las cosas que probé con todo esto es, probé hacerle, nunca se me había ocurrido preguntarle cosas en gallego a ChapGPT y me he puesto a preguntarle en gallego y tiene, desde luego no es el normativo, se nota que lee cosas por ahí porque el gallego hay mucha diferencia entre el gallego correcto, lo que sería el normativo de la Real Academia Galega de la Lengua hay un gallego muy estructurado con unas palabras muy concretas y luego hay una especie como el más popular que es el que utilizamos todos y se nota un montón que no es gallego normativo se nota que coge y como es, yo creo que es desde luego minoritario con respecto al inglés el gallego Claro, todo es minoritario hoy en día Una pregunta, Borja, tú que entiendes gallego y habrás consultado la Wikipedia en gallego alguna que otra vez ¿En la Wikipedia en gallego se utiliza ese gallego normativo de escuela o se utiliza más ese gallego más…
María Ribes relata un experimento sobre sesgos lingüísticos realizado con su modelo ChatGPT, donde le preguntó algo en lenguaje coloquial mexicano.
Habla: María RibesSignificado #5 · Palabras #4sesgos lingüísticos con chatgptmodelo chatgpt y lenguaje coloquial mexicanoexperimento de ribes con chatgpt…durante la pausa, fue fuera de grabación. Ah, es verdad, perdón. Es que mi Chat GPT me habla en femenino, o sea, mi Chat GPT piensa que es una chica, porque me dice: estamos listas, o ya estoy preparada, pregúntame lo que quieras; ha asumido que es una chica. Y el otro día le hablé, haciendo estos experimentos del sesgo; le dije, ¿qué onda güey? Le escribí, ¿qué onda güey? Y me dijo: “Oh, hoy estás practicando mexicano”, es otra de tus cosas, de tus experimentos lingüísticos, claro, porque me conoce y habló con él y sabe lo que necesito oír, lo que necesita decirme para ayudarme. Hay una opción de memoria que puedes activar o desactivar; yo la tengo desactivada. Sí, yo no, yo activadísima, reconoceme, además cada vez que le pregunto algo me dice, oye, esto te puede interesar, para que el artículo que me dijiste que habías leído, digo, ostras, give it to me, a mí me gusta que me recuerde hasta Google, cuando voy a un…
Gastón Giribet y Héctor Socas comentan una experiencia inusual con ChatGPT, donde la herramienta respondió a una pregunta filosófica insertando un anuncio publicitario de Colgate.
Habla: Gastón GiribetSignificado #20chatgpt y publicidad colgatefenomenología y preguntas filosóficasel show de truman como referenciaexperiencia inusual con chatgpt…dale purpurina y unicornios. Van a poner anuncios en ChatGPT. Van a poner anuncios en ChatGPT, pero hablando, en la respuesta, si esto no se ponga al lado, en la página web. Ostras, ¿te imaginas? Espero que lo hagan de manera sutil, porque últimamente no. Hay nada sutil. Uno le hace una pregunta: ChatGPT, hola, tengo una pregunta de filosofía. ¿Crees que hay objetos que son solamente su propia representación? Y te dice: muy buena pregunta desde el punto de vista de la fenomenología. Cepilla tus dientes con Colgate. Como el show de Truman. El show de Truman estaba pensando lo mismo. Oye, nada, antes de terminar con este tema, creo que Habría que ir dando carpetazo, pero no me gustaría hacerlo sin algún pequeño alegato en desagravio porque aquí a veces estamos como siempre poniendo frenos, poniendo cotas a la ilusión, al entusiasmo y al sense of wonder. Yo quiero reivindicar el sense of…