Búsqueda · 22 momentos en 10 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socaschatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticochatgpt base en inglés para latínestadísticas de fuentes en latíndeclina casos en chatgptchatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modeloschatgpt en español rioplatensesesgo en experimentos chatgpt mexicanocorpus reducido para entrenamiento chatgptChatGPTMaría RibesNYU (Universidad de Nueva York)Francis VillatoroReal Academia Galega de la LenguaBorja TosarFerrariEPTHéctor SocasGastón Giribet
ChatGPT lenguaje uno Inglés
Con
0:000:301:001:302:002:303:003:33
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se…
Significado #1 · Palabras #1
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesSignificado #6 · Palabras #5entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datoschatgpt sin emociones realessistema de predicciones chatgptfrancis villatoro experto en estadística…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista,…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesPalabras #17sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique,…
María Ribes comenta sobre la búsqueda de una cita relacionada con la superación de las limitaciones de las redes neuronales modernas, haciendo referencia a la capacidad de aprender idiomas.
Habla: María RibesSignificado #3redes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de ept…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #1 · Palabras #1chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticochatgpt base en inglés para latínestadísticas de fuentes en latíndeclina casos en chatgptchatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modeloschatgpt en español rioplatensesesgo en experimentos chatgpt mexicanocorpus reducido para entrenamiento chatgpt…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se…
Borja Tosar explica cómo ha experimentado preguntándole a ChatGPT en gallego, observando que la respuesta no sigue las normas del idioma.
Habla: Borja TosarSignificado #5chatgpt en gallego no es normativogallego correcto vs gallego popularfrancis villatoro experto en galegodiferencias entre gallego y inglés según chatgpt…me estoy quitando el sombrero ante su última entrada del blog. ¡Guau! Por eso Francis no duerme. Yo le mando a Francis una cosa que hice y él decide si la publica o no. Te voy a mandar una cosa y luego Francis. pero sí que a mí me parece normal que ChapGPT tire del blog de Francis porque es que es muy bueno entonces que yo también tiro de él, o sea cuando tengo cualquier problema pero bueno, una de las cosas que probé con todo esto es, probé hacerle, nunca se me había ocurrido preguntarle cosas en gallego a ChapGPT y me he puesto a preguntarle en gallego y tiene, desde luego no es el normativo, se nota que lee cosas por ahí porque el gallego hay mucha diferencia entre el gallego correcto, lo que sería el normativo de la Real Academia Galega de la Lengua hay un gallego muy estructurado con unas palabras muy concretas y luego hay una especie como el más popular que es el que utilizamos todos y se nota un montón que no es gallego normativo se nota que coge y como es, yo creo que es desde luego minoritario con respecto al inglés el gallego Claro, todo es minoritario hoy en día Una pregunta, Borja, tú que entiendes gallego y habrás consultado la Wikipedia en gallego alguna que otra vez ¿En la Wikipedia en gallego se utiliza ese gallego normativo de escuela o se utiliza más ese gallego más…
María Ribes relata un experimento sobre sesgos lingüísticos realizado con su modelo ChatGPT, donde le preguntó algo en lenguaje coloquial mexicano.
Habla: María RibesSignificado #7sesgos lingüísticos con chatgptmodelo chatgpt y lenguaje coloquial mexicanoexperimento de ribes con chatgpt…durante la pausa, fue fuera de grabación. Ah, es verdad, perdón. Es que mi Chat GPT me habla en femenino, o sea, mi Chat GPT piensa que es una chica, porque me dice: estamos listas, o ya estoy preparada, pregúntame lo que quieras; ha asumido que es una chica. Y el otro día le hablé, haciendo estos experimentos del sesgo; le dije, ¿qué onda güey? Le escribí, ¿qué onda güey? Y me dijo: “Oh, hoy estás practicando mexicano”, es otra de tus cosas, de tus experimentos lingüísticos, claro, porque me conoce y habló con él y sabe lo que necesito oír, lo que necesita decirme para ayudarme. Hay una opción de memoria que puedes activar o desactivar; yo la tengo desactivada. Sí, yo no, yo activadísima, reconoceme, además cada vez que le pregunto algo me dice, oye, esto te puede interesar, para que el artículo que me dijiste que habías leído, digo, ostras, give it to me, a mí me gusta que me recuerde hasta Google, cuando voy a un…
Héctor Socas expresa su asombro ante los grandes modelos de lenguaje como ChatGPT, refiriéndose a las quejas sobre errores en la herramienta como una reacción desproporcionada.
Habla: Héctor SocasPalabras #14errores en versión gratuita chatgptreacción desproporcionada a chatgptferrari como metáfora de chatgpt…algún día poder interactuar como con HAL 9000. Yo no pensaba que fuera a ver esto en mi tiempo, o sea, yo pensaba que el autocorrector del móvil era lo más parecido que yo iba a ver a algo con lo cual entonces a mí la irrupción tan repentina, porque ha sido. Muy repentino, de estos grandes modelos de lenguaje, a mí me flipa. Y me viene la gente quejándose; me venía quejándose un compañero de que su versión gratuita de CharGPT se le había inventado una referencia. Digo, pero tío, me vas a quejar de eso; pero es como el tío que le regalan un Ferrari y se queja de que al pasar de quinta a sexta le petardea. Pero tío, te ha regalado un Ferrari. ¡Ah, qué ejemplo más bueno! No lo sé; es que no sé si somos conscientes, pero si simplemente para ponerte a jugar y ponerte a hablar y contarle tus penas y que te responda, tío, y que sea capaz de pillar el humor, eso que leímos antes de la hipótesis.…