Búsqueda · 29 momentos en 14 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socascorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capaHéctor SocasEPTChatGPTMaría RibesGastón GiribetGoogleVoynichdisco de Festolineal AChampollionMichael VentrisChildesFrancis VillatoroReal Academia Galega de la LenguaBorja TosarMúnichBach
Corpus en Inglés y otros idiomas
Con
0:000:301:001:302:002:303:003:33
Héctor Socas reflexiona sobre la influencia del volumen de corpus en diferentes idiomas en el funcionamiento de los modelos de lenguaje, específicamente si esto implica una 'supremacía' de un idioma sobre otros.
…del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
Significado #1 · Palabras #1
María Ribes utiliza un ejemplo de Gastón Giribet con cartas para explicar cómo las redes neuronales aprenden reglas y patrones en el lenguaje.
Habla: María RibesSignificado #3 · Palabras #5redes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child s…no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesPalabras #16sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique,…
María Ribes explica que un 'sesgo' lingüístico puede ser positivo, ayudando a predecir y permitiendo la comunicación entre personas.
Habla: María RibesSignificado #17sesgo lingüístico positivo ribescorpus natural childes sesgodistribución a priori humanossesgo cognitivo predicción ribes…también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo los humanos somos capaces de hablar. Que ahora mismo yo estoy aquí emitiendo unos sonidos y vosotros los estáis recibiendo, los descodificáis y volvéis a producir otros y yo los vuelvo a comprender. pues también habla, una cosa que yo os quería preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo…
María Ribes comenta sobre la búsqueda de una cita relacionada con la superación de las limitaciones de las redes neuronales modernas, haciendo referencia a la capacidad de aprender idiomas.
Habla: María RibesPalabras #19redes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgpt…ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
Héctor Socas reflexiona sobre la influencia del volumen de corpus en diferentes idiomas en el funcionamiento de los modelos de lenguaje, específicamente si esto implica una 'supremacía' de un idioma sobre otros.
Habla: Héctor SocasSignificado #1 · Palabras #1corpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #4 · Palabras #2chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticochatgpt base en inglés para latínestadísticas de fuentes en latíndeclina casos en chatgpt…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #2sesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modeloschatgpt en español rioplatensesesgo en experimentos chatgpt mexicanocorpus reducido para entrenamiento chatgptmodelos de lenguaje y latínmaterial didáctico en latíncorpus para enseñar latínbúsqueda en google de latín…haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se enseña latín, ¿no? Es cierto. Y ahora cuando buscas en Google que la primera respuesta Es su Gemini, ¿no? A mí me da un poquito de rabia eso. La primera respuesta de Google es la IA. Y cuando yo le pregunto cualquier cosa lingüística, en vez de preguntarle a HGPT qué cosas tengo, todavía lo pongo en Google, Nena, dime tal; y la primera…
Borja Tosar explica cómo ha experimentado preguntándole a ChatGPT en gallego, observando que la respuesta no sigue las normas del idioma.
Habla: Borja TosarSignificado #18chatgpt en gallego no es normativogallego correcto vs gallego popularfrancis villatoro experto en galegodiferencias entre gallego y inglés según chatgpt…me estoy quitando el sombrero ante su última entrada del blog. ¡Guau! Por eso Francis no duerme. Yo le mando a Francis una cosa que hice y él decide si la publica o no. Te voy a mandar una cosa y luego Francis. pero sí que a mí me parece normal que ChapGPT tire del blog de Francis porque es que es muy bueno entonces que yo también tiro de él, o sea cuando tengo cualquier problema pero bueno, una de las cosas que probé con todo esto es, probé hacerle, nunca se me había ocurrido preguntarle cosas en gallego a ChapGPT y me he puesto a preguntarle en gallego y tiene, desde luego no es el normativo, se nota que lee cosas por ahí porque el gallego hay mucha diferencia entre el gallego correcto, lo que sería el normativo de la Real Academia Galega de la Lengua hay un gallego muy estructurado con unas palabras muy concretas y luego hay una especie como el más popular que es el que utilizamos todos y se nota un montón que no es gallego normativo se nota que coge y como es, yo creo que es desde luego minoritario con respecto al inglés el gallego Claro, todo es minoritario hoy en día Una pregunta, Borja, tú que entiendes gallego y habrás consultado la Wikipedia en gallego alguna que otra vez ¿En la Wikipedia en gallego se utiliza ese gallego normativo de escuela o se utiliza más ese gallego más…
María Ribes explica cómo la inteligencia artificial puede ayudar a descifrar escrituras antiguas digitalizando grandes cantidades de textos para su comparación, similar al trabajo realizado con los jeroglíficos egipcios.
Habla: María RibesSignificado #6corpus para descifrar jeroglíficos egipcioschampollion y la piedra rosetacomparación de textos egipcios champolliondescifrado de escrituras antiguas con iainteligencia artificial descifrando escrituras antiguascorpus digitalizados para comparación textualvoynich como unicum lingüísticodisco de gestos como desafío a la ia…Lineal C o el A. Lineal A, pregúntale si se refiere al disco de Festo o al lineal A. Bueno, la lineal A, porque se refiere al disco de Festo. No, no sé, pero digo yo que efectivamente me parece. Si fuera, siempre hay que decir lo mismo, para poder Descifrar una escritura que no se comprende, que no se sabe qué lengua subyace ahí, hace falta un corpus; hace falta un número considerable de textos para poder comprobarlo entre sí, porque siempre pongo el ejemplo de Champollion. No descifró los jeroglíficos con la piedra roseta, o sea, la piedra roseta es bilingüe: estaba en dos escrituras egipcias y en griego, pero él consigue descifrarlo cuando comparó el texto de los jeroglíficos egipcios con otros textos egipcios. A partir de esa comparación es como cuando se puede descifrar una escritura; aparte hay que ser pues un genio como Champollion o Michael Ventris. Entonces ahora mismo sí que se está trabajando en lenguas antiguas y en escrituras antiguas con IA sobre Todo digitalizando los corpus y poniéndola ahí a trabajar esas acciones mecánicas que llevarían tantísimo tiempo para un humano, que la idea las hace en un momentito. Pero el problema, como ya os digo, es el corpus, que tiene que haber un número considerable de textos para poder compararlos. Es como el Voynich, que hemos hablado muchas veces del Voynich, como es un únicum, igual que el disco de gestos. Luego está la lineal A, la lineal B es el Griego micénico y la Lineal A es como si fuera el paso previo a la Lineal B. La Lineal B es lineal y la Lineal A tiene todavía un poco de restos pictográficos y supuestamente puede ser un estadio anterior en la evolución, pero que yo sepa todavía no se ha…
María Ribes explica cómo se podría reconstruir una escritura antigua como el Lineal A, utilizando corpus de lenguajes posteriores y comparándolos con los anteriores.
Habla: María RibesSignificado #10inteligencias artificiales reconstruyen evoluciónlenguajes actuales inferir ancestrocorpus limitado descifrar escrituras antiguasfrancis villatoro y la evolución de lenguajesreconstrucción lineal a desde corpus cescrituras y lenguas relación crucialproblema voynich descifrado escrituraalfabeto griego lectura sin lengua…es como si fuera el paso previo a la Lineal B. La Lineal B es lineal y la Lineal A tiene todavía un poco de restos pictográficos y supuestamente puede ser un estadio anterior en la evolución, pero que yo sepa todavía no se ha llegado a esa epifanía, pero muy Buena pregunta, y está además ahora candente en el mundo lingüístico. Sí, quizás, no lo sé; en un futuro las inteligencias artificiales sean capaces de llevar hacia atrás la evolución de los lenguajes y entonces a partir de lenguajes actuales inferir relaciones de ancestro, de parentesco entre lenguajes y a partir de ahí inferir y descifrar de manera aproximada con un corpus muy limitado pero usando el corpus de dónde ha derivado ese lenguaje en el futuro. Es decir, si hubiera, que no lo sé, si el lineal A precede a B y B a C y hubiera corpus en C suficiente, se podría llevar hacia el B y hacia el A y reconstruir. Bueno, lo que pasa ahí primero tenemos que especificar que son lenguas, que no son tipos de lenguajes, son lenguas y el problema son las escrituras, porque si no sabemos la lengua que subyace, no puedo leer ese texto. Es como si tú no hablas griego y tienes un texto en alfabeto griego, no lo puedes leer. Es lo contrario de que tú conoces las letras griegas, sabes cómo se pronuncian y las lees, pero no sabes lo que dice entonces ese es el problema, la diferencia entre escritura y la lengua; tú tienes un texto pero no sabes qué lengua hay debajo, que es el problema del Voynich si lo que se hace, bueno lo que lo hicieron en. El siglo XIX, la filogénesis de las lenguas; eso se podría revisar quizá con la IA, pero ahí más o menos está todo ya pues investigado de dónde viene cada lengua, las relaciones que tienen, la lingüística histórica. El problema es si esas lenguas, si solo…
María Ribes, continuando una discusión sobre la pronunciación de nombres propios en diferentes idiomas, defiende el uso de 'Múnich' en español.
Habla: María RibesPalabras #18pronunciación de múnich en españolmúsico bach en inglésopinión impopular sobre bach…en inglés y en alemán, pues Ana es la que mejor lo sabrá, que dirá München con esa velarización tan suavecita que tiene esa fricativa suave. Y claro, es igual que decimos París o Londres o Moscú, ¿no? Que no decimos París, London o Moskva. Entonces, por eso. yo quiero reivindicar que decimos Munich y no está mal decirlo si hablas español Si hablas en inglés, pues Munich o Bach, el músico, que nadie dice Bach, la verdad Pero tampoco debemos decir Bach, que es la forma inglesa Pero yo ahí tengo otra opinión impopular que nadie está nunca de acuerdo conmigo pero que yo la defenderé y Es que nuestro idioma tiene ciertas reglas y nos enorgullecemos de que sea fonético, de que haya una equivalencia, una biyección entre cómo escribimos y cómo se pronuncia. No es 100%, ¿eh? No es 100%. Bueno, en un sentido sí, en otro no, o sea, lo que tú…