Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
Habla: María RibesSignificado #4aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socas…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #7aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica cómo se enseñan conceptos gramaticales en diferentes lenguas, ejemplificando con un caso hipotético donde el verbo varía según el género del hablante.
Habla: María RibesPalabras #3verbo comer en lengua chirifúgénero del hablante y verboniños humanos aceptan el pluralbromas y basura en chirifú…y lo absorben todo y los mayores no, no, no, lo que es es tu capacidad de aceptar las cosas y de inferir de usar este sesgo cognitivo, estas distribuciones bayesianas a priori, que los humanos también lo hacemos Entonces, si yo voy a clase, ahora me dicen, te voy a enseñar el plural, ¿vale? o el pasado del verbo comer, pero en la lengua chirifú, depende si eres hombre o mujer; el verbo es diferente. Entonces yo tengo dos opciones: aceptarlo y decir, vale, dámelo, dámelo, que es lo que hacen los niños nuestros, los niños humanos; obtengo la opción de decir qué clase de broma es esta, qué basura es esta, por ¿Qué no lo haces igual que yo? Entonces me cierro en redondo y ya no lo aprendo, o sea, ese es el problema de aprender una lengua, pero adquirirla todavía no sabemos cómo lo hacemos; es un misterio. O sea, un bebito tú le sometes, le pones a escuchar español,…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesSignificado #18niños adaptan pronunciación extranjeraerrores gramaticales y corrección maternahablantes ingleses burlas stop streetlenguaje como proceso cognitivo socialhe ponido ejemplo infantiladquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…entonces siempre le meten una vocal, por eso Edgar Allan Poe es Edogawa Rampo, ¿vale? Edogara Rampo, como hace Bob Esponja, que dice sí, es Korreketo, o Julio Iglesias; Julio Iglesias hacía eso, Korreketo, ¿no? Nos seguimos riendo de culturas milenarias. Pero es que nosotros hacemos lo mismo, ellos la meten por el centro y nosotros al principio. Las personas de habla inglesa siempre se burlan de los que hablamos español, que tenemos español de lengua materna porque decimos stop, street, pero eso son lo que hacen los niños y eso significa, bueno, eso significa que estás aprendiendo las reglas, como cuando el niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #10redes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child smodelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesPalabras #13sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes comenta sobre la búsqueda de una cita relacionada con la superación de las limitaciones de las redes neuronales modernas, haciendo referencia a la capacidad de aprender idiomas.
Habla: María RibesSignificado #3reentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgptmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesSignificado #6chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüísticochatgpt base en inglés para latínestadísticas de fuentes en latíndeclina casos en chatgptchatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racialsesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
María Ribes expresa su frustración con Google, señalando que las respuestas de su IA a preguntas lingüísticas suelen provenir de páginas web que enseñan idiomas.
Habla: María RibesSignificado #1 · Palabras #1modelos de lenguaje y latínmaterial didáctico en latíncorpus para enseñar latínbúsqueda en google de latíngemini de google y páginas de lenguashgtp como alternativa a googlepáginas para enseñar lenguas en respuestas de ia…rioplatense y en español mexicano estándar, y ver cómo maneja el sesgo. Yo creo que debe llegar un momento cuando el corpus se va reduciendo y se vuelve tan pequeño que empieza a competir con la cantidad de material que hay de enseñarlo en otros idiomas. Quiero decir, estoy pensando en latín, por ejemplo. Hay textos en latín, quizás no tantos, pero también hay muchos textos enseñándote latín. de diferentes idiomas. Entonces, es posible que parte de lo que sepa de latín sea de mucho corpus que hay en el que se enseña latín, ¿no? Es cierto. Y ahora cuando buscas en Google que la primera respuesta Es su Gemini, ¿no? A mí me da un poquito de rabia eso. La primera respuesta de Google es la IA. Y cuando yo le pregunto cualquier cosa lingüística, en vez de preguntarle a HGPT qué cosas tengo, todavía lo pongo en Google, Nena, dime tal; y la primera respuesta que me da de la IA siempre Héctor coge páginas que están enseñando lenguas. O sea, siempre va a la página que te enseña un blog, un libro, un pdf, lo que sea cómo te enseña esa lengua. O sea, el chisme va a buscar quién te la enseña y de ahí saca él sus. Conclusiones: el chisme, el sistema. Yo hice un experimento. Perdona, una cosita que no quiero. Que se me olvide, Borja, solo una cosita. El otro día le pregunté algo a ChatGPT. No me acuerdo lo que era, y entre las referencias ¿Esto qué te pone referencia?…
Borja Tosar explica cómo ha experimentado preguntándole a ChatGPT en gallego, observando que la respuesta no sigue las normas del idioma.
Habla: Borja TosarSignificado #16chatgpt en gallego no es normativogallego correcto vs gallego popularfrancis villatoro experto en galegodiferencias entre gallego y inglés según chatgpt…me estoy quitando el sombrero ante su última entrada del blog. ¡Guau! Por eso Francis no duerme. Yo le mando a Francis una cosa que hice y él decide si la publica o no. Te voy a mandar una cosa y luego Francis. pero sí que a mí me parece normal que ChapGPT tire del blog de Francis porque es que es muy bueno entonces que yo también tiro de él, o sea cuando tengo cualquier problema pero bueno, una de las cosas que probé con todo esto es, probé hacerle, nunca se me había ocurrido preguntarle cosas en gallego a ChapGPT y me he puesto a preguntarle en gallego y tiene, desde luego no es el normativo, se nota que lee cosas por ahí porque el gallego hay mucha diferencia entre el gallego correcto, lo que sería el normativo de la Real Academia Galega de la Lengua hay un gallego muy estructurado con unas palabras muy concretas y luego hay una especie como el más popular que es el que utilizamos todos y se nota un montón que no es gallego normativo se nota que coge y como es, yo creo que es desde luego minoritario con respecto al inglés el gallego Claro, todo es minoritario hoy en día Una pregunta, Borja, tú que entiendes gallego y habrás consultado la Wikipedia en gallego alguna que otra vez ¿En la Wikipedia en gallego se utiliza ese gallego normativo de escuela o se utiliza más ese gallego más…
Francis Villatoro explica cómo el gallego comparte una situación similar al vasco, donde históricamente eran idiomas locales con variantes dialectales que luego requirieron la creación de un idioma estandarizado para fines educativos.
Habla: Francis VillatoroPalabras #15galego vasco idioma estandarizadogallego consenso entre gallegosprofesores de lengua gallega oficialpaís vasco similar a argentina…O sea, cosas así. No es que lo hagan todos, pero tienden a cosas así. Y luego las pronunciaciones son muy diferentes también. Lo de las lenguas es una movida, que es complicado. Claro. al gallego le pasa lo mismo que al vasco, históricamente en el siglo XIX, principios del siglo XX eran idiomas extremadamente locales en pueblos, en cada pueblo hablaba un idioma dialecto o variante o como quieras llamarle, variante de idioma común y de repente cuando se convierte en comunidad autónoma y hay que formalizar la educación en gallego, hay que inventarse un gallego porque hay que inventarse un gallego de consenso entre todos los gallegos y se inventa ese idioma y entonces los profesores de lengua gallega en los 80 tuvieron que aprender gallego porque hablaban un gallego con su familia, con sus amigos completamente diferente al que tenían que enseñar pero tenían que enseñar el oficial y eso pasó también en el País Vasco Al principio en los 80 no se parecía a nada Eso pasa en Argentina también Eso pasa en Argentina En Argentina nos enseñan Yo, Tú, él, nosotros, vosotros, ellos. ¿Quién usa el tú? Qué vergüenza y el vosotros en Argentina nadie. Solamente para entender una película, pero eso pasa en todas las lenguas. Elige la variante normativa, que es la que se toma como estándar, y las demás no son…
María Ribes continúa la discusión sobre el descifrado de escrituras antiguas, específicamente abordando el problema de relacionar una escritura desconocida con su lengua original, utilizando como ejemplo el texto Voynich.
Habla: María RibesPalabras #4filogénesis de las lenguas siglo xixlingüística histórica y relaciones entre lenguasescritura desconocida sin lengua originaltexto voynich como ejemplo filológico…se pronuncian y las lees, pero no sabes lo que dice entonces ese es el problema, la diferencia entre escritura y la lengua; tú tienes un texto pero no sabes qué lengua hay debajo, que es el problema del Voynich si lo que se hace, bueno lo que lo hicieron en. El siglo XIX, la filogénesis de las lenguas; eso se podría revisar quizá con la IA, pero ahí más o menos está todo ya pues investigado de dónde viene cada lengua, las relaciones que tienen, la lingüística histórica. El problema es si esas lenguas, si solo tienes una escritura y no sabes qué lengua hay ahí debajo, no tienes con qué compararlo porque una escritura con otra no tiene relación; ¿sabes lo que quiero decir? Bueno, no lo sé, yo lo que imagino es que en algún momento una inteligencia artificial conocerá todo lo escrito y todo lo conocido y podrá generar relaciones de inferencia a lo largo del tiempo y relaciones filogenéticas entre las lenguas que ningún humano es…
María Ribes expresa su fascinación por el uso de la inteligencia artificial en el análisis de lenguas y escrituras antiguas, mencionando que antiguos profesores de Egiptología están trabajando en este campo.
Habla: María RibesPalabras #10ia en análisis de lenguas antiguasegiptología y cristina hernándezprofesores de egiptología usan ia…un adjetivo o el mismo signo; si está aquí significa una cosa, si está aquí significa otra, eso sí que se está trabajando ahora mismo y todavía queda mucho por aprender de escrituras cuneiformes e incluso de los jeroglíficos y del demótico y el hierático. O sea que yo conozco mis profesores; antiguos profesores de Egiptología ahora están trabajando en esto, en la IA aplicada a las lenguas y escrituras antiguas. Me parece fascinante, ojalá tuviera yo tiempo de poder hacer algo de eso. Bueno, una de las que darían para estar horas hablando de Cristina Hernández, pero me apetece decir una cosita muy breve sobre esto. Dice aunque una IA no sienta emociones, ¿quién dice que no? Pero bueno, aunque una IA no sienta emociones, ¿una función de recompensa si consigue responder no sería una emoción? Aunque no haya nada físico a sentir, no produzca algo físico que sienta a la par,…