Búsqueda · 26 momentos en 8 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasredes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child smodelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguajeMaría RibesFrancis VillatoroGastón GiribetChatGPTHéctor SocasKlingonDothrakiNueva YorkEPTNature Communications
Inferencia de lenguas naturales con datos
Con
0:000:301:001:302:002:303:003:33
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
…no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
Significado #1 · Palabras #2
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #18aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes señala similitudes entre los experimentos de resonancia magnética cerebral realizados por Gastón Giribet en Nueva York y el entrenamiento de redes neuronales, comparando las tareas como 'lenguajes formales' artificiales.
Habla: María RibesPalabras #15redes neuronales como lenguajes formalestareas de videojuego como lenguaje formallenguaje artificial bayesianosklingon y dothraki como lenguas artificiales…eso, Gastón? Y habrá sido circa 2009, por ahí. ¿2009? Claro, y ahí se desarrolló tu cerebro más, ¿no? Y por eso empezaste a escribir esos agujeros. No, no, mi cerebro no. Pero está bien ya. Sí, sí, sí. Esto es muy íntimo, hablar del cerebro de una persona. Oye, eso es muy interesante porque justamente eso es lo que hacen con las redes neuronales las entrenan, cada videojuego tuyo que te están poniendo para que tú infieras esas reglas con la red neuronal son lenguajes formales o sea cada tarea es un lenguaje formal y digo un lenguaje porque no es una lengua, no es una lengua natural sino una lengua artificial pero no una lengua artificial como el Klingon o el Dothraki, están creados como de los bayesianos entonces son cadenas de caracteres y lo que tienen esas lenguas, pero creo que me estoy adelantando porque me emociona y me meto en el medio de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #1 · Palabras #2redes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child smodelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #10 · Palabras #4sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #14 · Palabras #8modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptcorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capa…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #3sesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
Francis Villatoro reflexiona sobre el potencial de las inteligencias artificiales para analizar grandes cantidades de datos escritos y establecer relaciones entre lenguas, superando las limitaciones cognitivas humanas.
Habla: Francis VillatoroSignificado #9 · Palabras #1inteligencia artificial relaciones filogenéticaslimitaciones cognitivas humanas lenguasinferencia a lo largo del tiempo inteligencia artificialanálisis de datos escritos francis villatoro…las relaciones que tienen, la lingüística histórica. El problema es si esas lenguas, si solo tienes una escritura y no sabes qué lengua hay ahí debajo, no tienes con qué compararlo porque una escritura con otra no tiene relación; ¿sabes lo que quiero decir? Bueno, no lo sé, yo lo que imagino es que en algún momento una inteligencia artificial conocerá todo lo escrito y todo lo conocido y podrá generar relaciones de inferencia a lo largo del tiempo y relaciones filogenéticas entre las lenguas que ningún humano es capaz de ver porque los humanos tenemos la posibilidad de enfocarnos solamente en siete cosas y estamos muy limitados a la hora de ver a gran escala y quizás una inteligencia artificial pueda hacer cosas que ahora mismo nos parecen imposibles con muy poco dato. Otra cosa es lo creíble que sean los resultados, pero lo mismo al final resulta que montan una película, un guión de película que es coherente con lo que sabemos de la historia, y entonces decimos: bueno pues parece coherente porque con el boinich no, porque…