Búsqueda · 34 momentos en 11 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socascorpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capaembeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socasHéctor SocasEPTMaría RibesTomásGastón GiribetChatGPTFrancis VillatoroNature Communications
Embeddings como abstracción del lenguaje
Con
0:000:301:001:302:002:303:003:33
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
…del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…
Significado #1 · Palabras #1
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #16aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #4modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesSignificado #20sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #5sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
Habla: Héctor SocasSignificado #1 · Palabras #1corpus en inglés y otros idiomasmodelos de lenguaje adquieren corpussupremacía de un idioma por corpusembeddings como primera capaembeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socas…del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe porque tiene libros en inglés, en español, en francés, en alemán y tal lo que pasa es que evidentemente hay un corpus mucho mayor en internet de inglés entonces no sé hasta qué punto eso puede establecer una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #11sesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
Gastón Giribet relata una experiencia personal de su infancia en la que él y su hermano inventaron un lenguaje propio, describiendo el proceso como sistemático y palabra por palabra.
Habla: Gastón GiribetPalabras #10lenguaje propio de gastón giribetproceso sistemático de creación lingüísticainvención de lenguaje palabra por palabra…de manera innata el aprendizaje del lenguaje. Pero es una hipótesis; todavía nadie ha sido capaz de encontrar esas regiones. Es una hipótesis que se le critica por el toque divino que tiene. Una anécdota personal, esto obviamente entiendo que la pregunta no. es la misma que una respuesta de Tomás Porque él dice que cuando nadie tiene un lenguaje, pero cuando yo era chico, con mi hermano, decidí inventar un lenguaje Decidimos inventar un lenguaje, un lenguaje que solo él y yo pudiésemos hablar Entonces dije, bueno, ¿cómo se inventa un lenguaje? Dije, bueno, inventemos, vamos palabra por palabra y las completamos todas Esa era mi forma sistemática Yo era chico, no es que soy tan idiota Pero muestra un poco por qué mi madre me tendría que haber llegado a un psicólogo Y cuán sistemático soy Yo para todo dije: bueno, voy a inventar mi idioma y voy a empezar así. Voy a inventar la primera palabra. El punto es que la primera palabra que inventé en mi idioma era Starkey, con doble i, y significaba desmoronamiento del techo por razones naturales. Esa…
Francis Villatoro responde a una pregunta sobre la posibilidad de que las inteligencias artificiales puedan reconstruir la evolución de los lenguajes y descifrar escrituras antiguas.
Habla: Francis VillatoroPalabras #13inteligencias artificiales reconstruyen evoluciónlenguajes actuales inferir ancestrocorpus limitado descifrar escrituras antiguasfrancis villatoro y la evolución de lenguajes…es como si fuera el paso previo a la Lineal B. La Lineal B es lineal y la Lineal A tiene todavía un poco de restos pictográficos y supuestamente puede ser un estadio anterior en la evolución, pero que yo sepa todavía no se ha llegado a esa epifanía, pero muy Buena pregunta, y está además ahora candente en el mundo lingüístico. Sí, quizás, no lo sé; en un futuro las inteligencias artificiales sean capaces de llevar hacia atrás la evolución de los lenguajes y entonces a partir de lenguajes actuales inferir relaciones de ancestro, de parentesco entre lenguajes y a partir de ahí inferir y descifrar de manera aproximada con un corpus muy limitado pero usando el corpus de dónde ha derivado ese lenguaje en el futuro. Es decir, si hubiera, que no lo sé, si el lineal A precede a B y B a C y hubiera corpus en C suficiente, se podría llevar hacia el B y hacia el A y reconstruir. Bueno, lo que pasa ahí primero tenemos que especificar que son lenguas, que no son tipos de…