Búsqueda · 28 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasartículo nature communications mccoy griffithswoodside institute thomas mccoylingüista computacional departamento lingüística yalethomas mccoy the real mccoycognición humana en el instituto woodsidebase matemática de la cognición humananeurociencia conectada a ciencia de datos yaleHéctor SocasThomas McCoyThomas GriffithsUniversidad de YaleWoodside InstituteMaría RibesEmily BenderEl timo de la IAChatGPTNYU (Universidad de Nueva York)Instituto WoodsideUniversidad de PrincetonLaboratorio de Ciencia Cognitiva y ComputacionalNoam ChomskyPlatónAlto Valirio
Lingüista computacional departamento lingüística Yale
Con
0:000:301:001:302:002:303:003:33
María Ribes introduce un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje, destacando la importancia de sus autores, Thomas McCoy y Thomas Griffiths.
…modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real McCoy y Thomas Griffiths, pero es que es gente muy importante porque Thomas McCoy, mira, ha entendido la referencia. Thomas McCoy, el primero, es lingüista computacional y aquí pone su filiación en el Departamento de Lingüística de la Universidad de Yale, pero sobre todo es director del Woodside Institute. Del Instituto Woodside, que eso es un proyecto de investigación que tienen allí en Yale, que explora la cognición humana. Entonces fomenta un estudio multidisciplinar, sobre todo para encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana…
Significado #1 · Palabras #1
María Ribes introduce un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje, destacando la importancia de sus autores, Thomas McCoy y Thomas Griffiths.
Habla: María RibesSignificado #1 · Palabras #1artículo nature communications mccoy griffithswoodside institute thomas mccoylingüista computacional departamento lingüística yalethomas mccoy the real mccoycognición humana en el instituto woodsidebase matemática de la cognición humananeurociencia conectada a ciencia de datos yale…modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real McCoy y Thomas Griffiths, pero es que es gente muy importante porque Thomas McCoy, mira, ha entendido la referencia. Thomas McCoy, el primero, es lingüista computacional y aquí pone su filiación en el Departamento de Lingüística de la Universidad de Yale, pero sobre todo es director del Woodside Institute. Del Instituto Woodside, que eso es un proyecto de investigación que tienen allí en Yale, que explora la cognición humana. Entonces fomenta un estudio multidisciplinar, sobre todo para encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana…
María Ribes introduce el Baby LLM Challenge y explica que el artículo analizado trata sobre cómo grandes modelos de lenguaje imitan la adquisición del lenguaje humano. Menciona a Thomas McCoy, director del Instituto Woodside, y a Thomas Griffiths, profesor en la Universidad de Princeton.
Habla: María RibesPalabras #13baby llm challenge imitación humanathomas mccoy instituto woodsidelaboratorio ciencia cognitiva computacional princeton…ese episodio, pues ya nunca lo hace bien, como yo que me perdí el de izquierda y derecha. Y no he conseguido arreglarlo, Borja tampoco, ¿eh? Sí, y tiene implicaciones muy peligrosas en mi caso. Bueno, entonces, lo que quiere este artículo, ¿os acordáis que hablamos aquí en Coffee Break del Baby LLM Challenge? Que era entrenar grandes modelos de lenguaje con poquitos datos para imitar la adquisición de los humanos, ¿no? Pues esto es de lo que trata este artículo y lo que estudia el Thomas McCoy, dirige el Instituto Woodside, es precisamente eso, cómo funciona la cognición humana y Griffiths, él está en el departamento de Psicología y Ciencias de la Computación de la Universidad de Princeton o sea que él tiene doble grado en Psicología y en Ciencias de la Computación entonces él dirige el laboratorio de allí de Princeton que se llama Laboratorio de Ciencia Cognitiva y Computacional no solo eso sino también el Laboratorio de Inteligencia Artificial de Princeton y él lo que trabaja es la ciencia cognitiva computacional Perdón María, la otra vez que conté una anécdota sobre que me sometí a un experimento dentro de un resonador, era en su laboratorio de hecho ¿En serio? Guau, ¿y te tocó él? No, no, mi amigo Greg Duke, que era su postdoc. No, no, conforme lo, perdón, no digáis nada, conforme lo decía lo he sentido, que no era el lugar para decir esta expresión, fue él quien trabajó contigo. Yo fui solamente un cobayo, yo no…
María Ribes comenta sobre Noam Chomsky y su influencia en la lingüística, destacando cómo impulsó la gramática generativa y el concepto del 'problema de Platón' o 'problema del estímulo pobre'.
Habla: María RibesSignificado #13gramática generativa de chomskyproblema platón o estímulo pobreuniversales lingüísticos y chomsky…de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan poca información anterior y esto ellos mismos están mencionando problemas de los que hablaba Chomsky, todos conocéis a. Chomsky, Chomsky se le fue un poco la cabeza, no, pero la dirección y se metió en política, etc. Pero Chomsky fue el impulsor de lo que es la gramática generativa o los universales lingüísticos, que se plantea este problema que ellos llaman el problema de Platón o el problema del estímulo pobre: que es que como un niño humano puede formular infinitas frases, puede formular cualquier frase sin haberla oído antes; es decir, que los niños no aprenden. Por imitación, porque pueden decir frases y palabras que no han oído nunca antes, y también, ¿cómo pueden los niños aprender las reglas sin que nadie se las explique? Como os decía antes, cuando tú adquieres la lengua, tu tutor o la persona con la que estás…
María Ribes introduce el término 'El timo de la IA' acuñado por Emily Bender, lingüista computacional, mientras lee un libro de esta última sobre el exceso de entusiasmo en torno a la inteligencia artificial.
Habla: María RibesPalabras #6el timo de la ia emily benderlingüista computacional emily bender…y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista, no dice que vayamos a entrar en un nuevo invierno de la IA, pero que hay mucha paja, se ha puesto muy por encima, justo lo que hablábamos antes en la pausa. y esta Emily Bender es la que acuñó el término loro estocástico para ChatGPT porque lo único que hace es hacer estadísticas y predicciones de lo que puede venir antes y después que tiene un grado de perplejidad muy bajo, el grado de perplexity, cuán perplejo…
María Ribes aclara el significado de la palabra 'sintético' tal como se utiliza en un artículo sobre lenguajes formales y lingüística.
Habla: María RibesSignificado #14lenguaje sintético como artificiallingüística sintético aglutina clustersmétodos bayesianos para lenguajes formalesred con 25000 lenguajes formales…muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De mí también un poco, ¿eh? La parte lingüística es la que he entendido un poco Mejor también quería decir que habla mucho de lenguas sintéticas, ¿eh? Y aquí utiliza la palabra sintética en dos sentidos: sintética como artificial, que son estos lenguajes formales que yo digo que no es como el Alto Valirio, sino símbolos. Pero también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo…
María Ribes introduce una broma común dentro del campo de la lingüística sobre ChatGPT, sugiriendo que parece tener un 'lenguaje 1' basado en inglés debido a la gran cantidad de datos en ese idioma.
Habla: María RibesSignificado #19chatgpt lenguaje 1 ingléssesgo lingüístico estructura inglesacorpus mayoritario en inglésmaria ribes sesgo lingüístico…que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni sexista, ni racial, que también lo tiene, el sesgo lingüístico siempre denosta todo lo que no sea la estructura inglesa; la estructura de la gramática lengua inglesa funciona mejor desde el inglés y cuando lo traduce, o cuando lo habla en cualquier otra lengua, por ejemplo en latín, también habla latín el CGPT. Pero no bien, no bien y habla como hablaría una persona de habla inglesa, traduciendo, ¿no? Tiene muchas más fuentes en latín, claro. ¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesSignificado #7chatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racial…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información…