Búsqueda · 27 momentos en 11 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasel timo de la ia emily benderlingüista computacional emily benderloro estocástico acuñado por emily bendergrado de perplexity en chatgptsiri como ejemplo de predicciónEmily BenderEl timo de la IAMaría RibesChatGPTSiriHéctor SocasThomas McCoyThomas GriffithsUniversidad de YaleWoodside InstituteNature CommunicationsNYU (Universidad de Nueva York)
Lingüista computacional Emily Bender
Con
0:000:301:001:302:002:303:003:33
María Ribes introduce el término 'El timo de la IA' acuñado por Emily Bender, lingüista computacional, mientras lee un libro de esta última sobre el exceso de entusiasmo en torno a la inteligencia artificial.
…y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista, no dice que vayamos a entrar en un nuevo invierno de la IA, pero que hay mucha paja, se ha puesto muy por encima, justo lo que hablábamos antes en la pausa. y esta Emily Bender es la que acuñó el término loro estocástico para ChatGPT porque lo único que hace es hacer estadísticas y predicciones de lo que puede venir antes y después que tiene un grado de perplejidad muy bajo, el grado de perplexity, cuán perplejo está el sistema a la hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado:…
Significado #1 · Palabras #1
María Ribes introduce un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje, destacando la importancia de sus autores, Thomas McCoy y Thomas Griffiths.
Habla: María RibesSignificado #14 · Palabras #9aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communicationsartículo nature communications mccoy griffithswoodside institute thomas mccoylingüista computacional departamento lingüística yalethomas mccoy the real mccoy…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real McCoy y Thomas Griffiths, pero es que es gente muy importante porque Thomas McCoy, mira, ha entendido la referencia. Thomas McCoy, el primero, es lingüista computacional y aquí pone su filiación en el Departamento de Lingüística de la Universidad de Yale, pero sobre todo es director del Woodside Institute. Del Instituto Woodside, que eso es un proyecto de investigación que tienen allí en Yale, que explora la cognición humana. Entonces fomenta un estudio multidisciplinar, sobre todo para encontrar la base matemática de la cognición humana y sobre todo con…
María Ribes introduce el término 'El timo de la IA' acuñado por Emily Bender, lingüista computacional, mientras lee un libro de esta última sobre el exceso de entusiasmo en torno a la inteligencia artificial.
Habla: María RibesSignificado #1 · Palabras #1el timo de la ia emily benderlingüista computacional emily benderloro estocástico acuñado por emily bendergrado de perplexity en chatgptsiri como ejemplo de predicción…y ChatGPT no puede sentir emociones, es como data, ahí lo dejo. Entonces no sabe lo que dice, lo único que hace es un sistema de predicciones, eso ya lo hemos explicado muchas veces y Francis es el gran experto en esto, en las predicciones, las estadísticas. A mí me gusta mucho el término que acuñó Emily Bender, que ella es lingüista, es lingüista computacional y estoy leyendo un libro ahora de ella que se llama El timo de la IA, ¿vale? Se llama The AI Con sobre el hype que ha habido y ella no es muy pesimista, no dice que vayamos a entrar en un nuevo invierno de la IA, pero que hay mucha paja, se ha puesto muy por encima, justo lo que hablábamos antes en la pausa. y esta Emily Bender es la que acuñó el término loro estocástico para ChatGPT porque lo único que hace es hacer estadísticas y predicciones de lo que puede venir antes y después que tiene un grado de perplejidad muy bajo, el grado de perplexity, cuán perplejo está el sistema a la hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado:…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #7modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
María Ribes pregunta sobre la posibilidad de entrenar a un modelo de lenguaje para aprender una lengua sin haber aprendido inglés previamente, utilizando únicamente códigos matemáticos.
Habla: María RibesSignificado #20modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguas…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede…
María Ribes explica una broma común entre lingüistas sobre cómo ChatGPT parece tener un 'lenguaje 1' basado en inglés, lo que genera sesgos lingüísticos significativos.
Habla: María RibesPalabras #19chatgpt lenguaje uno ingléssesgos lingüísticos algoritmo becas universidadplantillas input beca universidadsesgo lingüístico sesgo cultural racial…¿Cómo? Tiene muchísimas más fuentes en latín, claro, es que estadísticamente... Pero declina, declina, ¿sabes? No es que te diga la palabra y se le olvide poner los casos que se conoce a la mayoría de la gente; parece que traduce pero eso ya os digo es la. Broma que tenemos los lingüistas: que tienen la lengua 1, que es el inglés, y por eso ese sesgo lingüístico tan grande que es que estamos haciendo incluso plantillas para ver cómo, por ejemplo, un algoritmo cualquiera a la hora de solicitar no sé una beca en una universidad; yo estoy haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información…