Búsqueda · 28 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasGrandes modelos de lenguajeRedes neuronalesArtículosBebésHéctor SocasFerrariChatGPTMaríaNature CommunicationsTomás VilaEPTFrancis VillatoroMaría RibesSiri
Grandes modelos de lenguaje
Con
0:000:301:001:302:002:303:003:33
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Significado #1 · Palabras #2
Héctor Socas propone cambiar de tema tras la discusión sobre la terraformación de Marte, introduciendo un nuevo artículo sobre grandes modelos de lenguaje como ChatGPT e inteligencia artificial.
Habla: Héctor SocasPalabras #17chat gpt e inteligencia artificialartículo nature communications tomas y tomastomas tomas firma como tom tom…ha tocado A mí me pasa mucho cuando estoy cenando Y alguien se da cuenta de A arrazar No, alguien dice, no, no, es que no se queda astronomía y alguien pone la cara de me ha tocado al lado del raro, Dios mío, esa cara de escena me ha tocado al lado del raro Bueno, pues nada, vamos pasando de tema entonces y no hay más comentarios sobre esto. Y nada, el siguiente paper muy interesante, María, es sobre, hablábamos antes durante la pausa bastante sobre el tema de los grandes modelos de lenguaje: el chat GPT, la inteligencia artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en…
María Ribes explica cómo los grandes modelos de lenguaje como ChatGPT funcionan basándose en estadísticas y predicciones, comparándolos con la corrección automática del móvil.
Habla: María RibesSignificado #20modelo de lenguaje con millones de caracteresdatos naturalistas más complejosmétodos bayesianos en lenguajes formalesfrancis y héctor explican métodos bayesianos…hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado: ¿Podríamos hacer esto con datos más realistas, más complejos? Ellos lo llaman datos naturalistas, naturalistic, y no es que sean datos que estudian la naturaleza; habla de datos reales. ¿Cuál es el experimento? Primero han creado lenguajes formales artificiales con métodos bayesianos, eso ni pretendo explicar lo que es porque tenemos aquí a Francis y a Héctor que nos lo explicarían muchísimo mejor. Ahora os dejo el turno para que expliquéis lo que Es, pero primero han creado, creo que son 25.000 lenguajes formales con unas características muy matemáticas, por ejemplo de simetría, de inducción fonológica, sintáctica. O sea, el niño, el niño humano, cuando adquiere una lengua, lo que hace son, pues como…
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
Habla: Héctor SocasSignificado #1 · Palabras #2aprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Héctor Socas continúa la conversación sobre la capacidad de los modelos de lenguaje para aprender nuevas habilidades, retomando un comentario previo sobre cómo el aprendizaje del lenguaje puede ampliar las capacidades cognitivas.
Habla: Héctor SocasSignificado #19aprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de ept…otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…
Héctor Socas expresa su asombro ante los grandes modelos de lenguaje como ChatGPT, refiriéndose a las quejas sobre errores en la herramienta como una reacción desproporcionada.
Habla: Héctor SocasPalabras #11errores en versión gratuita chatgptreacción desproporcionada a chatgptferrari como metáfora de chatgpt…algún día poder interactuar como con HAL 9000. Yo no pensaba que fuera a ver esto en mi tiempo, o sea, yo pensaba que el autocorrector del móvil era lo más parecido que yo iba a ver a algo con lo cual entonces a mí la irrupción tan repentina, porque ha sido. Muy repentino, de estos grandes modelos de lenguaje, a mí me flipa. Y me viene la gente quejándose; me venía quejándose un compañero de que su versión gratuita de CharGPT se le había inventado una referencia. Digo, pero tío, me vas a quejar de eso; pero es como el tío que le regalan un Ferrari y se queja de que al pasar de quinta a sexta le petardea. Pero tío, te ha regalado un Ferrari. ¡Ah, qué ejemplo más bueno! No lo sé; es que no sé si somos conscientes, pero si simplemente para ponerte a jugar y ponerte a hablar y contarle tus penas y que te responda, tío, y que sea capaz de pillar el humor, eso que leímos antes de la hipótesis.…