Búsqueda · 22 momentos en 10 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasmodelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de eptEPTHéctor SocasGrandes modelos de lenguajeRedes neuronalesArtículosBebésMaría RibesNoam ChomskyChatGPT
Modelos de lenguaje aprenden nuevas habilidades
Con
0:000:301:001:302:002:303:003:33
Héctor Socas continúa la conversación sobre la capacidad de los modelos de lenguaje para aprender nuevas habilidades, retomando un comentario previo sobre cómo el aprendizaje del lenguaje puede ampliar las capacidades cognitivas.
…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…
Significado #1 · Palabras #1
María Ribes explica cómo el artículo que está analizando busca emular el proceso de adquisición de lenguas por parte de niños, diferenciando entre aprender y adquirir un idioma.
Habla: María RibesPalabras #7adquisición de lenguas por niñosproceso de adquisición de lenguaslenguaje como habilidad innatabebés y los primeros años infancia…encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana para comunicarnos y es como una habilidad innata que tenemos todos los niños humanos, todos los niños como nosotros, para aprender una lengua. Lo que pasa es que cuando tú eres un bebito, hasta se ha puesto convencionalmente la barrera en los siete años, pero no es exacta. Hay un momento desde que eres bebé hasta durante los primeros años de la infancia en el que tú no aprendes una lengua. sino que la adquieres ¿Qué diferencia hay? Pues que cuando la adquieres no te das cuenta Cuando tu madre, tu padre o tu tutor te está hablando cosas y te dice aquí tienes un perrito y ahora tienes otro, son dos Entonces, perritos, ¿no? Pero tu madre o tu…
María Ribes introduce un tema relacionado con el aprendizaje del lenguaje infantil y la investigación sobre cómo los niños adquieren habilidades lingüísticas con una cantidad limitada de información previa.
Habla: María RibesPalabras #10aprendizaje del lenguaje infantilhabilidades lingüísticas con poca informacióninvestigación chomsky sobre el lenguaje…de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan poca información anterior y esto ellos mismos están mencionando problemas de los que hablaba Chomsky, todos conocéis a. Chomsky, Chomsky se le fue un poco la cabeza, no, pero la dirección y se metió en política, etc. Pero Chomsky fue el impulsor de lo que es la gramática generativa o los universales lingüísticos, que se plantea este problema que ellos llaman el problema de…
María Ribes explica que el objetivo de ciertos modelos no es explicar cómo se adquiere el lenguaje humano, sino emularlo proporcionándoles pocos datos para que infieran y aprendan una lengua natural por sí mismos.
Habla: María RibesSignificado #17 · Palabras #16modelo de lenguaje emula adquisición humanainferencia de lenguas naturales con datoslenguajes matemáticos para aprender idiomasmaria ribes explica modelos de lenguaje…Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o…
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
Habla: Héctor SocasSignificado #2 · Palabras #2aprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Héctor Socas continúa la conversación sobre la capacidad de los modelos de lenguaje para aprender nuevas habilidades, retomando un comentario previo sobre cómo el aprendizaje del lenguaje puede ampliar las capacidades cognitivas.
Habla: Héctor SocasSignificado #1 · Palabras #1modelo lenguaje sin inglés previocódigos matemáticos para aprender lenguascapacidad cognitiva y modelos lenguajeexperimento maria ribes sobre lenguasaprendizaje del lenguaje amplía capacidades cognitivasmodelos de lenguaje aprenden nuevas habilidadesinglés como lengua madre de ept…de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que estabas diciendo, sería una manera de agrandar, si cabe, esa capacidad cognitiva, ¿no? Si es capaz de aprender una lengua natural sin saber otra antes, pues puede llegar luego a aprender muchas más cosas, como estabas contando. A mí me gusta mucho esa frase que dices siempre de que aprendiendo el lenguaje, la capacidad del lenguaje, puede aprender más cosas. ¿Sabemos que eso es así? Quiero decir que no sé hasta qué punto eso es información pública o que se pueda saber; yo no la he encontrado, o sea, ¿sabemos que EPT u otros modelos tienen una lengua madre que es el inglés? Pues sí, un poco asumido un poco es que hay más corpus en inglés, pero que se le echa todo corpus en un montón de idiomas como que los aprende de forma, los adquiere, como tú estabas diciendo, no aprender sino adquirir simultáneamente del corpus que recibe…