Búsqueda · 23 momentos en 11 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasredes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresHéctor SocasYangPiantadosiMaría RibesBaby LM ChallengeNoam ChomskyGastón GiribetGrandes modelos de lenguajeRedes neuronalesArtículosBebésCocoPlatónPepito
Bebés aprendiendo con poca información
Con
0:000:301:001:302:002:303:003:33
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta…
Significado #1 · Palabras #1
María Ribes explica cómo el artículo que está analizando busca emular el proceso de adquisición de lenguas por parte de niños, diferenciando entre aprender y adquirir un idioma.
Habla: María RibesPalabras #10adquisición de lenguas por niñosproceso de adquisición de lenguaslenguaje como habilidad innatabebés y los primeros años infanciaadquisición de lenguaje infantilperritos como ejemplo didácticoformación del plural en niñoshabla cotidiana y adquisición de idiomas…encontrar la base matemática de la cognición humana y sobre todo con neurociencia, conecta neurociencia con ciencia de datos. No sé cómo os suena esto. ¿Os suena bien, mal, Francis? Conecta neurociencia con ciencia de datos. A mí me parece muy interesante. Porque de lo que trata este paper es de intentar emular o simular el proceso de adquisición de lenguas que hacen los niños humanos. Y ahora os lo voy a explicar: No es aprender una lengua, sino adquirir. Todos sabéis que el lenguaje es la capacidad humana para comunicarnos y es como una habilidad innata que tenemos todos los niños humanos, todos los niños como nosotros, para aprender una lengua. Lo que pasa es que cuando tú eres un bebito, hasta se ha puesto convencionalmente la barrera en los siete años, pero no es exacta. Hay un momento desde que eres bebé hasta durante los primeros años de la infancia en el que tú no aprendes una lengua. sino que la adquieres ¿Qué diferencia hay? Pues que cuando la adquieres no te das cuenta Cuando tu madre, tu padre o tu tutor te está hablando cosas y te dice aquí tienes un perrito y ahora tienes otro, son dos Entonces, perritos, ¿no? Pero tu madre o tu padre o tu torno te dice, y ahora querido niño, vamos a aprender la formación del plural O no te explica, ahora vamos a hablar el pasado, simplemente te habla Eso ya es cuando viene Coco Sí, y el que se perdiera ese episodio, pues ya nunca lo hace bien, como yo que me perdí el de izquierda y derecha. Y no he conseguido arreglarlo, Borja tampoco, ¿eh? Sí, y tiene implicaciones muy peligrosas en mi caso. Bueno, entonces, lo que quiere este…
María Ribes introduce un tema relacionado con el aprendizaje del lenguaje infantil y la investigación sobre cómo los niños adquieren habilidades lingüísticas con una cantidad limitada de información previa.
Habla: María RibesSignificado #9 · Palabras #17aprendizaje del lenguaje infantilhabilidades lingüísticas con poca informacióninvestigación chomsky sobre el lenguaje…de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan poca información anterior y esto ellos mismos están mencionando problemas de los que hablaba Chomsky, todos conocéis a. Chomsky, Chomsky se le fue un poco la cabeza, no, pero la dirección y se metió en política, etc. Pero Chomsky fue el impulsor de lo que es la gramática generativa o los universales lingüísticos, que se plantea este problema que ellos llaman el problema de…
María Ribes explica cómo los niños aprenden a hablar frases y palabras que nunca han oído antes, planteando la cuestión de cómo adquieren las reglas gramaticales sin una instrucción explícita.
Habla: María RibesSignificado #18adquisición de lenguaje infantilreglas gramaticales sin instrucción explícitaplural y género en la adquisición del lenguajepasado verbal en el aprendizaje infantil…que se plantea este problema que ellos llaman el problema de Platón o el problema del estímulo pobre: que es que como un niño humano puede formular infinitas frases, puede formular cualquier frase sin haberla oído antes; es decir, que los niños no aprenden. Por imitación, porque pueden decir frases y palabras que no han oído nunca antes, y también, ¿cómo pueden los niños aprender las reglas sin que nadie se las explique? Como os decía antes, cuando tú adquieres la lengua, tu tutor o la persona con la que estás hablando no te dice ahora vamos a aprender el plural, ahora vamos a aprender a cambiar masculino a femenino, vamos a estudiar el pasado. ¿Qué es el problema que tenemos cuando aprendemos una lengua? Esa es la diferencia entre adquisición y aprendizaje. El aprendizaje es consciente. Diga usted. Una pregunta, ahora yo sé que formular la pregunta de esta manera acá, después de 45.000 años de…
María Ribes continúa la conversación sobre el aprendizaje de idiomas, refiriéndose a las ideas de Noam Chomsky y explicando por qué los adultos tienen más dificultades para aprender nuevos idiomas que los niños.
Habla: María RibesPalabras #15chomsky y características universales lenguasadquisición de idiomas hasta los 7 añossesgo cognitivo en aprendizaje idiomas adultosdistribuciones bayesianas a priori humanos…manera de hacer. Es que yo no puedo imaginar una lengua que no sea humana, entonces con la escritura sí que pudieron suplir ese problema. No sé si me explico, pero me estoy viniendo arriba quizás, porque me pongo a hablar de lengua: pues muy buena pregunta. Gastón, sí, entonces Chomsky dice que todas las lenguas del planeta tienen las mismas características y todos los humanos las aprendemos todas, todos, cuando eres bebé las adquieres, hasta los 7 años que os digo que se pone de manera convencional, sin embargo cuando tú vas al colegio, vas a una academia a aprender otro idioma porque siempre decimos los niños son esponjas y lo absorben todo y los mayores no, no, no, lo que es es tu capacidad de aceptar las cosas y de inferir de usar este sesgo cognitivo, estas distribuciones bayesianas a priori, que los humanos también lo hacemos Entonces, si yo voy a clase, ahora me dicen, te voy a enseñar el plural, ¿vale? o el pasado del verbo comer, pero en la lengua chirifú, depende si eres hombre o mujer; el verbo es diferente. Entonces yo tengo dos opciones: aceptarlo y decir, vale, dámelo, dámelo, que es lo que hacen los niños nuestros, los…
Héctor Socas continúa una discusión sobre cómo los bebés adquieren lenguaje, argumentando que este proceso requiere un contexto sensorial y social más allá de simplemente escuchar sonidos.
Habla: Héctor SocasSignificado #4adquisición de lenguas en bebéslenguaje humano como proceso cognitivo socialapp lingüística chomskygastón sobre teoría chomskybebés humanos análisis estadísticos hablababy lm challenge modelos de lenguajeentrenamiento modelos lenguaje grandesadquisición del lenguaje en bebéssonidos asociados a experiencias infantilespeluche como asociación de sonidosaprendizaje infantil contexto sensorialadquisición del lenguaje habitación vacíabebés aprenden con madre o padreaprendizaje del lenguaje en bebés humanosproceso cognitivo social con otros humanosvídeo de la madre ignorado por el bebé…si eres hombre o mujer; el verbo es diferente. Entonces yo tengo dos opciones: aceptarlo y decir, vale, dámelo, dámelo, que es lo que hacen los niños nuestros, los niños humanos; obtengo la opción de decir qué clase de broma es esta, qué basura es esta, por ¿Qué no lo haces igual que yo? Entonces me cierro en redondo y ya no lo aprendo, o sea, ese es el problema de aprender una lengua, pero adquirirla todavía no sabemos cómo lo hacemos; es un misterio. O sea, un bebito tú le sometes, le pones a escuchar español, ruso, inglés, catalán, lo que sea y lo va a adquirir todo, porque de alguna manera, como decía Gastón, esto decía Chomsky antiguamente, que tenemos como una app en el centro de la lengua, y tú la vas rellenando con lengua. El bebé humano, eso creo que lo hemos hablado aquí, hace estadísticas y escucha un montón de cosas; puede pronunciar todos los sonidos del mundo pero los va desterrando, los va desechando y solo se queda con los que usa la persona que le está hablando. Entonces estos autores, igual que el Baby LM Challenge, quieren buscar: ¿podemos entrenar de alguna manera a un gran modelo de lenguaje? ¿A qué brinda a hablar? Bueno, perdón que te interrumpa. Estaba esperando que llegaras a un punto adecuado, pero nada, ya que te paraste. Ah, vale, perdón. No, quería preguntarte por lo que dijiste, de que el bebé está expuesto a escuchar estos sonidos y entonces así va adquiriendo el lenguaje o la lengua o las dos cosas. Pero yo supongo que eso debe estar relacionado también con el resto de experiencias que absorbe, o sea que si le dices osito y le enseñas el peluche, asocia ese sonido con ese objeto que él quiere agarrar y que eso es parte del aprendizaje, no solamente escuchar sin un contexto O sea que si estuviera en una habitación vacía, oscura, no viera nada, no tocara nada, sino solamente escuchara sonidos, no aprendería a hablar, supongo, tiene que contextualizar Si viera solo a su madre o su padre o la persona que lo está criando, sí que lo aprendería todo sin tener el osito Porque el bebé humano solo aprende con otro humano. El lenguaje humano es una actividad social, es un proceso cognitivo social. Si tú le pones al bebé un vídeo, aunque sea su madre, en un vídeo, su madre hablando, diciéndole: Este es un osito, este es un tal, el bebé lo ignora; lo ignora, no lo considera apropiado, no lo considera necesario, tiene que ser otro humano el que le está hablando. entonces si está en habitación oscura y solo oye el sonido probablemente no lo va a aprender como dices tú, porque es una cosa también afectiva; el lenguaje humano, la capacidad lingüística tiene mucha afectividad. Por eso se ha usado durante tantísimo tiempo…
María Ribes continúa explicando cómo los niños adquieren el lenguaje, utilizando ejemplos de frases sencillas como 'Pepito está comiendo' para ilustrar cómo estructuran sus preguntas.
Habla: María RibesSignificado #19frases sencillas como pepito está comiendoestructura de preguntas según ochomskyadquisición del lenguaje por niños…fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está corriendo, la pregunta es: ¿Quién está corriendo? No es ¿Está corriendo quién? No sé si es un buen ejemplo tampoco aquí, donde. estoy ahora. Pepito está comiendo, ¿no? ¿Quién está comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red…
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
Habla: Héctor SocasSignificado #1 · Palabras #1redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedores…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta…