Búsqueda · 32 momentos en 20 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasartículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizajeFrancis VillatoroChatGPTGPT-3.5Héctor SocasYangPiantadosiTomas VilaNature CommunicationsMaría RibesGrandes modelos de lenguajeRedes neuronalesArtículosBebésNoam Chomsky
Artículo clásico de aprendizaje
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para…
Significado #1 · Palabras #1
Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
Habla: María RibesSignificado #3 · Palabras #5aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socas…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #11 · Palabras #19aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes introduce un tema relacionado con el aprendizaje del lenguaje infantil y la investigación sobre cómo los niños adquieren habilidades lingüísticas con una cantidad limitada de información previa.
Habla: María RibesPalabras #10aprendizaje del lenguaje infantilhabilidades lingüísticas con poca informacióninvestigación chomsky sobre el lenguaje…de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan poca información anterior y esto ellos mismos están mencionando problemas de los que hablaba Chomsky, todos conocéis a. Chomsky, Chomsky se le fue un poco la cabeza, no, pero la dirección y se metió en política, etc. Pero Chomsky fue el impulsor de lo que es la gramática generativa o los universales lingüísticos, que se plantea este problema que ellos llaman el problema de…
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
Habla: Francis VillatoroSignificado #1 · Palabras #1artículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizaje…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para…
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
Habla: Héctor SocasSignificado #2redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedores…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta…