Búsqueda · 28 momentos en 18 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasartículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizajealgoritmos de gradiente para mínimosmínimos locales y algoritmos estocásticosvalles más profundos como mínimos globalesfrancis villatoro explica el aprendizajealgoritmos aprendizaje evitar mínimos localesmodelo para evitar mínimos localesmodelo maml minimiza informaciónagnosticismo respecto al modelo mamlmínimos locales en aprendizaje mamlFrancis VillatoroChatGPTGPT-3.5MAMLGrandes modelos de lenguajeRedes neuronalesArtículosBebésHéctor SocasYangPiantadosi
Paisaje de máximos mínimos aprendizaje
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para tratar de buscar valles más profundos que son los mínimos más próximos a los globales, ¿no? Tú nunca tienes garantía de que hayas alcanzado un buen mínimo global. Entonces el algoritmo de gradiente que son rápidos, porque claro tú tienes que evitar los mínimos locales. Tú no puedes aplicar un gradiente completamente agnóstico en el sentido de que aplicas el gradiente y esperas a que converja, porque seguro va a converger un mínimo. Tienes que aplicar Una serie de información sobre lo que tú esperas de ese paisaje para poder evitar los mínimos locales. Entonces ahí tienes que aplicar un modelo. Ese es el modelo que se aplica. Entonces se han propuesto diferentes modificaciones de este tipo de algoritmos que evitan estos mínimos locales y que utilizan ciertos modelos. Y el modelo agnóstico, el MAML era una de las propuestas que trataba de ser lo más agnóstica posible respecto al modelo. Es decir, usar la menor información posible respecto a cómo yo espero que sea el paisaje para evitar esos mínimos locales y converger, pero tendría que volver a repasarme la matemática porque eso lo mide yo hace siglos y ya no me acuerdo de los detalles técnicos de cómo exactamente lo evitaban. Yo creo que nos lo has explicado muy bien; creo que nos lo has explicado muy bien. Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no…
Significado #1 · Palabras #1
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
Habla: Francis VillatoroSignificado #1 · Palabras #1artículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizajealgoritmos de gradiente para mínimosmínimos locales y algoritmos estocásticosvalles más profundos como mínimos globalesfrancis villatoro explica el aprendizajealgoritmos aprendizaje evitar mínimos localesmodelo para evitar mínimos localesmodelo maml minimiza informaciónagnosticismo respecto al modelo mamlmínimos locales en aprendizaje maml…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para tratar de buscar valles más profundos que son los mínimos más próximos a los globales, ¿no? Tú nunca tienes garantía de que hayas alcanzado un buen mínimo global. Entonces el algoritmo de gradiente que son rápidos, porque claro tú tienes que evitar los mínimos locales. Tú no puedes aplicar un gradiente completamente agnóstico en el sentido de que aplicas el gradiente y esperas a que converja, porque seguro va a converger un mínimo. Tienes que aplicar Una serie de información sobre lo que tú esperas de ese paisaje para poder evitar los mínimos locales. Entonces ahí tienes que aplicar un modelo. Ese es el modelo que se aplica. Entonces se han propuesto diferentes modificaciones de este tipo de algoritmos que evitan estos mínimos locales y que utilizan ciertos modelos. Y el modelo agnóstico, el MAML era una de las propuestas que trataba de ser lo más agnóstica posible respecto al modelo. Es decir, usar la menor información posible respecto a cómo yo espero que sea el paisaje para evitar esos mínimos locales y converger, pero tendría que volver a repasarme la matemática porque eso lo mide yo hace siglos y ya no me acuerdo de los detalles técnicos de cómo exactamente lo evitaban. Yo creo que nos lo has explicado muy bien; creo que nos lo has explicado muy bien. Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no…
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
Habla: Héctor SocasSignificado #6redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguaje…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender,…