Búsqueda · 33 momentos en 18 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasartículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizajeFrancis VillatoroChatGPTGPT-3.5Héctor SocasYangPiantadosiMaría RibesGrandes modelos de lenguajeRedes neuronalesArtículosBebésNoam Chomsky
Aprendizaje profundo descripciones a posteriori
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para…
Significado #1 · Palabras #8
Francis Villatoro explica la diferencia entre representación simbólica y neuronal en redes neuronales, describiendo esta última como una 'caja negra' donde los símbolos se representan a través de imágenes aprendidas.
Habla: Francis VillatoroSignificado #20redes neuronales convolución imágenesrepresentación neuronal caja negrasímbolos representados en imágenes aprendidas…palabras, es decir, combinaciones de símbolos que son válidas. El lenguaje consiste en un conjunto de reglas que te dicen cómo puedes combinar los símbolos del alfabeto para obtener palabras válidas. Eso es la representación simbólica, la representación. Conexionista o representación neuronal es una representación de caja negra. Tú tienes un embedding, tienes una representación de los símbolos en forma de unos objetos que son objetos abstractos. Hoy en día, en redes neuronales, básicamente de convolución, son siempre imágenes. Yo tengo una imagen que representa información y nadie sabe cómo los símbolos se representan en esa imagen porque es una imagen aprendida. En el proceso de aprendizaje se aprenden las imágenes que representan de manera efectiva los símbolos y las relaciones entre símbolos. Entonces yo trabajo con esas. Imágenes y obtengo soluciones al problema que yo quiera, como en el caso de los modelos de lenguaje: pues generar el siguiente token para una registra de token. Básicamente yo represento la entrada en una serie de imágenes y genero nuevas imágenes y esas…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #7sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
Francis Villatoro explica que no puede explicar fácilmente un artículo clásico sobre aprendizaje, al cual leyó hace mucho tiempo. Describe de forma abstracta los procesos de aprendizaje como un 'paisaje de máximos y mínimos' con montañas y valles.
Habla: Francis VillatoroSignificado #1 · Palabras #8artículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizaje…tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para…
Héctor Socas reflexiona sobre el artículo de Yang y Piantadosi, destacando su intento de mejorar la capacidad de las redes neuronales para aprender con pocos ejemplos, similar a cómo lo hacen los bebés.
Habla: Héctor SocasSignificado #6redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedores…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta…