Búsqueda · 27 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasaprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socasTomas VilaNature CommunicationsHéctor SocasMaría RibesGrandes modelos de lenguajeRedes neuronalesArtículosBebésMetaLearningGPT-3.5Francis VillatoroChatGPTYangPiantadosi
Modelado de aprendizaje rápido
Con
0:000:301:001:302:002:303:003:33
Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
Significado #1 · Palabras #1
Héctor Socas y María Ribes comentan un artículo publicado en Nature Communications sobre modelos de aprendizaje rápido del lenguaje.
Habla: María RibesSignificado #1 · Palabras #1aprendizaje rápido del lenguajeartículo nature communicationsmodelado de aprendizaje rápidoforo interno héctor socas…artificial y bueno, tú nos propusiste aquí un artículo que salió en Nature Communications de Tomas y Tomas. Sí, ellos firman como Tom, Tom y Tom. ¿Ah sí? Firman así, no como Tom y Jerry, pero no nuestro Tomas Vila, sino estos son otros Tomas diferentes. Hay muchos, los Tomas o los Dejas; quiero decir que están… ¡Ostras! Total, que el artículo se titula… Bueno, nada, tú que no se titula ahí, cuéntanos. Oye, esto me ha costado mucho a mí traducirlo, ¿vale? Se llama… Os lo voy a decir cómo lo he traducido yo en mi foro interno, ¿vale? Yo diría modelado de aprendizaje rápido del lenguaje, no de. Lenguas e idiomas o de una lengua, sino lo que es el lenguaje. Mediante la destilación de, y ahora esto, los priors, Bayesian priors, yo lo traduzco como distribuciones a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un…
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesSignificado #3 · Palabras #2aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes explica que el aprendizaje de una lengua requiere la interacción visual y relacional con otra persona, aunque esta interacción no sea estrictamente necesaria para el proceso.
Habla: María RibesPalabras #10aprendizaje de lengua interacción visualadquisición de lengua requiere relaciónmaria ribes aprendizaje de lengua…durante tantísimo tiempo las lenguas como arma política para denostar a alguien, para decirle que tu lengua es peor que la mía, o tu lengua es un dialecto, no es bastante buena, o hay que prohibir tu lengua, etc. Pero tiene que estar viendo al otro humano. Si no, no hay aprendizaje que valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía…
María Ribes explica cómo un modelo híbrido combina elementos simbólicos y conexionistas en el aprendizaje de idiomas, integrando sesgos inductivos estructurados con la flexibilidad de las redes neuronales.
Habla: María RibesSignificado #12sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #4 · Palabras #5sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes expresa su asombro ante la cantidad masiva de tokens utilizados en el entrenamiento de modelos como GPT-3.5, anticipando que los nuevos modelos superarán esa cifra y comentando sobre un modelo agnóstico de MetaLearning.
Habla: María RibesSignificado #6tokens en entrenamiento gpt3 5modelo agnóstico de metalearningsesgos inductivos con datosartículo clásico de aprendizajepaisaje de máximos mínimos aprendizajealgoritmo modifica profundidad vallesfrancis villatoro artículo aprendizaje…fue esto: el MAML. Depende a lo que te refieras con datos, porque si son cosas como tokens, o sea, los GPT, el antiguo, o sea, del último que dieron publicación total, creo que fue el 3.0; no sé, el 3.5, eran billones los conjuntos de entrenamiento de tokens. Es increíble. Y los nuevos, claro, serán muchísimo más, evidentemente. Pero de eso no han dado toda la información detallada. Que lo consigue con este sistema, que es un modelo para que aprenda tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de manera abstracta hablar de una especie de paisaje de máximos y mínimos de como montañas y valles y entonces tú usas un algoritmo que va modificando la profundidad de los valles y la posición de los valles y la posición de las montañas va cambiando ese paisaje en el proceso de aprendizaje y cuando tú quieres para una entrada concreta ver qué resultado tienes que ofrecer lo que tú Aplicas es un algoritmo de gradiente que lo que hace es como caer por estos valles e ir buscando los mínimos. Suele ser algoritmos que tienen una componente estocástica que hace que puedas evitar ciertos valles que son los que llaman mínimos locales, para…
Francis Villatoro continúa explicando cómo los algoritmos de aprendizaje deben evitar los mínimos locales en un 'paisaje de máximos y mínimos', mencionando la necesidad de aplicar un modelo para lograrlo.
Habla: Francis VillatoroPalabras #20algoritmos aprendizaje evitar mínimos localesmodelo para evitar mínimos locales…que son rápidos, porque claro tú tienes que evitar los mínimos locales. Tú no puedes aplicar un gradiente completamente agnóstico en el sentido de que aplicas el gradiente y esperas a que converja, porque seguro va a converger un mínimo. Tienes que aplicar Una serie de información sobre lo que tú esperas de ese paisaje para poder evitar los mínimos locales. Entonces ahí tienes que aplicar un modelo. Ese es el modelo que se aplica. Entonces se han propuesto diferentes modificaciones de este tipo de algoritmos que evitan estos mínimos locales y que utilizan ciertos modelos. Y el modelo agnóstico, el MAML era una de las propuestas que trataba de ser lo más agnóstica posible respecto al modelo. Es decir, usar la menor información posible respecto a cómo yo espero que sea el paisaje para evitar esos mínimos locales y converger, pero tendría que volver a…
Héctor Socas comenta sobre la capacidad de los grandes modelos de lenguaje para aprender rápidamente, comparándola con el aprendizaje infantil y destacando su habilidad de 'few-shot learning'.
Habla: Héctor SocasSignificado #2 · Palabras #3redes neuronales aprendizaje con pocos ejemplosbebés aprendiendo con poca informaciónartículo yang y piantadosi redes neuronalesaprendizaje infantil versus redes neuronalesfewshot learning en modelos de lenguajegrandes modelos de lenguaje buenos aprendedoresredes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no sé. Estos modelos son prepandémicos; son anteriores a la pandemia, 2015, 2017. A mí la duda que me queda un poco cuando mire un poco así por encima el resumen del artículo y demás es que hablan de que una de las cosas en las que intentan mejorar es la capacidad de las redes neuronales de hacer eso que llaman a lo que tú te referías de aprendizaje con pocos ejemplos, que es lo que hacen los bebés, con poca información son capaces de aprender mucho más de lo que parecería que uno esperaría y me sorprende porque una de las cosas que además hay artículos sobre eso, recuerdo haber leído alguno cuando he estado, bueno, también hace algo de tiempo así que no recuerdo los detalles pero una de las cosas que se ha investigado y que resulta un poco sorprendente es que los Grandes modelos de lenguaje con respecto a otras redes neuronales presentan una característica justamente de eso, de ser buenos aprendedores, de ser, o sea, muestran few-shot learning, justamente esta capacidad de la que hablan en el artículo. Entonces, bueno, no sé si en el artículo se refieren a que el bebé manifieste una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…