Búsqueda · 31 momentos en 16 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasreentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasHéctor SocasMaría RibesFrancis VillatoroKlingonDothrakiNueva York
Redes Neuronales específicas para tareas
Con
0:000:301:001:302:002:303:003:33
Héctor Socas reflexiona sobre cómo los grandes modelos de lenguaje pueden ser reentrenados para otras aplicaciones, superando incluso a las redes neuronales diseñadas específicamente para esas tareas.
…y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Significado #1 · Palabras #1
María Ribes señala similitudes entre los experimentos de resonancia magnética cerebral realizados por Gastón Giribet en Nueva York y el entrenamiento de redes neuronales, comparando las tareas como 'lenguajes formales' artificiales.
Habla: María RibesPalabras #7redes neuronales como lenguajes formalestareas de videojuego como lenguaje formallenguaje artificial bayesianosklingon y dothraki como lenguas artificiales…eso, Gastón? Y habrá sido circa 2009, por ahí. ¿2009? Claro, y ahí se desarrolló tu cerebro más, ¿no? Y por eso empezaste a escribir esos agujeros. No, no, mi cerebro no. Pero está bien ya. Sí, sí, sí. Esto es muy íntimo, hablar del cerebro de una persona. Oye, eso es muy interesante porque justamente eso es lo que hacen con las redes neuronales las entrenan, cada videojuego tuyo que te están poniendo para que tú infieras esas reglas con la red neuronal son lenguajes formales o sea cada tarea es un lenguaje formal y digo un lenguaje porque no es una lengua, no es una lengua natural sino una lengua artificial pero no una lengua artificial como el Klingon o el Dothraki, están creados como de los bayesianos entonces son cadenas de caracteres y lo que tienen esas lenguas, pero creo que me estoy adelantando porque me emociona y me meto en el medio de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesPalabras #2sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique,…
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
Habla: María RibesSignificado #5redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronales…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
Héctor Socas reflexiona sobre cómo los grandes modelos de lenguaje pueden ser reentrenados para otras aplicaciones, superando incluso a las redes neuronales diseñadas específicamente para esas tareas.
Habla: Héctor SocasSignificado #1 · Palabras #1reentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…