Búsqueda · 29 momentos en 14 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasredes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronalesMaría RibesAlto ValirioPyo DinhMAMLGPT-3.5YangHéctor SocasFrancis VillatoroKlingonDothrakiNueva YorkGastón GiribetChatGPTPrincetonTomásSiri
Red con 25000 lenguajes formales
Con
0:000:301:001:302:002:303:003:33
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
Significado #3 · Palabras #1
María Ribes señala similitudes entre los experimentos de resonancia magnética cerebral realizados por Gastón Giribet en Nueva York y el entrenamiento de redes neuronales, comparando las tareas como 'lenguajes formales' artificiales.
Habla: María RibesSignificado #4 · Palabras #3redes neuronales como lenguajes formalestareas de videojuego como lenguaje formallenguaje artificial bayesianosklingon y dothraki como lenguas artificiales…eso, Gastón? Y habrá sido circa 2009, por ahí. ¿2009? Claro, y ahí se desarrolló tu cerebro más, ¿no? Y por eso empezaste a escribir esos agujeros. No, no, mi cerebro no. Pero está bien ya. Sí, sí, sí. Esto es muy íntimo, hablar del cerebro de una persona. Oye, eso es muy interesante porque justamente eso es lo que hacen con las redes neuronales las entrenan, cada videojuego tuyo que te están poniendo para que tú infieras esas reglas con la red neuronal son lenguajes formales o sea cada tarea es un lenguaje formal y digo un lenguaje porque no es una lengua, no es una lengua natural sino una lengua artificial pero no una lengua artificial como el Klingon o el Dothraki, están creados como de los bayesianos entonces son cadenas de caracteres y lo que tienen esas lenguas, pero creo que me estoy adelantando porque me emociona y me meto en el medio de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan…
Gastón Giribet introduce una distinción entre adquisición y aprendizaje de un idioma, señalando que el aprendizaje es consciente y anticipa una pregunta sobre el problema que surge al aprender una lengua.
Habla: Gastón GiribetSignificado #17adquisición y aprendizaje de un idiomaaprendizaje consciente de una lenguapostestructuralismo políticamente incorrecto…sin que nadie se las explique? Como os decía antes, cuando tú adquieres la lengua, tu tutor o la persona con la que estás hablando no te dice ahora vamos a aprender el plural, ahora vamos a aprender a cambiar masculino a femenino, vamos a estudiar el pasado. ¿Qué es el problema que tenemos cuando aprendemos una lengua? Esa es la diferencia entre adquisición y aprendizaje. El aprendizaje es consciente. Diga usted. Una pregunta, ahora yo sé que formular la pregunta de esta manera acá, después de 45.000 años de postestructuralismo queda políticamente incorrecto, pero la voy a formular de la manera en la que se formulaba en los 50 Es Cierto también que Chomsky usaba como argumento, no necesariamente él, pero los chomskyanos, como argumento no solamente la filogénesis de un niño que estaba aprendiendo lenguaje sino también el hecho, por eso digo, está bien la parte que un…
María Ribes continúa explicando cómo los niños adquieren el lenguaje, comparando el proceso con jugar al casino y encontrando patrones, haciendo referencia a un experimento de Gastón Giribet.
Habla: María RibesSignificado #7modelo de lenguaje con millones de caracteresdatos naturalistas más complejosmétodos bayesianos en lenguajes formalesfrancis y héctor explican métodos bayesianosadquisición del lenguaje como casinoresonancia magnética de gastón giribetlenguajes formales con simetría matemáticapronunciación de stop en español…hora de predecir, cuanto más bajo mejor predice Pero cuanto más alta esa perplejidad, peor te va a predecir, ¿no? Es como tu Siri o tu... ¿Cómo se llama esto? El corrector del móvil Si tú dices, hoy he, hoy he, pues lo que te venga después no va a ser perro, ¿No? Tiene que ser un verbo o una preposición. Hoy he comido, hoy he de caminar o lo que sea. Entonces, así es como funciona, pero claro, el gran modelo del lenguaje con millones de caracteres hacia atrás y hacia adelante. Así que ellos han pensado: ¿Podríamos hacer esto con datos más realistas, más complejos? Ellos lo llaman datos naturalistas, naturalistic, y no es que sean datos que estudian la naturaleza; habla de datos reales. ¿Cuál es el experimento? Primero han creado lenguajes formales artificiales con métodos bayesianos, eso ni pretendo explicar lo que es porque tenemos aquí a Francis y a Héctor que nos lo explicarían muchísimo mejor. Ahora os dejo el turno para que expliquéis lo que Es, pero primero han creado, creo que son 25.000 lenguajes formales con unas características muy matemáticas, por ejemplo de simetría, de inducción fonológica, sintáctica. O sea, el niño, el niño humano, cuando adquiere una lengua, lo que hace son, pues como ha hecho, como hacía Gastón en su escáner, en su resonancia magnética, está jugando al casino. Él ve que le dan una carta, luego le dan otra, no tiene ni idea de por qué, hasta que ve un patrón y dice: ajá, entonces ya encuentro el patrón. Se me enciende la lucecilla en el cerebro. Y su amigo de Princeton, encantado, ¿no? Pues esto, lo que hace el niño, un español. Un español o una persona de habla hispana nunca te va a pronunciar stop. Podemos hacerlo perfectamente. Podemos decir stop, podemos decir street y podemos pronunciar lo que nos eches. Pero, ¿qué hace un español? Una vocal protética, una vocal de ayuda ahí que nosotros ponemos una e, ¿no? Stop, street. Un niño japonés lo que hace es epéntesis; los japoneses no tienen dos consonantes juntas, entonces siempre le meten una vocal, por eso Edgar…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesPalabras #9adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica cómo una red neuronal realiza deducciones y crea sesgos, comparándolo con la forma en que un niño interpreta frases y detecta errores gramaticales.
Habla: María RibesPalabras #8red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronales…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesPalabras #5sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
Habla: María RibesSignificado #3 · Palabras #1redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronales…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
María Ribes aclara el significado de la palabra 'sintético' tal como se utiliza en un artículo sobre lenguajes formales y lingüística.
Habla: María RibesSignificado #1 · Palabras #2lenguaje sintético como artificiallingüística sintético aglutina clustersmétodos bayesianos para lenguajes formalesred con 25000 lenguajes formales…muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De mí también un poco, ¿eh? La parte lingüística es la que he entendido un poco Mejor también quería decir que habla mucho de lenguas sintéticas, ¿eh? Y aquí utiliza la palabra sintética en dos sentidos: sintética como artificial, que son estos lenguajes formales que yo digo que no es como el Alto Valirio, sino símbolos. Pero también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo…
María Ribes continúa la discusión sobre un artículo previo de Yang y Pyo Dinh, mencionando que otros investigadores crearon 56 o 59 lenguajes formales.
Habla: María RibesSignificado #2 · Palabras #7lenguajes formales de yang y pyo dinhred neuronal aprende con 10000 tokensmaml usado por investigadorestokens en modelos gpt 3 5…preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo previo de dos autores que son Yang y Pyo Dinh. Sí, Pyo Sinde es un trabajo anterior en el que otros investigadores crearon; creo que fueron 56 o 59 lenguajes formales y consiguieron que la red neuronal aprendiera con menos de 10.000 carácteres o 10.000 tokens. Entonces, también Y dice que lo que usaron fue esto: el MAML. Depende a lo que te refieras con datos, porque si son cosas como tokens, o sea, los GPT, el antiguo, o sea, del último que dieron publicación total, creo que fue el 3.0; no sé, el 3.5, eran billones los conjuntos de entrenamiento de tokens. Es increíble. Y los nuevos, claro, serán muchísimo más, evidentemente. Pero de eso no han dado toda la información detallada. Que lo consigue con este sistema, que es un modelo para que aprenda tareas rápidamente y es agnóstico, porque le da igual el modelo…
Héctor Socas reflexiona sobre cómo los grandes modelos de lenguaje pueden ser reentrenados para otras aplicaciones, superando incluso a las redes neuronales diseñadas específicamente para esas tareas.
Habla: Héctor SocasSignificado #13 · Palabras #15redes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Gastón Giribet propone un método para detectar sesgos lingüísticos en modelos de lenguaje, sugiriendo el uso de lenguajes menos comunes o incluso aquellos que no están escritos.
Habla: Gastón GiribetSignificado #5sesgos lingüísticos en modelos lenguajelenguajes menos comunes gastón giribetcorpus en castellano para modelos…haciendo plantillas con los alumnos y según cómo le hago el input, pues me da la beca o no me lleva o no me lleva al sitio. Pero claro, ahí también entran, hay que decirlo, otros sesgos: que el sesgo lingüístico te lleva al sesgo también cultural y racial. Como método para ver si hay un sesgo lingüístico lo que uno tendría capaz que hacer sería algo así como usar los lenguajes menos comunes, incluso aquellos los no escritos, porque de los otros tiene mucho corpus, probablemente tiene tanto cuerpo de información en castellano como para haberse educado él solo en castellano, pero de los demás no, entonces traduce a través de él. Eso es, eso es. Mira, justo hay un artículo, perdona, que estaba leyendo ahora sobre hablándole a Chao GFT en rioplatense. Ahí hay mucho cuerpo, ahí hay mucho cuerpo para leer. Y hay muchos experimentos en rioplatense, en español rioplatense y en español mexicano estándar, y…
Gastón Giribet relata una experiencia personal de su infancia en la que él y su hermano inventaron un lenguaje propio, describiendo el proceso como sistemático y palabra por palabra.
Habla: Gastón GiribetSignificado #10lenguaje propio de gastón giribetproceso sistemático de creación lingüísticainvención de lenguaje palabra por palabra…de manera innata el aprendizaje del lenguaje. Pero es una hipótesis; todavía nadie ha sido capaz de encontrar esas regiones. Es una hipótesis que se le critica por el toque divino que tiene. Una anécdota personal, esto obviamente entiendo que la pregunta no. es la misma que una respuesta de Tomás Porque él dice que cuando nadie tiene un lenguaje, pero cuando yo era chico, con mi hermano, decidí inventar un lenguaje Decidimos inventar un lenguaje, un lenguaje que solo él y yo pudiésemos hablar Entonces dije, bueno, ¿cómo se inventa un lenguaje? Dije, bueno, inventemos, vamos palabra por palabra y las completamos todas Esa era mi forma sistemática Yo era chico, no es que soy tan idiota Pero muestra un poco por qué mi madre me tendría que haber llegado a un psicólogo Y cuán sistemático soy Yo para todo dije: bueno, voy a inventar mi idioma y voy a empezar así. Voy a inventar la primera palabra. El punto es que la primera palabra que inventé en mi idioma era Starkey, con doble i, y significaba desmoronamiento del techo por razones naturales. Esa…