Búsqueda · 28 momentos en 9 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasadquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completaMaría RibesChatGPTHéctor SocasFrancis VillatoroKlingonDothrakiNueva YorkGastón GiribetMarteM87George TuringNoam Chomsky
Red Neuronal y lengua completa
Con
0:000:301:001:302:002:303:003:33
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
Significado #1 · Palabras #1
Héctor Socas introduce una serie de temas científicos que se abordarán durante el programa, incluyendo la terraformación de Marte y el aprendizaje acelerado del lenguaje en redes neuronales.
Habla: Héctor SocasPalabras #10terraformación de marte tecnologíaaprendizaje acelerado lenguaje redes neuronaleserror ciencia exoplanetas sigmas universochorros relativistas acreción agujero negro m87…como siempre, aquí les proponemos una actualidad diferente, no rabiosa sino radiante, no bélica sino bella, no corrupta sino correcta en lo político y en lo intelectual Porque las noticias de la ciencia suelen ser buenas noticias, no siempre, pero a menudo Y Aquí entre los rescoldos de la actualidad vamos a hablar de qué haría falta para terraformar Marte, no en recalificación urbanística, sino en cuanto a tecnología; de cómo acelerar el aprendizaje de la lengua en redes neuronales; de un error muy extendido en ciencia de exoplanetas, con eso de las sigmas y del universo; de la intermitencia de los chorros relativistas y de la acreción del agujero negro supermasivo en M87. Todo eso son los temas que hablaremos dentro de un momento. Antes les quiero recordar rápidamente que tenemos una página web que es señalirruido.com Señal y ruido, con la ñ, todo junto, señalirruido.com. En esa página pueden encontrar toda la información de todos los episodios anteriores, las referencias, los papers…
María Ribes señala similitudes entre los experimentos de resonancia magnética cerebral realizados por Gastón Giribet en Nueva York y el entrenamiento de redes neuronales, comparando las tareas como 'lenguajes formales' artificiales.
Habla: María RibesSignificado #20 · Palabras #3redes neuronales como lenguajes formalestareas de videojuego como lenguaje formallenguaje artificial bayesianosklingon y dothraki como lenguas artificiales…eso, Gastón? Y habrá sido circa 2009, por ahí. ¿2009? Claro, y ahí se desarrolló tu cerebro más, ¿no? Y por eso empezaste a escribir esos agujeros. No, no, mi cerebro no. Pero está bien ya. Sí, sí, sí. Esto es muy íntimo, hablar del cerebro de una persona. Oye, eso es muy interesante porque justamente eso es lo que hacen con las redes neuronales las entrenan, cada videojuego tuyo que te están poniendo para que tú infieras esas reglas con la red neuronal son lenguajes formales o sea cada tarea es un lenguaje formal y digo un lenguaje porque no es una lengua, no es una lengua natural sino una lengua artificial pero no una lengua artificial como el Klingon o el Dothraki, están creados como de los bayesianos entonces son cadenas de caracteres y lo que tienen esas lenguas, pero creo que me estoy adelantando porque me emociona y me meto en el medio de la cuestión. De todas maneras, debería ir rápido, ¿no, Héctor? Para no enrollarme mucho. Nada, tú enróllate todo lo que quieras que hace tiempo que no vienes y ya, si no, lo hace más que se fastidien. Y ahora Francis dice, jope. Hoy tienes el micrófono. Bueno, ahora entraré en ese aprendizaje de las lenguas. Porque quiero empezar con la introducción del artículo; que precisamente de lo que como empieza introduciendo esta investigación es cómo es posible que los niños humanos puedan aprender a hablar con tan…
María Ribes explica un método para facilitar la adquisición lingüística en niños, sugiriendo que se repitan las frases correctamente para permitir la deducción y aprendizaje.
Habla: María RibesSignificado #1 · Palabras #1adquisición lingüística en niñosfrases correctamente para deducciónred neuronal y lengua completa…niño dice he ponido, he ponido los libros en la mesa, su madre le dice has puesto, que yo he puesto, ¿no? Nunca le decimos a un niño: eso no se dice, eso está mal. Vamos hablando de manera bien, que es como se intenta enseñar lenguas hoy en día. Hacerlo de. Más fácil a la adquisición lingüística. Tú lo que haces es, para corregir el error, lo repites bien para que el otro lo deduzca. Que no lo deduces, tengo que explicar, vale, tardaremos más. Pero por lo menos es el primer intento. Entonces, cada tarea de esta red neuronal es una lengua completa. Un lenguaje formal entero. Sobre todo es muy matemático, por ejemplo la simetría; ahí en el paper te da ejemplos formales. El término es ABBA, como si fuera un soneto Abba, Abba, C, D, C, D, D, ¿no? Entonces eso en una lengua real sería frases como, a ver, si yo te digo Pepito está…
María Ribes explica cómo una red neuronal realiza deducciones y crea sesgos, comparándolo con la forma en que un niño interpreta frases y detecta errores gramaticales.
Habla: María RibesSignificado #5red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronalesredes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child s…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesSignificado #11 · Palabras #5sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
Francis Villatoro explica que es difícil afirmar que una imagen representa directamente una palabra como 'gato', describiéndola como ruido y contrastando enfoques de representación simbólica y neuronal.
Habla: Francis VillatoroPalabras #14imagen representa palabra gatoruido en representación neuronalgramáticas generales chomsky máquinas turingtesis george turing algoritmos genéricos…y en ciertos momentos puedo decir: pues cuando le diré como la entrada al token de la palabra gato "Cat", pues apareció esta imagen. Yo que sea, en la representación de la atención, la imagen asociada a la atención. Pero, ¿dónde está ahí la palabra gato? O sea, no es fácil decir: Toda la imagen representa la palabra gato. Es una imagen que parece ruido. Son dos enfoques muy diferentes. Ambos son enfoques que se puede demostrar que son completos a nivel de cómputo; es decir, todo lo calculable, todo lo expresable en un lenguaje se puede obtener tanto en la representación simbólica, básicamente es equivalente a un algoritmo de tipo Turing, etc. Las gramáticas generales de Chomsky son tan generales que son equivalentes por la tesis de George Turing a cualquier máquina de Turing, a cualquier algoritmo genérico. Pero las redes neuronales también, con las redes neuronales, siempre Y cuando tengan más de una capa ya se puede demostrar que pueden representar de manera arbitraria cualquier función. Es una demostración clásica. Por lo tanto, son dos sistemas formalmente equivalentes en el sentido de que su poder de cómputo es exactamente…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #13sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes comenta sobre el funcionamiento de redes neuronales entrenadas con sistemas formales y métodos bayesianos para la generalización de reglas en lenguajes.
Habla: María RibesSignificado #3redes neuronales sistemas formalesmétodos bayesianos generalización de reglaslenguajes formales creados bayesianosmaria ribes redes neuronales…es la misma cosa, pero el niño ha generalizado que eso también es un perro, no solamente la generalización fonológica como decía antes o sintáctica, la simetría o el, si yo digo el niño, en la cama, pues tú puedes repetir como que el perro duerme en el cojín. Esa generalización de reglas y eso es lo que consiguen que haga sus redes neuronales entrenadas con este sistema, con estos lenguajes formales creados con métodos bayesianos. Me ha parecido muy interesante. Creo que me lo tengo que leer otra vez. Ha sido, lo he leído varias veces porque es difícil, ¿eh? Yo cuando se lo dije a Héctor digo, guau, es un poquito difícil, pero me parece muy interesante Yo no lo he leído, te confieso, cuando lo vi dije, ostras, qué paper tan complicado, no, ostras, María, digo, espero que me lo cuente porque esto se sale de mí De…
María Ribes comenta sobre la búsqueda de una cita relacionada con la superación de las limitaciones de las redes neuronales modernas, haciendo referencia a la capacidad de aprender idiomas.
Habla: María RibesSignificado #2 · Palabras #2redes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socasredes neuronales modernas aprenden idiomascapacidades de chatgpt en aprendizaje de idiomasinglés como lengua 1 de chatgpt…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el inglés porque se dice siempre de broma que Chao GPT su lengua madre su lengua 1 es el inglés y a partir de ahí ha aprendido todas las demás lenguas entonces quiere hacer ese experimento de que no vaya aprendiendo otra ya sabiendo inglés sino que aprenda una lengua cualquiera sin haber aprendido otra natural antes solamente con esos códigos matemáticos, que sería, conforme lo que…
Francis Villatoro explica cómo el sistema límbico interactúa con el sistema cognitivo y cómo las redes neuronales artificiales imitan los sistemas cognitivos humanos, pero no los emocionales.
Habla: Francis VillatoroSignificado #18sistema límbico e interacción cognitivaredes neuronales artificiales sistemas cognitivossimulación emocional en redes neuronalesnovela y emociones del lector…en cognitivo algo que no es cognitivo. Es decir, no es verdad que las emociones dependan de minimizar ciertas funciones de recompensa; eso no es verdad. Así no funciona nuestro cuerpo. Nosotros tenemos un sistema, los sistemas emocionales en nuestro cuerpo. Como el sistema límbico, que no tienen nada que ver con el sistema cognitivo y que interaccionan con el sistema cognitivo y que controlan ciertos elementos del sistema cognitivo, pero no están controlados cognitivamente. Es decir, las redes de neuronas artificiales utilizan un mecanismo inspirado en los sistemas cognitivos. Por lo tanto, no tienen mecanismos que modelan los sistemas emocionales; pueden simular las emociones igual que se simulan las emociones en una novela. Pero eso no es emocional. Cuando tú lees la novela, tú recibes emociones. Pero tus emociones no son emociones simuladas como las que están en la novela: lo que puede simular la red neuronal, es mi opinión, son ese tipo de cosas. Si queremos que los sistemas de cognición artificial tengan emociones, tenemos que dotarlos de sistemas emocionales. Si no, siempre van a tener emociones simuladas. Porque nosotros, humanos, tenemos dos sistemas perfectamente separados. Están imbricados en…