Búsqueda · 33 momentos en 14 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasmodelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisiciónMaría RibesFrancis VillatoroNature CommunicationsHéctor SocasThomas McCoyInstituto WoodsideThomas GriffithsUniversidad de PrincetonLaboratorio de Ciencia Cognitiva y Computacional
Modelos Inteligencia Artificial procesos cognitivos
Con
0:000:301:001:302:002:303:003:33
María Ribes comenta sobre un artículo que describe mejoras significativas en modelos de lenguaje, logradas con una cantidad reducida de datos. Estos avances se consideran un primer paso para comprender el proceso cognitivo humano y cómo las redes neuronales realizan deducciones similares a las de los niños.
…llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
Significado #1 · Palabras #19
María Ribes explica cómo ha elegido un artículo sobre aprendizaje rápido del lenguaje para analizar, destacando su relación con la inteligencia artificial y el procesamiento del lenguaje natural, áreas de interés para ella.
Habla: María RibesPalabras #5aprendizaje rápido del lenguajedestilación de priores bayesianasprocesamiento del lenguaje natural maria ribespublicación en nature communications…a priori, pero eso lo tendréis que confirmar o corregir, Francis y Héctor. Decís prior, un prior bayesiano, un prior, sí hay muchas cosas que no se traducen, yo suelo decir distribución a priori. Sí, puedes decir los a priori. Los a priori. Bueno, entonces es modelado del aprendizaje rápido del lenguaje mediante la destilación de priores o distribuciones a priori bayesianas en redes neuronales artificiales. Y ha sido un poco complicado de leer y lo he elegido porque tiene que ver con la IA, con los modelos de lenguaje, con el procesamiento del lenguaje natural, que es lo que a mí me interesa, lo que yo estudio. Y también publicado en Nature, Nature Communications, ¿vale? No el Nature Nature, pero tampoco está mal, ¿verdad? Todo bueno esta semana, ¿eh? Salió en mayo; en realidad el artículo es del año pasado, pero enviado, submitted y aceptado y publicado en mayo. Y los autores, creo que deberíamos hablar un poquillo de los autores, como ha dicho Héctor. Tomás y Tomás, Tom y Tom son Thomas McCoy, The Real…
María Ribes introduce el Baby LLM Challenge y explica que el artículo analizado trata sobre cómo grandes modelos de lenguaje imitan la adquisición del lenguaje humano. Menciona a Thomas McCoy, director del Instituto Woodside, y a Thomas Griffiths, profesor en la Universidad de Princeton.
Habla: María RibesPalabras #15baby llm challenge imitación humanathomas mccoy instituto woodsidelaboratorio ciencia cognitiva computacional princeton…ese episodio, pues ya nunca lo hace bien, como yo que me perdí el de izquierda y derecha. Y no he conseguido arreglarlo, Borja tampoco, ¿eh? Sí, y tiene implicaciones muy peligrosas en mi caso. Bueno, entonces, lo que quiere este artículo, ¿os acordáis que hablamos aquí en Coffee Break del Baby LLM Challenge? Que era entrenar grandes modelos de lenguaje con poquitos datos para imitar la adquisición de los humanos, ¿no? Pues esto es de lo que trata este artículo y lo que estudia el Thomas McCoy, dirige el Instituto Woodside, es precisamente eso, cómo funciona la cognición humana y Griffiths, él está en el departamento de Psicología y Ciencias de la Computación de la Universidad de Princeton o sea que él tiene doble grado en Psicología y en Ciencias de la Computación entonces él dirige el laboratorio de allí de Princeton que se llama Laboratorio de Ciencia Cognitiva y Computacional no solo eso sino también el Laboratorio de Inteligencia Artificial de Princeton y él lo que trabaja es la ciencia cognitiva computacional Perdón María, la otra vez que conté una anécdota sobre que me sometí a un experimento dentro de un resonador, era en su laboratorio de hecho ¿En serio? Guau, ¿y te tocó él? No, no, mi amigo Greg Duke, que era su postdoc. No, no, conforme lo, perdón, no digáis nada, conforme lo decía lo he sentido, que no era el lugar para decir esta expresión, fue él quien trabajó contigo. Yo fui solamente un cobayo, yo no…
María Ribes explica cómo una red neuronal realiza deducciones y crea sesgos, comparándolo con la forma en que un niño interpreta frases y detecta errores gramaticales.
Habla: María RibesSignificado #10red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronales…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo…
María Ribes comenta sobre un artículo que describe mejoras significativas en modelos de lenguaje, logradas con una cantidad reducida de datos. Estos avances se consideran un primer paso para comprender el proceso cognitivo humano y cómo las redes neuronales realizan deducciones similares a las de los niños.
Habla: María RibesSignificado #1 · Palabras #19modelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisición…llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesSignificado #4sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique,…
Héctor Socas continúa reflexionando sobre la capacidad de los grandes modelos de lenguaje para aprender, comparándolos con las redes neuronales y destacando su potencial como una vía prometedora para el aprendizaje general.
Habla: Héctor SocasSignificado #12redes neuronales y modelos lenguajeaprendizaje general con modelos lenguaje…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender,…
Francis Villatoro reflexiona sobre el potencial de las inteligencias artificiales para analizar grandes cantidades de datos escritos y establecer relaciones entre lenguas, superando las limitaciones cognitivas humanas.
Habla: Francis VillatoroPalabras #8inteligencia artificial relaciones filogenéticaslimitaciones cognitivas humanas lenguasinferencia a lo largo del tiempo inteligencia artificialanálisis de datos escritos francis villatoro…las relaciones que tienen, la lingüística histórica. El problema es si esas lenguas, si solo tienes una escritura y no sabes qué lengua hay ahí debajo, no tienes con qué compararlo porque una escritura con otra no tiene relación; ¿sabes lo que quiero decir? Bueno, no lo sé, yo lo que imagino es que en algún momento una inteligencia artificial conocerá todo lo escrito y todo lo conocido y podrá generar relaciones de inferencia a lo largo del tiempo y relaciones filogenéticas entre las lenguas que ningún humano es capaz de ver porque los humanos tenemos la posibilidad de enfocarnos solamente en siete cosas y estamos muy limitados a la hora de ver a gran escala y quizás una inteligencia artificial pueda hacer cosas que ahora mismo nos parecen imposibles con muy poco dato. Otra cosa es lo creíble que sean los resultados, pero lo mismo al final resulta que montan una película, un guión de película que es coherente con lo que sabemos de la historia, y entonces decimos: bueno pues parece coherente porque con el boinich no, porque…
Francis Villatoro explica cómo el sistema límbico interactúa con el sistema cognitivo y cómo las redes neuronales artificiales imitan los sistemas cognitivos humanos, pero no los emocionales.
Habla: Francis VillatoroSignificado #13 · Palabras #3sistema límbico e interacción cognitivaredes neuronales artificiales sistemas cognitivossimulación emocional en redes neuronalesnovela y emociones del lector…en cognitivo algo que no es cognitivo. Es decir, no es verdad que las emociones dependan de minimizar ciertas funciones de recompensa; eso no es verdad. Así no funciona nuestro cuerpo. Nosotros tenemos un sistema, los sistemas emocionales en nuestro cuerpo. Como el sistema límbico, que no tienen nada que ver con el sistema cognitivo y que interaccionan con el sistema cognitivo y que controlan ciertos elementos del sistema cognitivo, pero no están controlados cognitivamente. Es decir, las redes de neuronas artificiales utilizan un mecanismo inspirado en los sistemas cognitivos. Por lo tanto, no tienen mecanismos que modelan los sistemas emocionales; pueden simular las emociones igual que se simulan las emociones en una novela. Pero eso no es emocional. Cuando tú lees la novela, tú recibes emociones. Pero tus emociones no son emociones simuladas como las que están en la novela: lo que puede simular la red neuronal, es mi opinión, son ese tipo de cosas. Si queremos que los sistemas de cognición artificial tengan emociones, tenemos que dotarlos de sistemas emocionales. Si no, siempre van a tener emociones simuladas. Porque nosotros, humanos, tenemos dos sistemas perfectamente separados. Están imbricados en…