Búsqueda · 27 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socassesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribesMaría RibesGastón GiribetFrancis VillatoroChildesChatGPT
Sesgos cognitivos en Redes Neuronales
Con
0:000:301:001:302:002:303:003:33
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
Significado #1 · Palabras #1
María Ribes explica cómo una red neuronal realiza deducciones y crea sesgos, comparándolo con la forma en que un niño interpreta frases y detecta errores gramaticales.
Habla: María RibesSignificado #2 · Palabras #2red neuronal saca deduccionessesgos cognitivos fuertes priorsniño interpreta frases y errores gramaticalesmaria ribes explica sesgos neuronalesredes neuronales aprenden reglas gastón giribetcorpus child s inglés infantilsesgos cognitivos bayesianos en red neuronalaprendizaje de lengua natural corpus child s…comiendo? El niño, el niño te pregunta quién está comiendo, el niño no va a decir está comiendo quién y nadie se lo ha explicado. Ochomsky en sus libros hablaba: el hombre es, bueno la frase está en inglés. ¿Es el hombre alto el que está en la habitación? Entonces tú puedes decir que el niño puede interpretar que la pregunta empieza con es, o sea, diciendo solamente es. Pero si le dices: es el hombre que alto está en la habitación, dice no, ahí algo está mal, y no sabe por qué. Pues eso es lo que hace esta red neuronal, saca esas deducciones y crea esos los sesgos; yo lo llamo sesgos cognitivos fuertes que son los priors, la distribución a priori bayesiana. Entonces aprende con estos lenguajes formales, la red de la Oral aprende las reglas, como Gastón con sus cartas. Me ha venido de vicio este ejemplo. A-B-A-B, pues vale, pues A-B-A-B, pero B-A-B-A, entonces cuando pregunto tengo que darle la vuelta, no quiero entretenerme dando ejemplos lingüísticos. ¿Y qué hacen? Lo más cool, lo más guay es que al final usan los datos naturalísticos que dicen ellos; datos naturales han cogido el corpus, el child's, que es el corpus del inglés infantil, el corpus de expresiones, vocabulario, sintaxis, gramática de los niños: lo que dicen los niños es lo que dicen los padres y se lo han metido a esta red neuronal para ver si aprende inglés. Entonces el objetivo es que con esos sesgos cognitivos, metiendo esos sesgos cognitivos bayesianos, que esta red neuronal sea capaz de aprender una lengua natural, una lengua real, cuando se la introduces sacando sus propias deducciones sin que yo le enseñe. Me explico entonces, a mí me parece muy interesante. A ver, también explican ellos insisten mucho en que no pretenden llegar a explicar cómo se está este proceso de adquisición humano. No lo pretenden llegar a explicar ni lo explican, pero sí intentar…
María Ribes comenta sobre un artículo que describe mejoras significativas en modelos de lenguaje, logradas con una cantidad reducida de datos. Estos avances se consideran un primer paso para comprender el proceso cognitivo humano y cómo las redes neuronales realizan deducciones similares a las de los niños.
Habla: María RibesSignificado #9 · Palabras #9modelo lenguaje con datos reducidosproceso cognitivo humano modelos lenguajeredes neuronales deducciones infantilesmaría ribes artículo adquisición…llegar a explicar ni lo explican, pero sí intentar emularlo, dándoles pocos datos para que lo infieran con esos lenguajes matemáticos y después que pueda aprender a adquirir ella sola la lengua natural. Y la verdad es que los resultados son muy buenos. No sé si habéis llegado a leer el artículo, pero los resultados son de una gran mejora y sobre todo con muchísimos menos datos. Entonces sería una primera manera, como estos autores estudian el proceso cognitivo humano, sería como un primer paso para emular o comprender cómo es ese proceso de adquisición, cómo esa red neuronal está haciendo esas deducciones que hacemos los niños humanos y, a ver, había puesto aquí Ese que hacemos los niños. Humanos es como los cheroquis de Gastón, una primera persona del plural que incluye o que excluye al hablante. Es que da igual, porque tú puedes decir lo que os decía antes: todos decimos lo mismo, nosotros pero todos nosotros. Os voy a contar una cosa: en…
María Ribes explica cómo el concepto de 'la madre del cordero' representa la destilación de sesgos cognitivos en redes neuronales formales bayesianas, utilizadas para adquirir el idioma inglés.
Habla: María RibesSignificado #1 · Palabras #1sesgos cognitivos en redes neuronalesadquisición de la lengua inglesared neuronal destila sesgos ribessesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribes…tanto sobrino como primo que es nef para ellos esta palabra significa hijo de hermano pero puede ser hermano mío o hermano de mi padre, sin embargo siguen viviendo sin esa palabra o no tienen subjuntivo y siguen viviendo y nosotros no tenemos esas partículas. Entonces, lo que la madre del cordero es la destilación de todos esos sesgos cognitivos que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesSignificado #11sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…
María Ribes explica que un 'sesgo' lingüístico puede ser positivo, ayudando a predecir y permitiendo la comunicación entre personas.
Habla: María RibesPalabras #13sesgo lingüístico positivo ribescorpus natural childes sesgodistribución a priori humanossesgo cognitivo predicción ribes…también en lingüística hablamos de sintético en el sentido de que aglutina, ¿no? Y de que va formando clusters, o sea que se refiere a ese concepto, ya está. Y ya está, son 25.000 lenguajes formales creados con métodos bayesianos, los que le dieron a la red. Y después el corpus natural, el Childes y destiló todo ese sesgo, que la palabra sesgo está negativa, pero en este caso es buena. Este es un sesgo lingüístico bueno porque es un sesgo cognitivo que te ayuda a predecir; es esa distribución a priori que es cómo los humanos somos capaces de hablar. Que ahora mismo yo estoy aquí emitiendo unos sonidos y vosotros los estáis recibiendo, los descodificáis y volvéis a producir otros y yo los vuelvo a comprender. pues también habla, una cosa que yo os quería preguntar: como científicos soberbios, habla del MAML, el modelo agnóstico de MetaLearning que yo no le había oído esto nunca. Lo llama MAML, es que este, he olvidado decir que este artículo se basa en un trabajo…
Francis Villatoro explica cómo el sistema límbico interactúa con el sistema cognitivo y cómo las redes neuronales artificiales imitan los sistemas cognitivos humanos, pero no los emocionales.
Habla: Francis VillatoroSignificado #6 · Palabras #5emociones sesgadas por experiencias culturalesconstructos cognitivos según francis villatorosistema emocional del cuerpo humanosistema límbico e interacción cognitivaredes neuronales artificiales sistemas cognitivossimulación emocional en redes neuronalesnovela y emociones del lector…de la misma forma y que en un futuro, dada la suficiente complejidad, ¿por qué no pueden ser análogas a emociones? No veo ninguna diferencia esencial. Y ya está, opinión impopular y con la asegura que nadie va a estar de acuerdo, pero la defenderé. En mi opinión, claro, es que el problema que tenemos los humanos es que estamos demasiado sesgados por las emociones a concebir las emociones como constructos cognitivos. Leemos novelas, vemos películas, escuchamos música, interaccionamos con otros humanos, convirtiendo en cognitivo algo que no es cognitivo. Es decir, no es verdad que las emociones dependan de minimizar ciertas funciones de recompensa; eso no es verdad. Así no funciona nuestro cuerpo. Nosotros tenemos un sistema, los sistemas emocionales en nuestro cuerpo. Como el sistema límbico, que no tienen nada que ver con el sistema cognitivo y que interaccionan con el sistema cognitivo y que controlan ciertos elementos del sistema cognitivo, pero no están controlados cognitivamente. Es decir, las redes de neuronas artificiales utilizan un mecanismo inspirado en los sistemas cognitivos. Por lo tanto, no tienen mecanismos que modelan los sistemas emocionales; pueden simular las emociones igual que se simulan las emociones en una novela. Pero eso no es emocional. Cuando tú lees la novela, tú recibes emociones. Pero tus emociones no son emociones simuladas como las que están en la novela: lo que puede simular la red neuronal, es mi opinión, son ese tipo de cosas. Si queremos que los sistemas de cognición artificial tengan emociones, tenemos que dotarlos de sistemas emocionales. Si no, siempre van a tener emociones simuladas. Porque nosotros, humanos, tenemos dos sistemas perfectamente separados. Están imbricados en…