Búsqueda · 24 momentos en 15 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socassesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribesgramática concepto clave chomskyrepresentación simbólica informáticaalfabeto símbolos reglas lenguajepalabras combinaciones símbolos válidosredes neuronales convolución imágenesrepresentación neuronal caja negrasímbolos representados en imágenes aprendidasmodelos de lenguaje como imágenestokens generados a partir de imágenesfrancis villatoro y representación visualFrancis VillatoroNoam ChomskyChatGPTMaría RibesGeorge Turing
Símbolos representados en imágenes aprendidas
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica la diferencia entre representación simbólica y neuronal en redes neuronales, describiendo esta última como una 'caja negra' donde los símbolos se representan a través de imágenes aprendidas.
…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática llamamos un concepto clave de Chomsky: el concepto de gramática; tienes un alfabeto con una serie de símbolos y tienes un conjunto de reglas que te permiten conectar esos símbolos para hacer palabras, es decir, combinaciones de símbolos que son válidas. El lenguaje consiste en un conjunto de reglas que te dicen cómo puedes combinar los símbolos del alfabeto para obtener palabras válidas. Eso es la representación simbólica, la representación. Conexionista o representación neuronal es una representación de caja negra. Tú tienes un embedding, tienes una representación de los símbolos en forma de unos objetos que son objetos abstractos. Hoy en día, en redes neuronales, básicamente de convolución, son siempre imágenes. Yo tengo una imagen que representa información y nadie sabe cómo los símbolos se representan en esa imagen porque es una imagen aprendida. En el proceso de aprendizaje se aprenden las imágenes que representan de manera efectiva los símbolos y las relaciones entre símbolos. Entonces yo trabajo con esas. Imágenes y obtengo soluciones al problema que yo quiera, como en el caso de los modelos de lenguaje: pues generar el siguiente token para una registra de token. Básicamente yo represento la entrada en una serie de imágenes y genero nuevas imágenes y esas imágenes las transformo en un nuevo token y voy trabajando entonces en ese tipo de representación. No existe una representación simbólica; es decir, no existe. Un lugar donde yo pueda decir: voy a encontrar la palabra gato. Voy a encontrar la palabra perro. Lo que yo puedo, claro, yo veo el interior del algoritmo y en ciertos momentos puedo decir: pues cuando le diré como la entrada al token de la palabra gato…
Significado #1 · Palabras #1
Francis Villatoro explica la diferencia entre representación simbólica y neuronal en redes neuronales, describiendo esta última como una 'caja negra' donde los símbolos se representan a través de imágenes aprendidas.
Habla: Francis VillatoroSignificado #1 · Palabras #1sesgos inductivos estructuradosredes neuronales flexibilidad representacionalaprendizaje de idiomas modelos híbridoslenguaje formal sesgo cognitivo ribesgramática concepto clave chomskyrepresentación simbólica informáticaalfabeto símbolos reglas lenguajepalabras combinaciones símbolos válidosredes neuronales convolución imágenesrepresentación neuronal caja negrasímbolos representados en imágenes aprendidasmodelos de lenguaje como imágenestokens generados a partir de imágenesfrancis villatoro y representación visual…que crean las tareas estudiando esos lenguajes formales bayesianos en la red neuronal para que sea capaz de adquirir la lengua inglesa. Y aquí nos dice: he apuntado una cosa porque sabía que no me iba a acordar, y eso es para que vosotros lo expliquéis. Un modelo híbrido entre simbolismo y conexionismo, o sea que combina los sesgos inductivos explícitos estructurados de los modelos simbólicos bayesianos y luego la flexibilidad representacional de las redes neuronales; y eso, os voy a dejar que lo explique, no me callo, pero es que me acuerdo de otra frase que dice que es importante para poder aprender, para que adquiera la lengua, desligar lo que es la representación del lenguaje formal del sesgo cognitivo. Es decir, no solo que entienda lo que dice, sino cómo lo dices, cómo poder expresarlo. No sé si me explico. A ver si encuentro esa frase. Y ahora os dejo que lo expliquéis. A ver... En las representaciones simbólicas se trabaja con lo que en informática llamamos un concepto clave de Chomsky: el concepto de gramática; tienes un alfabeto con una serie de símbolos y tienes un conjunto de reglas que te permiten conectar esos símbolos para hacer palabras, es decir, combinaciones de símbolos que son válidas. El lenguaje consiste en un conjunto de reglas que te dicen cómo puedes combinar los símbolos del alfabeto para obtener palabras válidas. Eso es la representación simbólica, la representación. Conexionista o representación neuronal es una representación de caja negra. Tú tienes un embedding, tienes una representación de los símbolos en forma de unos objetos que son objetos abstractos. Hoy en día, en redes neuronales, básicamente de convolución, son siempre imágenes. Yo tengo una imagen que representa información y nadie sabe cómo los símbolos se representan en esa imagen porque es una imagen aprendida. En el proceso de aprendizaje se aprenden las imágenes que representan de manera efectiva los símbolos y las relaciones entre símbolos. Entonces yo trabajo con esas. Imágenes y obtengo soluciones al problema que yo quiera, como en el caso de los modelos de lenguaje: pues generar el siguiente token para una registra de token. Básicamente yo represento la entrada en una serie de imágenes y genero nuevas imágenes y esas imágenes las transformo en un nuevo token y voy trabajando entonces en ese tipo de representación. No existe una representación simbólica; es decir, no existe. Un lugar donde yo pueda decir: voy a encontrar la palabra gato. Voy a encontrar la palabra perro. Lo que yo puedo, claro, yo veo el interior del algoritmo y en ciertos momentos puedo decir: pues cuando le diré como la entrada al token de la palabra gato…
Francis Villatoro explica que es difícil afirmar que una imagen representa directamente una palabra como 'gato', describiéndola como ruido y contrastando enfoques de representación simbólica y neuronal.
Habla: Francis VillatoroSignificado #8 · Palabras #5imagen representa palabra gatoruido en representación neuronalgramáticas generales chomsky máquinas turingtesis george turing algoritmos genéricos…y en ciertos momentos puedo decir: pues cuando le diré como la entrada al token de la palabra gato "Cat", pues apareció esta imagen. Yo que sea, en la representación de la atención, la imagen asociada a la atención. Pero, ¿dónde está ahí la palabra gato? O sea, no es fácil decir: Toda la imagen representa la palabra gato. Es una imagen que parece ruido. Son dos enfoques muy diferentes. Ambos son enfoques que se puede demostrar que son completos a nivel de cómputo; es decir, todo lo calculable, todo lo expresable en un lenguaje se puede obtener tanto en la representación simbólica, básicamente es equivalente a un algoritmo de tipo Turing, etc. Las gramáticas generales de Chomsky son tan generales que son equivalentes por la tesis de George Turing a cualquier máquina de Turing, a cualquier algoritmo genérico. Pero las redes neuronales también, con las redes neuronales, siempre Y cuando tengan más de una capa ya se puede demostrar que pueden representar de manera arbitraria cualquier función. Es una demostración clásica. Por lo tanto, son dos sistemas formalmente equivalentes en el sentido de que su poder de cómputo es exactamente…
María Ribes comenta sobre una frase encontrada que explica la necesidad de separar las representaciones de los sesgos inductivos para el aprendizaje rápido en lenguas reales, relacionándolo con cómo los humanos aprenden y generalizan.
Habla: María RibesPalabras #11sesgos inductivos para aprendizaje rápidorepresentaciones separadas en lenguas realesaprendizaje de patrones y representacionescodificación de frases en redes neuronalesgeneralización humana guiada por intuiciones…puedo obtener para las mismas entradas las mismas salidas, pero no tengo una manera sencilla de conectarlos. Al menos ahora mismo no sabemos cómo hacer esa conexión y esa representación sin ver la entrada y la salida; no sé realmente qué está pasando dentro. Eso es, he encontrado la frase; dice literalmente nosotros sostenemos que para explicar el aprendizaje rápido a partir de los datos naturales de las lenguas reales, es necesario separar las representaciones de los sesgos inductivos, o sea que no solamente tiene que aprender patrones, sino esas representaciones, lo que estabas explicando, cómo se codifica una frase, un concepto en la red, separado de las intuiciones previas que guían ese aprendizaje y la generalización, que es lo que hacemos los humanos; y eso es lo que querían enseñarle a la red. Neuronal, generalización léxica, hablando de perro. Enseño a un pequeño, a un niño: mira, aparece, no sé, un labrador; le digo perro, un perro, pero luego ve un, bueno un chihuahua quizás, no, mi guagua quizás diga ratón, pero luego ve un golden retriever y…