Búsqueda · 27 momentos en 13 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasembeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socasHéctor SocasFrancis VillatoroChatGPTCatMetaLearningMaría RibesGPT-3.5MAML
Tokenización de conceptos en modelos
Con
0:000:301:001:302:002:303:003:33
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
…una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…
Significado #1 · Palabras #1
Francis Villatoro describe su enfoque para resolver problemas utilizando imágenes, ejemplificando con modelos de lenguaje donde la entrada se representa como una serie de imágenes que luego se transforman en tokens.
Habla: Francis VillatoroSignificado #4modelos de lenguaje como imágenestokens generados a partir de imágenesfrancis villatoro y representación visualtokens y representaciones visuales gatorelación entrada token palabra gatoimagen generada algoritmo palabra perroatención imagen asociada a cat…y nadie sabe cómo los símbolos se representan en esa imagen porque es una imagen aprendida. En el proceso de aprendizaje se aprenden las imágenes que representan de manera efectiva los símbolos y las relaciones entre símbolos. Entonces yo trabajo con esas. Imágenes y obtengo soluciones al problema que yo quiera, como en el caso de los modelos de lenguaje: pues generar el siguiente token para una registra de token. Básicamente yo represento la entrada en una serie de imágenes y genero nuevas imágenes y esas imágenes las transformo en un nuevo token y voy trabajando entonces en ese tipo de representación. No existe una representación simbólica; es decir, no existe. Un lugar donde yo pueda decir: voy a encontrar la palabra gato. Voy a encontrar la palabra perro. Lo que yo puedo, claro, yo veo el interior del algoritmo y en ciertos momentos puedo decir: pues cuando le diré como la entrada al token de la palabra gato "Cat", pues apareció esta imagen. Yo que sea, en la representación de la atención, la imagen asociada a la atención. Pero, ¿dónde está ahí la palabra gato? O sea, no es fácil decir: Toda la imagen representa la palabra gato. Es una imagen que parece ruido. Son dos enfoques muy diferentes. Ambos son enfoques que se puede demostrar que son completos a nivel de cómputo; es decir, todo lo calculable, todo lo…
María Ribes expresa su asombro ante la cantidad masiva de tokens utilizados en el entrenamiento de modelos como GPT-3.5, anticipando que los nuevos modelos superarán esa cifra y comentando sobre un modelo agnóstico de MetaLearning.
Habla: María RibesSignificado #15tokens en entrenamiento gpt3 5modelo agnóstico de metalearningsesgos inductivos con datos…fue esto: el MAML. Depende a lo que te refieras con datos, porque si son cosas como tokens, o sea, los GPT, el antiguo, o sea, del último que dieron publicación total, creo que fue el 3.0; no sé, el 3.5, eran billones los conjuntos de entrenamiento de tokens. Es increíble. Y los nuevos, claro, serán muchísimo más, evidentemente. Pero de eso no han dado toda la información detallada. Que lo consigue con este sistema, que es un modelo para que aprenda tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de…
Francis Villatoro continúa explicando el concepto de modelos agnósticos en relación con algoritmos de aprendizaje, específicamente refiriéndose al modelo MAML (MetaLearning) y su objetivo de minimizar la información utilizada para evitar mínimos locales.
Habla: Francis VillatoroPalabras #15modelo maml minimiza informaciónagnosticismo respecto al modelo mamlmínimos locales en aprendizaje maml…locales. Entonces ahí tienes que aplicar un modelo. Ese es el modelo que se aplica. Entonces se han propuesto diferentes modificaciones de este tipo de algoritmos que evitan estos mínimos locales y que utilizan ciertos modelos. Y el modelo agnóstico, el MAML era una de las propuestas que trataba de ser lo más agnóstica posible respecto al modelo. Es decir, usar la menor información posible respecto a cómo yo espero que sea el paisaje para evitar esos mínimos locales y converger, pero tendría que volver a repasarme la matemática porque eso lo mide yo hace siglos y ya no me acuerdo de los detalles técnicos de cómo exactamente lo evitaban. Yo creo que nos lo has explicado muy bien; creo que nos lo has explicado muy bien. Me he encontrado los autores que os decía: el trabajo es de Yang y Piantadosi, y es de 2022, en el que ellos se basaban. Así que pues yo lo he entendido mejor ahora. Bueno, no…
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
Habla: Héctor SocasSignificado #1 · Palabras #1embeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socas…una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…