Búsqueda · 29 momentos en 16 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabratokenización de texto googleconjunto público de tokens metaespacio vectorial de tokensGoogleMetaLuisa AchaerandioFrancis VillatoroDoomID SoftwareHéctor SocasGastónOpenAICoffee Break: Señal y Ruidoepisodio 549AutomóvilAutomovilísticoWikipediaRevolución FrancesaMovimientos 37
Tokenización de texto Google
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Significado #1 · Palabras #1
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
Habla: Héctor SocasSignificado #1 · Palabras #1pre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabratokenización de texto googleconjunto público de tokens metaespacio vectorial de tokens…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Héctor Socas explica cómo los modelos de lenguaje procesan el lenguaje humano, transformándolo en 'tokens' para su procesamiento interno y luego volviendo a traducirlo al idioma original.
Habla: Héctor SocasSignificado #4tokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Luisa Achaerandio explica la definición de 'token' como unidad mínima de texto necesaria para que un ordenador procese e interprete información escrita y comprenda sus relaciones sintácticas y semánticas.
Habla: Luisa AchaerandioSignificado #2redes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee breaktoken unidad mínima de textolexemas y morfemas en tokenperro como ejemplo de tokenel perro come tres tokensrelaciones semánticas y sintácticas tokenprocesamiento de texto por ordenadorlexemas morfemas como bloques…están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que cuantificar lo que está escrito para que el ordenador lo pueda procesar e interpretar y conocer las relaciones tanto sintásticas como semánticas que tiene ese concepto, por así decirlo, pues tú llamas a una unidad mínima de texto, que por ejemplo, si hablamos de la palabra inteligencia, pues puedes dividirla en dos lexemas, o sea, el concepto de lexema, de morfema, y a eso se le denomina, digamos, token. Entonces, por ejemplo, perro puede ser un token, pero el perro come, pues pueden ser tres tokens, ¿no? Por así decirlo. O sea, el perro es una palabra, pero el perro come, pues puede tener o tres tokens o cuatro tokens, depende de lo que se considere. Es lo que toque, efectivamente, lo que toque. Pero es ese concepto, ¿no? Es la unidad mínima de texto para poder ser procesada y comprender, pues, sus relaciones semánticas y sintásticas para poder cuantificarlo posteriormente, ¿no? Y ser interpretado por un ordenador. Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasSignificado #17 · Palabras #17google wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipedia…a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha…
Héctor Socas aclara que la imagen de Doom mostrada no representa lo que realmente ven las neuronas, sino una versión simplificada del juego original.
Habla: Héctor SocasPalabras #2doom y id software en 1997código fuente de doom liberadogoogle para verificar datos…tú haces con el procesador este, en realidad el procesador ve un juego extremadamente simplificado, ve como una especie de esencia del Doom que consiste en disparar y moverme para izquierda y para la derecha casi aleatoriamente a ver cuánto mato. Pero si está tokenizado, o sea, entonces, voy a decir un par de cosas, Francis lo mencionó, hay una pantallita en la que se ve el Doom, pero eso no es lo que están viendo las neuronas, las neuronas no están viendo la imagen, esto, para empezar, no es el Doom, Doom, sino es una versión que, o sea, el ID Software, que es la empresa que lo creó, liberó el código fuente en 1997, pero, este dato lo miré hace poco, lo busqué en Google, no se lo pregunté un LLM, así que no es una alucinación El código está liberado pero los monstruitos, los demonios, las musiquitas todo eso no; todo eso tiene copyright entonces está hecho con un mod de esos que hace la gente y hay uno que es como muy estándar para hacer benchmarks entonces no es el Doom al que…