Búsqueda · 23 momentos en 11 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespotokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteraciónGastónHéctor SocasGoogleLuisa AchaerandioMetaAutomóvilAutomovilísticoOpenAICoffee Break: Señal y Ruidoepisodio 549
Tokens como idioma interno
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica cómo los modelos de lenguaje procesan el lenguaje humano, transformándolo en 'tokens' para su procesamiento interno y luego volviendo a traducirlo al idioma original.
…supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Significado #1 · Palabras #1
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
Habla: Héctor SocasSignificado #3pre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabratokenización de texto googleconjunto público de tokens metaespacio vectorial de tokens…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Héctor Socas explica cómo los modelos de lenguaje procesan el lenguaje humano, transformándolo en 'tokens' para su procesamiento interno y luego volviendo a traducirlo al idioma original.
Habla: Héctor SocasSignificado #1 · Palabras #1tokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Luisa Achaerandio explica la definición de 'token' como unidad mínima de texto necesaria para que un ordenador procese e interprete información escrita y comprenda sus relaciones sintácticas y semánticas.
Habla: Luisa AchaerandioSignificado #2redes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee breaktoken unidad mínima de textolexemas y morfemas en tokenperro como ejemplo de tokenel perro come tres tokensrelaciones semánticas y sintácticas tokenprocesamiento de texto por ordenadorlexemas morfemas como bloques…están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que cuantificar lo que está escrito para que el ordenador lo pueda procesar e interpretar y conocer las relaciones tanto sintásticas como semánticas que tiene ese concepto, por así decirlo, pues tú llamas a una unidad mínima de texto, que por ejemplo, si hablamos de la palabra inteligencia, pues puedes dividirla en dos lexemas, o sea, el concepto de lexema, de morfema, y a eso se le denomina, digamos, token. Entonces, por ejemplo, perro puede ser un token, pero el perro come, pues pueden ser tres tokens, ¿no? Por así decirlo. O sea, el perro es una palabra, pero el perro come, pues puede tener o tres tokens o cuatro tokens, depende de lo que se considere. Es lo que toque, efectivamente, lo que toque. Pero es ese concepto, ¿no? Es la unidad mínima de texto para poder ser procesada y comprender, pues, sus relaciones semánticas y sintásticas para poder cuantificarlo posteriormente, ¿no? Y ser interpretado por un ordenador. Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos…