Búsqueda · 24 momentos en 16 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespotokenización de texto googleconjunto público de tokens metaespacio vectorial de tokensGoogleMetaLuisa AchaerandioHéctor SocasGastónOpenAICoffee Break: Señal y Ruidoepisodio 549
Conjunto público de tokens Meta
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
…fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Significado #1 · Palabras #1
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
Habla: Héctor SocasSignificado #1 · Palabras #1tokenización de texto googleconjunto público de tokens metaespacio vectorial de tokens…fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Héctor Socas explica cómo funciona el pre-entrenamiento en modelos de lenguaje, describiendo el proceso como una predicción de tokens futuros basada en una distribución de probabilidad derivada de millones de textos.
Habla: Héctor SocasSignificado #12 · Palabras #3tokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Luisa Achaerandio explica cómo el concepto de 'token' define la unidad mínima de texto procesada por un ordenador para comprender sus relaciones semánticas y sintácticas.
Habla: Luisa AchaerandioSignificado #2 · Palabras #16redes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee breaktoken unidad mínima de textolexemas y morfemas en tokenperro como ejemplo de tokenel perro come tres tokensrelaciones semánticas y sintácticas tokenprocesamiento de texto por ordenadorlexemas morfemas como bloques…están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que cuantificar lo que está escrito para que el ordenador lo pueda procesar e interpretar y conocer las relaciones tanto sintásticas como semánticas que tiene ese concepto, por así decirlo, pues tú llamas a una unidad mínima de texto, que por ejemplo, si hablamos de la palabra inteligencia, pues puedes dividirla en dos lexemas, o sea, el concepto de lexema, de morfema, y a eso se le denomina, digamos, token. Entonces, por ejemplo, perro puede ser un token, pero el perro come, pues pueden ser tres tokens, ¿no? Por así decirlo. O sea, el perro es una palabra, pero el perro come, pues puede tener o tres tokens o cuatro tokens, depende de lo que se considere. Es lo que toque, efectivamente, lo que toque. Pero es ese concepto, ¿no? Es la unidad mínima de texto para poder ser procesada y comprender, pues, sus relaciones semánticas y sintásticas para poder cuantificarlo posteriormente, ¿no? Y ser interpretado por un ordenador. Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos…