Búsqueda · 18 momentos en 9 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabratokenización de texto googleconjunto público de tokens metaespacio vectorial de tokensespacio multidimensional arbitrariobase de datos vectorial gastón giribetrango de vectorestokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteraciónAutomóvilAutomovilísticoHéctor SocasGoogleMetaLuisa AchaerandioGastón GiribetGastónOpenAICoffee Break: Señal y Ruidoepisodio 549campo de Shear
Espacio vectorial de tokens
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el proceso de pre-entrenamiento en modelos de lenguaje, simplificándolo como la predicción de la siguiente palabra a partir de las anteriores.
…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Significado #3 · Palabras #1
Héctor Socas explica el proceso de pre-entrenamiento en modelos de lenguaje, simplificándolo como la predicción de la siguiente palabra a partir de las anteriores.
Habla: Héctor SocasSignificado #3 · Palabras #1pre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabratokenización de texto googleconjunto público de tokens metaespacio vectorial de tokensespacio multidimensional arbitrariobase de datos vectorial gastón giribetrango de vectorestokenización modelo lenguajetokens como idioma internoconversión idioma a tokensprocesamiento interno en tokenstraducción tokens a palabraspredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en tokens. Entonces, el primer paso es cuando nosotros le escribimos en cualquier idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Luisa Achaerandio explica la definición de 'token' como unidad mínima de texto necesaria para que un ordenador procese e interprete información escrita y comprenda sus relaciones sintácticas y semánticas.
Habla: Luisa AchaerandioSignificado #2redes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee breaktoken unidad mínima de textolexemas y morfemas en tokenperro como ejemplo de tokenel perro come tres tokensrelaciones semánticas y sintácticas tokenprocesamiento de texto por ordenadorlexemas morfemas como bloques…están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que cuantificar lo que está escrito para que el ordenador lo pueda procesar e interpretar y conocer las relaciones tanto sintásticas como semánticas que tiene ese concepto, por así decirlo, pues tú llamas a una unidad mínima de texto, que por ejemplo, si hablamos de la palabra inteligencia, pues puedes dividirla en dos lexemas, o sea, el concepto de lexema, de morfema, y a eso se le denomina, digamos, token. Entonces, por ejemplo, perro puede ser un token, pero el perro come, pues pueden ser tres tokens, ¿no? Por así decirlo. O sea, el perro es una palabra, pero el perro come, pues puede tener o tres tokens o cuatro tokens, depende de lo que se considere. Es lo que toque, efectivamente, lo que toque. Pero es ese concepto, ¿no? Es la unidad mínima de texto para poder ser procesada y comprender, pues, sus relaciones semánticas y sintásticas para poder cuantificarlo posteriormente, ¿no? Y ser interpretado por un ordenador. Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos…
Héctor Socas explica cómo el análisis de la distorsión de las galaxias (campo de Shear) permite descomponerlo en campos vectoriales bidimensionales.
Habla: Héctor SocasPalabras #18campo shear distorsión de galaxiasdescomposición vectorial bidimensionalhector socas analiza campos vectoriales…perfilado sino que es bastante borroso; y pero bueno aún así. Así obtenemos primero esos 15 cúmulos globulares que ya eran conocidos previamente y también vemos esos filamentos que unen cúmulos, lo cual da una idea de que lo que estamos viendo es real. Pero sobre todo hay una cosa muy chula que me gusta mucho y es que cuando... todo esto está basado en el campo de Shear, lo que dije, esta distorsión de las galaxias. ese share, esa distorsión de las galaxias es un vector, puede tener cualquier dirección en el plano del cielo entonces lo podemos ver como un campo vectorial en el cielo y cualquier campo vectorial que uno tenga, en este caso en dos dimensiones uno lo puede descomponer, de esto hemos hablado otras veces en otro contexto, uno lo puede descomponer en un campo tipo E y un campo tipo B que los modos E y modos B que solemos hablar cuando hablamos de la polarización del fondo cósmico de microondas que decimos que hay los modos E y los modos B que son los que se están buscando que no es más que si yo tengo eso un campo en el que en cada punto…