Búsqueda · 25 momentos en 10 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopre-entrenamiento de modelos lenguajehéctor socas explica grandes modelospre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoHéctor SocasOpenAIAutomóvilAutomovilísticoPhysical Review LettersLuisa AchaerandioBinksGoogleJuan CarlosJuan Carlos Gil
Post entrenamiento modelos lenguaje
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas.…
Significado #2 · Palabras #1
Héctor Socas introduce el tema de la conversación sobre cómo las empresas han trabajado para reducir las 'alucinaciones' en los modelos de lenguaje, tras una discusión previa sobre la falta de reconocimiento de desconocimiento en diversas fuentes de información.
Habla: Héctor SocasPalabras #7alucinaciones en modelos de lenguajepost-entrenamiento empresas desarrollo modelosjuan carlos y reconocimiento desconocimiento…Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo de palabras pero nunca reconoce, no es habitual en un libro, en una página de Wikipedia, en un blog, en un podcast, que digamos no sé. De eso que acaba de decir Juan Carlos es justamente de lo que vamos a hablar, del decir no sé y bueno, tiene que ver con todo esto. El desarrollo y también parte de la razón por la que alucina menos es porque esto ha sido un problema que ha despertado tanta atención que se han esforzado mucho en el post-entrenamiento las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos,…
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
Habla: Héctor SocasSignificado #2 · Palabras #1pre-entrenamiento de modelos lenguajehéctor socas explica grandes modelospre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilístico…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas.…
Héctor Socas explica el proceso de pre-entrenamiento en modelos de lenguaje, comparándolo con aprender a escribir y extendiendo este concepto a otros formatos como imágenes, vídeo o sonido.
Habla: Héctor SocasSignificado #6pre-entrenamiento como aprender a escribirmodelos multimodales con imágenes y vídeodistribución estadística de respuestastexto en modelos de lenguaje…que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero…
Héctor Socas explica la fase de 'post-entrenamiento' en modelos de lenguaje, describiéndola como un proceso más complejo que requiere verificar la veracidad de las respuestas generadas.
Habla: Héctor SocasSignificado #1 · Palabras #3post entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openaiprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuesta…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta…
Héctor Socas explica que la conexión entre las respuestas generadas por los modelos de lenguaje y el mundo real se establece gracias al trabajo humano en la fase de post-entrenamiento.
Habla: Héctor SocasSignificado #3 · Palabras #2post entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelosalineamiento modelos lenguajecomportamiento ético sistemas iacontenido dañino modelos lenguajealineamiento opcional empresasproceso alineamiento ético juan carlos…rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan. Exactamente, entonces bueno, claro, se introduce el alineamiento opcionalmente: la empresa que quiera hacerlo lo hace, la que no quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué…
Héctor Socas analiza un gráfico de un artículo científico sobre calibración de modelos, comparando el comportamiento del modelo pre-entrenamiento con uno post-entrenado.
Habla: Héctor SocasPalabras #4figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correctacorrelación uno a uno pre-entrenamientodistribución aplanada modelo post-entrenadovalores extremos en el plothector socas analiza calibración modeloschat gpt y problema del ríosobreentrenamiento de modelos lenguajecomportamiento humano cabezón…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante aplanado y se supone que lo correcto es estos segundos. Pero ya te digo que no entendí bien el plot y bueno, como tampoco era central al... No, es que me llama la atención porque me da la sensación como si empeorase realmente una respuesta. El sobreentrenamiento es sabido que puede empeorar respuestas. Yo en su día, ahora mejora mucho, pero hace un par de años jugué té con un chat GPT a hacerle preguntas relacionadas con el famoso problema del río, del granjero, la col, el lobo y la oveja. Pero le decía problemas distintos, sin oveja o sin río. Y el tío, vamos, me decía que la solución era poner a la oveja y llevártela. O sea, que me ignoraba porque lo había leído y asimilado y procesado tantas veces que ese sobreentrenamiento, pues eso, vencía a mis prompts. Pero eso es muy humano también, ¿no? Lo vuelve cabezón. Absolutamente. O sea, más cuñado, más cuñado, si puede ser. Eso siempre se va a conseguir; es decir, tenemos tal creatividad los humanos que somos capaces de sacarle la puntilla a cualquier cosa. Lo importante es que en promedio las alucinaciones sean más o menos controlables y sean más o menos chequeables. Yo…