Búsqueda · 24 momentos en 10 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopre-entrenamiento de modelos lenguajehéctor socas explica grandes modelospre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoHéctor SocasOpenAIAutomóvilAutomovilísticoGoogleJuan Carlos GilUniversidad de Málaga
Entrenamiento modelos lenguaje máximo
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas.…
Significado #1 · Palabras #1
Héctor Socas continúa discutiendo sobre el origen de las 'alucinaciones' en modelos de lenguaje, enfocándose en un artículo científico que analiza el caso ideal y más perfecto para comprender mejor este fenómeno.
Habla: Héctor SocasPalabras #20errores en el conjunto de entrenamientoalucinaciones modelos de lenguajecaso ideal de alucinación…tenemos a Silvana, hola Silvana, ¿qué tal? Silvana Tapia es doctora de microbiología, profesor en la Universidad de Málaga. Qué bueno que se sumó cinco minutos antes, porque si no la gente va a pensar que estamos peleados y que yo me voy cuando ella cega. Por lo menos pueden convivir cinco minutos, no está tan mal la relación. Bueno, que el entonces, el artículo en lo que se basa es en ir a lo más fundamental, ¿no? Porque dice, bueno, supongamos que, o sea, si en el conjunto de entrenamiento hay errores, ¿no? Sabemos que los modelos de lenguaje se entrenan con muchísimos datos y ahí hay errores, evidentemente eso puede ser una fuente de alucinación, pero esa la vamos a dejar de lado, eso sabemos que está ahí. Hay también otros posibles errores que pueden surgir por otros mecanismos, pero ellos quieren irse al caso ideal, al caso más perfecto. La pregunta es: ¿se puede desarrollar un gran modelo de lenguaje que no tenga alucinaciones si lo entrenamos con datos perfectamente verídicos, en condiciones ideales, si todo fuera perfectamente correcto? Y entonces hay una primera parte con un desarrollo…
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
Habla: Héctor SocasSignificado #1 · Palabras #1pre-entrenamiento de modelos lenguajehéctor socas explica grandes modelospre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilístico…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas.…
Héctor Socas explica la primera fase del proceso de aprendizaje de los modelos de lenguaje: generar texto consistente con el conjunto de entrenamiento, lo cual permite al modelo aprender a escribir.
Habla: Héctor SocasPalabras #16pre-entrenamiento como aprender a escribirmodelos multimodales con imágenes y vídeodistribución estadística de respuestastexto en modelos de lenguajemodelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referencia…que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Héctor Socas explica la fase de 'post-entrenamiento' en modelos de lenguaje, describiéndola como un proceso más complejo que requiere verificar la veracidad de las respuestas generadas.
Habla: Héctor SocasSignificado #3post entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openaiprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuesta…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta…
Héctor Socas explica que la conexión entre las respuestas generadas por los modelos de lenguaje y el mundo real se establece gracias al trabajo humano en la fase de post-entrenamiento.
Habla: Héctor SocasSignificado #7 · Palabras #13post entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelos…rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Juan Carlos Gil continúa la conversación sobre modelos de lenguaje, comparando su comportamiento con el de una persona que ha sido sobreentrenada y se niega a adaptarse a nuevas situaciones.
Habla: Juan Carlos GilSignificado #17chat gpt y problema del ríosobreentrenamiento de modelos lenguajecomportamiento humano cabezón…está bastante aplanado y se supone que lo correcto es estos segundos. Pero ya te digo que no entendí bien el plot y bueno, como tampoco era central al... No, es que me llama la atención porque me da la sensación como si empeorase realmente una respuesta. El sobreentrenamiento es sabido que puede empeorar respuestas. Yo en su día, ahora mejora mucho, pero hace un par de años jugué té con un chat GPT a hacerle preguntas relacionadas con el famoso problema del río, del granjero, la col, el lobo y la oveja. Pero le decía problemas distintos, sin oveja o sin río. Y el tío, vamos, me decía que la solución era poner a la oveja y llevártela. O sea, que me ignoraba porque lo había leído y asimilado y procesado tantas veces que ese sobreentrenamiento, pues eso, vencía a mis prompts. Pero eso es muy humano también, ¿no? Lo vuelve cabezón. Absolutamente. O sea, más cuñado, más cuñado, si puede ser. Eso siempre se va a conseguir; es decir, tenemos tal creatividad los humanos que somos capaces de sacarle la puntilla a cualquier cosa. Lo importante es que en promedio las alucinaciones sean más o menos controlables y sean más o menos chequeables. Yo…