Búsqueda · 17 momentos en 11 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopost entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openaiprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadosmillones de horas humanosrespuestas correctas modelosHéctor SocasOpenAIGooglePhysical Review LettersLuisa AchaerandioBinksAutomóvilAutomovilísticoUniversidad de Málaga
Modelo base pre-entrenamiento de Héctor Socas
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20267 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Significado #17 · Palabras #1
Héctor Socas continúa discutiendo sobre el origen de las 'alucinaciones' en modelos de lenguaje, enfocándose en un artículo científico que analiza el caso ideal y más perfecto para comprender mejor este fenómeno.
Habla: Héctor SocasPalabras #16errores en el conjunto de entrenamientoalucinaciones modelos de lenguajecaso ideal de alucinación…tenemos a Silvana, hola Silvana, ¿qué tal? Silvana Tapia es doctora de microbiología, profesor en la Universidad de Málaga. Qué bueno que se sumó cinco minutos antes, porque si no la gente va a pensar que estamos peleados y que yo me voy cuando ella cega. Por lo menos pueden convivir cinco minutos, no está tan mal la relación. Bueno, que el entonces, el artículo en lo que se basa es en ir a lo más fundamental, ¿no? Porque dice, bueno, supongamos que, o sea, si en el conjunto de entrenamiento hay errores, ¿no? Sabemos que los modelos de lenguaje se entrenan con muchísimos datos y ahí hay errores, evidentemente eso puede ser una fuente de alucinación, pero esa la vamos a dejar de lado, eso sabemos que está ahí. Hay también otros posibles errores que pueden surgir por otros mecanismos, pero ellos quieren irse al caso ideal, al caso más perfecto. La pregunta es: ¿se puede desarrollar un gran modelo de lenguaje que no tenga alucinaciones si lo entrenamos con datos perfectamente verídicos, en condiciones ideales, si todo fuera perfectamente correcto? Y entonces hay una primera parte con un desarrollo…
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
Habla: Héctor SocasSignificado #2 · Palabras #3pre-entrenamiento de modelos lenguajehéctor socas explica grandes modelospre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilístico…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas.…
Héctor Socas explica cómo funciona el pre-entrenamiento en modelos de lenguaje, describiendo el proceso como una predicción de tokens futuros basada en una distribución de probabilidad derivada de millones de textos.
Habla: Héctor SocasSignificado #13 · Palabras #4predicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteraciónpre-entrenamiento como aprender a escribirmodelos multimodales con imágenes y vídeodistribución estadística de respuestastexto en modelos de lenguajemodelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referencia…idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
Habla: Héctor SocasSignificado #17 · Palabras #1post entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openaiprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadosmillones de horas humanosrespuestas correctas modelos…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas resume las conclusiones de un paper sobre modelos de lenguaje, indicando que es inevitable que los modelos generen un porcentaje mínimo de respuestas incorrectas, aunque se puedan minimizar.
Habla: Héctor SocasSignificado #4 · Palabras #10respuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelosrespuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas analiza un gráfico de un artículo científico sobre calibración de modelos, comparando el comportamiento del modelo pre-entrenamiento con uno post-entrenado.
Habla: Héctor SocasSignificado #1 · Palabras #5figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correctacorrelación uno a uno pre-entrenamientodistribución aplanada modelo post-entrenadovalores extremos en el plothector socas analiza calibración modelos…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante aplanado y se supone que lo correcto es estos segundos. Pero ya te digo que no entendí bien el plot y bueno, como tampoco era central al... No, es que me llama la atención porque me da la sensación como si empeorase realmente una respuesta. El sobreentrenamiento es sabido que puede empeorar respuestas. Yo en su día, ahora mejora mucho, pero hace un par de años jugué té con un chat GPT a hacerle preguntas relacionadas con el famoso problema del río, del granjero, la col, el lobo y la oveja. Pero…
Héctor Socas explica cómo los participantes en una discusión buscan verificar información abstracta y matemática, similar a como se verifica en internet, y concluye sobre un porcentaje mínimo de error inevitable en el entrenamiento de redes neuronales.
Habla: Héctor SocasPalabras #13error inevitable en redes neuronalespre-entrenamiento de red neuronalalucinación modelo sustituibleutilidad versus grado de error…buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de que hay un porcentaje mínimo de. error que no te puedes quitar de encima en el entrenamiento, en el pre-entrenamiento de la red neuronal. y a partir de ahí, claro, tú puedes hacer todo lo que quieras y al final siempre puedes borrar lo que ponga el modelo y sustituirlo por no lo sé y ya has resuelto el problema, no hay ninguna alucinación, pero hay que compaginar esto, la utilidad con el grado de error que estás dispuesto a tolerar, o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las…