Búsqueda · 26 momentos en 16 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadospost entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelosHéctor SocasOpenAIGooglePhysical Review LettersLuisa AchaerandioBinksDeepSeqJuan CarlosAdam Taumann-KalaiGeorgia TechChatGPT
Respuestas del modelo base
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
…plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Significado #2 · Palabras #1
Héctor Socas continúa la discusión sobre cómo los modelos de lenguaje cometen errores, comparando su comportamiento con el de estudiantes que responden a exámenes tipo test sin saber la respuesta.
Habla: Héctor SocasSignificado #14 · Palabras #15exámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosa…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje…
Héctor Socas explica cómo funciona el pre-entrenamiento en modelos de lenguaje, describiendo el proceso como una predicción de tokens futuros basada en una distribución de probabilidad derivada de millones de textos.
Habla: Héctor SocasPalabras #6predicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Héctor Socas explica la primera fase del proceso de aprendizaje de los modelos de lenguaje: generar texto consistente con el conjunto de entrenamiento, lo cual permite al modelo aprender a escribir.
Habla: Héctor SocasSignificado #18modelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referencia…aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
Habla: Héctor SocasSignificado #2 · Palabras #1prompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadospost entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelos…plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas explica cómo los modelos de lenguaje generan respuestas plausibles, es decir, sintácticamente correctas, dividiéndolas en afirmaciones correctas e incorrectas.
Habla: Héctor SocasSignificado #1 · Palabras #2modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectasrespuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelosrespuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
Habla: Héctor SocasPalabras #8benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican erroresmodelo lenguaje juan carlosbenchmarks estándar de la industriarespuesta incorrecta cero puntuación…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las…
Héctor Socas explica que no comprende completamente el significado de una figura de un artículo científico de 2023 sobre calibración de modelos, pero describe su contenido como curvas que comparan un modelo base con uno ajustado mediante post-entrenamiento.
Habla: Héctor SocasSignificado #11 · Palabras #4figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correcta…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante…
Héctor Socas reflexiona sobre la incertidumbre inherente a las respuestas generadas por los modelos de lenguaje grandes (LLM), como ChatGPT, y menciona una característica específica que indica el nivel de confianza del modelo en sus propias afirmaciones.
Habla: Héctor SocasPalabras #18incertidumbre de las afirmaciones llmchatgpt nivel de confianza respuestasgrado de incertidumbre chatgpt…han pre-aprendido. Exacto, el aprendizaje ocurre durante el pre- y el post-entrenamiento, pero no cuando habla contigo. Cuando habla contigo solo hay el contexto que le da tu conversación, pero las neuronas no se modifican; siguen estando igual que antes, sí. Pero es un tema interesante porque, claro, esto habla sobre la incertidumbre ¿no? Yo me preguntaba o sea, no solemos plantearnos yo por lo menos no he visto ningún estudio sobre el grado de incertidumbre de las afirmaciones de un LLM pero de alguna manera sí que lo tienen porque yo le tengo puesto esto como te decía en el chat GPT y siempre al final de la respuesta me dice de qué cosas está bastante seguro y de cuáles menos. Héctor, ¿y no se estará inventando su verosimilitud? Bueno, puede ser, pero tienes que poner un control para la verosimilitud. ¿Estás seguro de que, como has etiquetado tú a tus opiniones, son buenas? En fin, es que es el mismo modelo. Sí, sí, sí, pero…