Búsqueda · 24 momentos en 14 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadospost entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelosHéctor SocasPhysical Review LettersJuan CarlosCharlatanesOpenAIGoogleLuisa AchaerandioBinksAdam Taumann-KalaiGeorgia TechDeepSeqRevolución Francesa
Respuestas correctas modelos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica que la conexión entre las respuestas generadas por los modelos de lenguaje y el mundo real se establece gracias al trabajo humano en la fase de post-entrenamiento.
…plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Significado #1 · Palabras #2
Héctor Socas continúa discutiendo sobre las alucinaciones en modelos de lenguaje, ejemplificando con la invención de referencias bibliográficas y fechas incorrectas.
Habla: Héctor SocasSignificado #13modelo lenguaje invención referenciasrevolución francesa fecha incorrectaalucinaciones modelos lenguaje…que es como, que si es que agarra un poquito de acá, un poquito de acá, una mezcolanza que más o menos tiene sentido, y la lanzo de manera casi, no te digo aleatoria, porque tiene sentido, pero esto me suena un poquito, un poquito, no sé bien de lo que hablo Pues ese, bueno, eso es de lo que estamos hablando, ¿no? O sea, de una información que es falsa, yo que sé, cuando un modelo de lenguaje se inventa una referencia bibliográfica, por ejemplo, ¿no? Se inventa una fecha, le preguntas una fecha, ¿cuándo fue la Revolución Francesa? Y te dice, pues, 1826, no sé. En ese tipo de noticias, de cosas que vienen de la Wikipedia es difícil que se equivoque, pero si le preguntas cuándo nació Héctor Socas, pues lo mismo se lo inventa, dice, pues Héctor Socas tiene más o menos tantos años, pues le pongo una fecha aleatoria del…
Héctor Socas continúa la discusión sobre cómo los modelos de lenguaje cometen errores, comparando su comportamiento con el de estudiantes que responden a exámenes tipo test sin saber la respuesta.
Habla: Héctor SocasSignificado #6exámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosa…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje…
Héctor Socas explica la primera fase del proceso de aprendizaje de los modelos de lenguaje: generar texto consistente con el conjunto de entrenamiento, lo cual permite al modelo aprender a escribir.
Habla: Héctor SocasSignificado #14modelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referencia…aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Héctor Socas explica que la conexión entre las respuestas generadas por los modelos de lenguaje y el mundo real se establece gracias al trabajo humano en la fase de post-entrenamiento.
Habla: Héctor SocasSignificado #1 · Palabras #2prompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadospost entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelos…plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas explica cómo los modelos de lenguaje generan respuestas plausibles, es decir, sintácticamente correctas, dividiéndolas en afirmaciones correctas e incorrectas.
Habla: Héctor SocasSignificado #3 · Palabras #1modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectasrespuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelosrespuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas retoma un punto planteado por Juan Carlos sobre los modelos de lenguaje y su evaluación.
Habla: Héctor SocasSignificado #9 · Palabras #3benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican erroresmodelo lenguaje juan carlosbenchmarks estándar de la industriarespuesta incorrecta cero puntuaciónprecisión de modelos lenguajebenchmarks estándar industriasesgo en evaluaciones openaimétricas de benchmarks…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu…
Héctor Socas argumenta que los 'benchmarks' utilizados para evaluar modelos de lenguaje se centran únicamente en la precisión de las respuestas, ignorando el razonamiento detrás de ellas.
Habla: Héctor SocasSignificado #17 · Palabras #8precisión de respuestas en benchmarksrazonamiento detrás de modelos lenguajeciencia exige explicar el mecanismo…cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la respuesta correcta o no? Y esto está mal incluso en la vida cotidiana; o sea, en ciencia siempre decimos: no solo es importante acertar, sino por qué acierta, o sea, cuál es el mecanismo por el cual has llegado a esa respuesta, ¿no? Acertar por casualidad no sirve, y es lo que decimos. siempre, es el mecanismo de los charlatanes, yo empiezo a decir muchas cosas, algunas acierto por casualidad y esas se quedan, ¿no? las otras se olvidan y seguro, no he seguido la historia, pero el chico este de las cabañuelas que están tan indignados los de…
Héctor Socas continúa comparando la evaluación de modelos de lenguaje con el comportamiento de los charlatanes, señalando que cuando estos aciertan en algo, ese éxito se destaca a pesar de su falta de precisión general.
Habla: Héctor SocasSignificado #4 · Palabras #6charlatanes y modelos de lenguajeaciertos de charlatanes en evaluaciónrespuesta incorrecta en modelosinstrucciones personalizadas héctor socascerteza y dudas modelos lenguaje…comunicación a que te diga cómo va a ser el invierno, pues supongo que habrá pasado eso, que algún día habrá dicho alguna cosa y acertó por casualidad y ahora de repente está en los medios. Ni siquiera, no acerta, la verdad es igual, en este caso ni siquiera. Charlatanes, que dicen muchas cosas, se olvidan, pero cuando aciertan alguna, pues eso queda ahí como algo importante. Y el problema es que aquí pasa un poco eso también; o sea, la respuesta es incorrecta. Es importante no solo que la respuesta sea correcta, sino por qué, que no vale que has dicho algo al azar. Y entonces están incentivados los grandes modelos de lenguaje, todos, a evitar decir “no lo sé”. Yo te comentaba ese día, Juan Carlos, que yo tengo puesto en las instrucciones personalizadas: a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé,…
Héctor Socas explica que no comprende completamente el significado de una figura de un artículo científico de 2023 sobre calibración de modelos, pero describe su contenido como curvas que comparan un modelo base con uno ajustado mediante post-entrenamiento.
Habla: Héctor SocasPalabras #5figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correctacorrelación uno a uno pre-entrenamientodistribución aplanada modelo post-entrenadovalores extremos en el plothector socas analiza calibración modelos…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante aplanado y se supone que lo correcto es estos segundos. Pero ya te digo que no entendí bien el plot y bueno, como tampoco era central al... No, es que me llama la atención porque me da la sensación como si empeorase realmente una respuesta. El sobreentrenamiento es sabido que puede empeorar respuestas. Yo en su día, ahora mejora mucho, pero hace un par de años jugué té con un chat GPT a hacerle preguntas relacionadas con el famoso problema del río, del granjero, la col, el lobo y la oveja. Pero…