Búsqueda · 26 momentos en 13 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespomodelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectasrespuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelosrespuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestasHéctor SocasPhysical Review LettersOpenAIGoogleCharlatanesJuan CarlosChatGPTAdam Taumann-KalaiGeorgia TechLuisa AchaerandioBinks
Plausibilidad en respuestas de modelos
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202610 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica cómo los modelos de lenguaje generan respuestas plausibles, es decir, sintácticamente correctas, dividiéndolas en afirmaciones correctas e incorrectas.
…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Significado #1 · Palabras #2
Héctor Socas introduce una crítica general a la forma en que se perciben las 'alucinaciones' en los modelos de lenguaje de inteligencia artificial.
Habla: Héctor SocasSignificado #4alucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidad…gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos…
Héctor Socas continúa la discusión sobre cómo los modelos de lenguaje cometen errores, comparando su comportamiento con el de estudiantes que responden a exámenes tipo test sin saber la respuesta.
Habla: Héctor SocasSignificado #18 · Palabras #14exámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosa…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje…
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
Habla: Héctor SocasSignificado #20 · Palabras #4post entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openaiprompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuestarespuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadosmillones de horas humanosrespuestas correctas modelos…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas explica cómo los modelos de lenguaje generan respuestas plausibles, es decir, sintácticamente correctas, dividiéndolas en afirmaciones correctas e incorrectas.
Habla: Héctor SocasSignificado #1 · Palabras #2modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectasrespuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelosrespuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas retoma un punto planteado por Juan Carlos sobre los modelos de lenguaje y su evaluación.
Habla: Héctor SocasPalabras #13modelo lenguaje juan carlosbenchmarks estándar de la industriarespuesta incorrecta cero puntuación…ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasSignificado #9modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas argumenta que los 'benchmarks' utilizados para evaluar modelos de lenguaje se centran únicamente en la precisión de las respuestas, ignorando el razonamiento detrás de ellas.
Habla: Héctor SocasSignificado #13precisión de respuestas en benchmarksrazonamiento detrás de modelos lenguajeciencia exige explicar el mecanismo…cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la respuesta correcta o no? Y esto está mal incluso en la vida cotidiana; o sea, en ciencia siempre decimos: no solo es importante acertar, sino por qué acierta, o sea, cuál es el mecanismo por el cual has llegado a esa respuesta, ¿no? Acertar por casualidad no sirve, y es lo que decimos. siempre, es el mecanismo de los charlatanes, yo empiezo a decir muchas cosas, algunas acierto por casualidad y esas se quedan, ¿no? las otras se olvidan y seguro, no he seguido la historia, pero el chico este de las cabañuelas que están tan indignados los de…
Héctor Socas continúa comparando la evaluación de modelos de lenguaje con el comportamiento de los charlatanes, señalando que cuando estos aciertan en algo, ese éxito se destaca a pesar de su falta de precisión general.
Habla: Héctor SocasSignificado #5charlatanes y modelos de lenguajeaciertos de charlatanes en evaluaciónrespuesta incorrecta en modelos…comunicación a que te diga cómo va a ser el invierno, pues supongo que habrá pasado eso, que algún día habrá dicho alguna cosa y acertó por casualidad y ahora de repente está en los medios. Ni siquiera, no acerta, la verdad es igual, en este caso ni siquiera. Charlatanes, que dicen muchas cosas, se olvidan, pero cuando aciertan alguna, pues eso queda ahí como algo importante. Y el problema es que aquí pasa un poco eso también; o sea, la respuesta es incorrecta. Es importante no solo que la respuesta sea correcta, sino por qué, que no vale que has dicho algo al azar. Y entonces están incentivados los grandes modelos de lenguaje, todos, a evitar decir “no lo sé”. Yo te comentaba ese día, Juan Carlos, que yo tengo puesto en las instrucciones personalizadas: a mí me funciona bastante bien, la verdad; le digo que cuando me dé…
Héctor Socas explica que no comprende completamente el significado de una figura de un artículo científico de 2023 sobre calibración de modelos, pero describe su contenido como curvas que comparan un modelo base con uno ajustado mediante post-entrenamiento.
Habla: Héctor SocasPalabras #15figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correcta…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante…
Héctor Socas reflexiona sobre la incertidumbre inherente a las respuestas generadas por los modelos de lenguaje grandes (LLM), como ChatGPT, y menciona una característica específica que indica el nivel de confianza del modelo en sus propias afirmaciones.
Habla: Héctor SocasSignificado #12 · Palabras #17incertidumbre de las afirmaciones llmchatgpt nivel de confianza respuestasgrado de incertidumbre chatgpt…han pre-aprendido. Exacto, el aprendizaje ocurre durante el pre- y el post-entrenamiento, pero no cuando habla contigo. Cuando habla contigo solo hay el contexto que le da tu conversación, pero las neuronas no se modifican; siguen estando igual que antes, sí. Pero es un tema interesante porque, claro, esto habla sobre la incertidumbre ¿no? Yo me preguntaba o sea, no solemos plantearnos yo por lo menos no he visto ningún estudio sobre el grado de incertidumbre de las afirmaciones de un LLM pero de alguna manera sí que lo tienen porque yo le tengo puesto esto como te decía en el chat GPT y siempre al final de la respuesta me dice de qué cosas está bastante seguro y de cuáles menos. Héctor, ¿y no se estará inventando su verosimilitud? Bueno, puede ser, pero tienes que poner un control para la verosimilitud. ¿Estás seguro de que, como has etiquetado tú a tus opiniones, son buenas? En fin, es que es el mismo modelo. Sí, sí, sí, pero…