Búsqueda · 26 momentos en 7 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespobenchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican erroresOpenAIDeepSeqHéctor SocasJuan CarlosAdam Taumann-KalaiGeorgia TechUniversidad de MálagaPhysical Review LettersFrancis VillatoroGoogleWikipediaRevolución FrancesaMovimientos 37Coffee BreakCharlatanes
Pruebas modelos lenguaje amplifican errores
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a…
Significado #1 · Palabras #1
Héctor Socas introduce una crítica general a la forma en que se perciben las 'alucinaciones' en los modelos de lenguaje de inteligencia artificial.
Habla: Héctor SocasSignificado #10alucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidad…gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos…
Héctor Socas continúa la reflexión sobre la naturaleza del error, extendiendo el concepto más allá de los seres humanos para incluir a las redes neuronales y otros animales.
Habla: Héctor SocasSignificado #7 · Palabras #14error en redes neuronaleserrores de grandes modelos lenguajeprocesos mentales de perrosredes neuronales animaleserror útil en modelos de lenguajealucinaciones en cienciacasos paradigmáticos de alucinaciones…humano no decimos que es una alucinación, decimos que es una equivocación: decimos ay me equivoqué, yo pensé que las gafas estaban en el estuche. Y de hecho es una característica casi que identitaria que atribuimos al ser humano, en realidad no es el ser. Humano, es cualquier red neuronal; cualquier animal que tenga una red neuronal se equivoca. Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a ver, creo que no lo hemos comentado en Coffee Break, pero. Uno de los ganadores del premio Nobel de Química en 2024 con Alphafold; el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #14 · Palabras #2exámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosaalucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas continúa discutiendo sobre el origen de las 'alucinaciones' en modelos de lenguaje, enfocándose en un artículo científico que analiza el caso ideal y más perfecto para comprender mejor este fenómeno.
Habla: Héctor SocasSignificado #20 · Palabras #4errores en el conjunto de entrenamientoalucinaciones modelos de lenguajecaso ideal de alucinación…tenemos a Silvana, hola Silvana, ¿qué tal? Silvana Tapia es doctora de microbiología, profesor en la Universidad de Málaga. Qué bueno que se sumó cinco minutos antes, porque si no la gente va a pensar que estamos peleados y que yo me voy cuando ella cega. Por lo menos pueden convivir cinco minutos, no está tan mal la relación. Bueno, que el entonces, el artículo en lo que se basa es en ir a lo más fundamental, ¿no? Porque dice, bueno, supongamos que, o sea, si en el conjunto de entrenamiento hay errores, ¿no? Sabemos que los modelos de lenguaje se entrenan con muchísimos datos y ahí hay errores, evidentemente eso puede ser una fuente de alucinación, pero esa la vamos a dejar de lado, eso sabemos que está ahí. Hay también otros posibles errores que pueden surgir por otros mecanismos, pero ellos quieren irse al caso ideal, al caso más perfecto. La pregunta es: ¿se puede desarrollar un gran modelo de lenguaje que no tenga alucinaciones si lo entrenamos con datos perfectamente verídicos, en condiciones ideales, si todo fuera perfectamente correcto? Y entonces hay una primera parte con un desarrollo…
Héctor Socas discute las conclusiones de un paper sobre modelos de lenguaje y alucinaciones, explicando que incluso un modelo perfecto sería inútil.
Habla: Héctor SocasSignificado #11modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas resume las conclusiones de un paper sobre modelos de lenguaje, indicando que es inevitable que los modelos generen un porcentaje mínimo de respuestas incorrectas, aunque se puedan minimizar.
Habla: Héctor SocasSignificado #4respuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
Habla: Héctor SocasSignificado #1 · Palabras #1benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican errores…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a…
Héctor Socas explica cómo los modelos de lenguaje son evaluados utilizando 'benchmarks' estándar de la industria, y señala un problema relacionado con la precisión en estas evaluaciones.
Habla: Héctor SocasSignificado #9precisión de modelos lenguajebenchmarks estándar industriasesgo en evaluaciones openaimétricas de benchmarks…pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasSignificado #5modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas continúa comparando la evaluación de modelos de lenguaje con el comportamiento de los charlatanes, señalando que cuando estos aciertan en algo, ese éxito se destaca a pesar de su falta de precisión general.
Habla: Héctor SocasSignificado #17charlatanes y modelos de lenguajeaciertos de charlatanes en evaluaciónrespuesta incorrecta en modelos…comunicación a que te diga cómo va a ser el invierno, pues supongo que habrá pasado eso, que algún día habrá dicho alguna cosa y acertó por casualidad y ahora de repente está en los medios. Ni siquiera, no acerta, la verdad es igual, en este caso ni siquiera. Charlatanes, que dicen muchas cosas, se olvidan, pero cuando aciertan alguna, pues eso queda ahí como algo importante. Y el problema es que aquí pasa un poco eso también; o sea, la respuesta es incorrecta. Es importante no solo que la respuesta sea correcta, sino por qué, que no vale que has dicho algo al azar. Y entonces están incentivados los grandes modelos de lenguaje, todos, a evitar decir “no lo sé”. Yo te comentaba ese día, Juan Carlos, que yo tengo puesto en las instrucciones personalizadas: a mí me funciona bastante bien, la verdad; le digo que cuando me dé…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasPalabras #15google wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipedia…a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha…
Francis Villatoro expresa su frustración con las alucinaciones conceptuales en modelos de lenguaje, donde el flujo del lenguaje puede engañar y ocultar errores subyacentes.
Habla: Francis VillatoroSignificado #12 · Palabras #6alucinaciones conceptuales en modelosflujo del lenguaje engaña erroresretórica lingüística desvía el discursoerror conceptual cruza los cablesdetección crítica de alucinaciones…es que ya prácticamente no lo hace, pero sí que es verdad que un año y medio lo hacía mucho. La guía nos entrena a nosotros, a ver si estamos pendientes. Exacto, es para ver si estamos atentos y retroalimentación; a ver si vamos a acabar más tontos. A mí lo que más me molesta de las alucinaciones son las alucinaciones conceptuales, porque muchas veces creemos que un hilo argumental conceptualmente está bien enlazado porque fluye el lenguaje y el lenguaje te engaña. Y esa retórica lingüística te lleva por un camino, y después tú te lo lees varias veces; no me acabo de convencer, te lo lees varias veces y dices: no, pero es que aquí hay un error, o sea, hay un error conceptual aquí en medio que por alguna razón se le ha desviado el cable, se le ha cruzado los cables y me ha llevado a un sitio que no es el camino natural de cómo empezaba el discurso. Y ese tipo de cosas es muy difícil de detectar si no eres muy crítico. Y pasa a veces, porque ahora mismo escriben de manera Maravillosa. O sea, hay un artículo de New York Times reciente en el que, bueno, hay una encuesta; todavía está en vivo, en la que tú puedes leer una serie de textos y tienes que decir si es de IA o si es de humano y calificarlo si te gusta o no te gusta. Y…
Héctor Socas insta a la sociedad a evitar juzgar los modelos de lenguaje con criterios incorrectos, enfatizando la importancia de la modestia en su empresa.
Habla: Héctor SocasSignificado #15modelos de lenguaje con criterios equivocadospenalización de la modestia en modelosmodestia cualidad fundamental de la empresa…o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las cualidades fundamentales de nuestra empresa. Madre mía. Bueno, más preguntas. Como un oxímoron, ¿no? La modestia es lo que más destacamos de nuestra empresa. Estamos orgullosos de nuestra humildad. Fíjate que modesto soy, ¿eh? Soy el más modesto que soy súper modesto. Eso decía Le Luthier, ¿no? Sentirás te…