Búsqueda · 25 momentos en 10 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinacionesHéctor SocasTwitterAdam Taumann-KalaiOpenAIGeorgia TechCoffee BreakJuan Carloscara BPhysical Review LettersUniversidad de MálagaDeepSeqLaTeXFrancis VillatoroLuisa AchaerandioCoffee Break: Señal y Ruidoepisodio 549Ignacio Crespo
Paper sobre responsabilidad en alucinaciones
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202612 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Significado #1 · Palabras #1
Héctor Socas introduce el tema de las alucinaciones en los grandes modelos de lenguaje, un problema actual en la inteligencia artificial que preocupa a la industria.
Habla: Héctor SocasSignificado #5 · Palabras #4alucinaciones en modelos lenguajeinteligencia artificial y la industriaamenaza alucinaciones inteligencia artificialindustria siglo xxi…cimientos del país. Fernando Arrabal, dice José Edelstein en el chat. ¿Cómo que José? ¿Está José Edelstein en el chat? Está ahí en el chat, sí, sí. ¿Pero qué hace José Edelstein en el chat? O alguien que le ha clonado muy bien el nombre y tal. Bueno, venga. vamos, decía yo que íbamos a hablar de las alucinaciones en los grandes modelos de lenguaje que parece que es el gran problema hoy en día en la inteligencia artificial y lo que tiene en vilo a toda esta gran industria que puede ser la gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando…
Héctor Socas aclara la diferencia entre las alucinaciones en neurociencia y el concepto técnico de 'fabulación' utilizado para describir los errores de los modelos de lenguaje.
Habla: Héctor SocasSignificado #19 · Palabras #19alucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausible…alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi…
Héctor Socas introduce el tema de la conversación sobre cómo las empresas han trabajado para reducir las 'alucinaciones' en los modelos de lenguaje, tras una discusión previa sobre la falta de reconocimiento de desconocimiento en diversas fuentes de información.
Habla: Héctor SocasSignificado #12 · Palabras #5alucinaciones en modelos de lenguajepost-entrenamiento empresas desarrollo modelosjuan carlos y reconocimiento desconocimiento…Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo de palabras pero nunca reconoce, no es habitual en un libro, en una página de Wikipedia, en un blog, en un podcast, que digamos no sé. De eso que acaba de decir Juan Carlos es justamente de lo que vamos a hablar, del decir no sé y bueno, tiene que ver con todo esto. El desarrollo y también parte de la razón por la que alucina menos es porque esto ha sido un problema que ha despertado tanta atención que se han esforzado mucho en el post-entrenamiento las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos,…
Héctor Socas continúa reflexionando sobre la naturaleza del error, extendiéndola a los modelos de lenguaje y otros animales, y plantea la posibilidad de que incluso las 'alucinaciones' puedan ser útiles en el ámbito científico.
Habla: Héctor SocasSignificado #4 · Palabras #20error útil en modelos de lenguajealucinaciones en cienciacasos paradigmáticos de alucinaciones…Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a ver, creo que no lo hemos comentado en Coffee Break, pero. Uno de los ganadores del premio Nobel de Química en 2024 con Alphafold; el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que…
Héctor Socas introduce un artículo científico sobre las 'alucinaciones' en modelos de lenguaje, mencionando que lo descubrió a través de una conversación en Twitter.
Habla: Héctor SocasSignificado #14 · Palabras #3alucinaciones en modelos de lenguajepaper openai septiembre 2025adam taumann kalai openai…pues muchas eran cosas totalmente inservibles. Pero de vez en cuando encontraban ideas que les abrían caminos para avanzar, porque dentro de ese mundo de fabulaciones, de inventos que hacía la red neuronal, pues algunos eran prolíficas Entonces bueno, quería decir eso un poco. Entonces, el paper que vamos a comentar es un paper que es de septiembre del año pasado; yo lo vi comentado en Twitter y me despertó la... porque no lo había visto. Había visto otros parecidos pero este me pareció particularmente interesante y lo vi en una conversación de Twitter; lo siento pero no recuerdo quién fue la persona que me etiquetó o que me incluyó en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #13 · Palabras #18alucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas continúa discutiendo sobre el origen de las 'alucinaciones' en modelos de lenguaje, enfocándose en un artículo científico que analiza el caso ideal y más perfecto para comprender mejor este fenómeno.
Habla: Héctor SocasSignificado #9errores en el conjunto de entrenamientoalucinaciones modelos de lenguajecaso ideal de alucinación…tenemos a Silvana, hola Silvana, ¿qué tal? Silvana Tapia es doctora de microbiología, profesor en la Universidad de Málaga. Qué bueno que se sumó cinco minutos antes, porque si no la gente va a pensar que estamos peleados y que yo me voy cuando ella cega. Por lo menos pueden convivir cinco minutos, no está tan mal la relación. Bueno, que el entonces, el artículo en lo que se basa es en ir a lo más fundamental, ¿no? Porque dice, bueno, supongamos que, o sea, si en el conjunto de entrenamiento hay errores, ¿no? Sabemos que los modelos de lenguaje se entrenan con muchísimos datos y ahí hay errores, evidentemente eso puede ser una fuente de alucinación, pero esa la vamos a dejar de lado, eso sabemos que está ahí. Hay también otros posibles errores que pueden surgir por otros mecanismos, pero ellos quieren irse al caso ideal, al caso más perfecto. La pregunta es: ¿se puede desarrollar un gran modelo de lenguaje que no tenga alucinaciones si lo entrenamos con datos perfectamente verídicos, en condiciones ideales, si todo fuera perfectamente correcto? Y entonces hay una primera parte con un desarrollo…
Héctor Socas anuncia una pausa para continuar con el segundo segmento del programa ('cara B'), donde se analizará un artículo científico sobre las alucinaciones en redes neuronales y otros temas.
Habla: Héctor SocasSignificado #6 · Palabras #7alucinaciones en redes neuronalesnaturaleza de la red neuronalpaper sobre alucinacionesredes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee break…queremos buscar un mínimo global, ¿verdad? Para no quedarnos atascados en mínimos locales, ¿qué hacemos? Pues le pegamos una pata a la pelota, salta de valle y aumentamos mediante el azar la probabilidad de encontrar una mejor solución. Es semejante, pues sí. Bueno, pues lo dicho, vamos a hacer la pausita; vamos a seguir en la cara B y les cuento ya para terminar lo que dice este paper sobre las alucinaciones y cómo se podría eso mejorar y sobre todo cuánto de conectado están con la propia naturaleza de la red neuronal. Nada, y luego seguiremos con otros temas muy interesantes que tenemos para la cara B. Recuerden, si nos están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que…
Héctor Socas introduce un paper que estudia el origen de las alucinaciones en redes neuronales desde una perspectiva de teoría de aprendizaje computacional, diferenciando entre las alucinaciones intrínsecas y aquellas causadas por datos incorrectos en el entrenamiento.
Habla: Héctor SocasSignificado #2 · Palabras #2alucinaciones intrínsecas red neuronaldatos incorrectos conjunto entrenamientoteoría aprendizaje computacional alucinacionesmodelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
Habla: Héctor SocasPalabras #9benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican errores…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a…
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
Habla: Héctor SocasSignificado #1 · Palabras #1alucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinaciones…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Francis Villatoro reflexiona sobre la capacidad humana para encontrar fallos incluso en sistemas bien diseñados, destacando la importancia de controlar las alucinaciones y poder verificar los resultados generados por modelos como ChatGPT.
Habla: Francis VillatoroPalabras #10verificación de resultados chargptnúmeros incorrectos en látex chargpt…O sea, que me ignoraba porque lo había leído y asimilado y procesado tantas veces que ese sobreentrenamiento, pues eso, vencía a mis prompts. Pero eso es muy humano también, ¿no? Lo vuelve cabezón. Absolutamente. O sea, más cuñado, más cuñado, si puede ser. Eso siempre se va a conseguir; es decir, tenemos tal creatividad los humanos que somos capaces de sacarle la puntilla a cualquier cosa. Lo importante es que en promedio las alucinaciones sean más o menos controlables y sean más o menos chequeables. Yo recuerdo a Héctor que hablaba hace un año y medio. A veces cojo un paper y quiero sacar la tabla y le pido a CharGPT que me la saque, pero después cuando me la saca en látex y la veo bonita, tengo que verificar que los números sean los mismos, porque a veces un 3 me la ha cambiado por un 5, y seré perfectamente. S5 en la figura. Pero no es que no lo haya identificado, que lo hace para fastidiar. Para fastidiar, para ver si está atento. Ya no lo hace tanto, por lo menos mi experiencia es que ya prácticamente no lo hace, pero sí que es verdad que un año y medio lo hacía mucho. La guía…