Búsqueda · 19 momentos en 3 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespomodelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguajeHéctor SocasJuan CarlosPhysical Review LettersRevolución FrancesaUniversidad de MálagaFrancis VillatoroIgnacio CrespoWikipediaCoffee BreakJuan Carlos GilPushmeet KohliOpen MindTwitterAdam Taumann-KalaiOpenAIGeorgia TechChatGPT 3.5DeepSeq
Alucinación limita modelos lenguaje
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202616 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Significado #1 · Palabras #1
Héctor Socas introduce el tema de las alucinaciones en los grandes modelos de lenguaje, un problema actual en la inteligencia artificial que preocupa a la industria.
Habla: Héctor SocasSignificado #7 · Palabras #4alucinaciones en modelos lenguajeinteligencia artificial y la industriaamenaza alucinaciones inteligencia artificialindustria siglo xxialucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidadalucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausible…cimientos del país. Fernando Arrabal, dice José Edelstein en el chat. ¿Cómo que José? ¿Está José Edelstein en el chat? Está ahí en el chat, sí, sí. ¿Pero qué hace José Edelstein en el chat? O alguien que le ha clonado muy bien el nombre y tal. Bueno, venga. vamos, decía yo que íbamos a hablar de las alucinaciones en los grandes modelos de lenguaje que parece que es el gran problema hoy en día en la inteligencia artificial y lo que tiene en vilo a toda esta gran industria que puede ser la gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi…
Héctor Socas continúa discutiendo sobre las alucinaciones en modelos de lenguaje, ejemplificando con la invención de referencias bibliográficas y fechas incorrectas.
Habla: Héctor SocasSignificado #19 · Palabras #6modelo lenguaje invención referenciasrevolución francesa fecha incorrectaalucinaciones modelos lenguajehector socas fecha aleatoriachatgpt 3 5 aguata informaciónalucinaciones modelos lenguaje reducidasalucinaciones en modelos de lenguajefechas incorrectas extraídas wikipediaventana de contexto y alucinacionesmodelos sin entrenamiento para decir no…que es como, que si es que agarra un poquito de acá, un poquito de acá, una mezcolanza que más o menos tiene sentido, y la lanzo de manera casi, no te digo aleatoria, porque tiene sentido, pero esto me suena un poquito, un poquito, no sé bien de lo que hablo Pues ese, bueno, eso es de lo que estamos hablando, ¿no? O sea, de una información que es falsa, yo que sé, cuando un modelo de lenguaje se inventa una referencia bibliográfica, por ejemplo, ¿no? Se inventa una fecha, le preguntas una fecha, ¿cuándo fue la Revolución Francesa? Y te dice, pues, 1826, no sé. En ese tipo de noticias, de cosas que vienen de la Wikipedia es difícil que se equivoque, pero si le preguntas cuándo nació Héctor Socas, pues lo mismo se lo inventa, dice, pues Héctor Socas tiene más o menos tantos años, pues le pongo una fecha aleatoria del año y digo tal día Es difícil que se equivoquen ahora, pero los primeros, si pensamos en ChatGPT 3.5, que ya eran muy impresionantes, pero que veías que hacían aguata, pero es verdad que con el avance de los modelos, justamente una de las cosas en las que han mejorado mucho es que se han reducido muchísimo las alucinaciones, siguen estando ahí, pero ahora es mucho menos frecuente que ocurran cosas de esas, pero los primeros esos con los que jugábamos, que eran casi de juguete, sí que incluso fechas de Wikipedia te las podía decir mal. pero es verdad que tienes razón, Francis, cuando le preguntabas algo que no estaba en su conjunto de entrenamientos cuando era más probable y sigue siendo más probable toparte con una alucinación, ¿no? Entonces, bueno. Eso antes era más probable pero el tema de la ventana de contexto, cuando estabas ocupando gran parte de la ventana de contexto empezaba a haber una mayor probabilidad de que las probabilidades no describieran bien la distribución de términos adecuados y aparecían esas alucinaciones, ¿no? Hoy en día que las ventanas de contexto son enormes, pues cuesta mucho trabajo llegar a esa región Pero que pocas veces dicen los modelos no sé, ¿verdad? Claro, pero no han sido entrenados para eso, o sea, Cuando tú lees la literatura en la que no aparece el no sé, Gastón no está constantemente rellenando su libro de las cosas que no se saben. Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo…
Héctor Socas introduce el tema de la conversación sobre cómo las empresas han trabajado para reducir las 'alucinaciones' en los modelos de lenguaje, tras una discusión previa sobre la falta de reconocimiento de desconocimiento en diversas fuentes de información.
Habla: Héctor SocasSignificado #5 · Palabras #15alucinaciones en modelos de lenguajepost-entrenamiento empresas desarrollo modelosjuan carlos y reconocimiento desconocimiento…Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo de palabras pero nunca reconoce, no es habitual en un libro, en una página de Wikipedia, en un blog, en un podcast, que digamos no sé. De eso que acaba de decir Juan Carlos es justamente de lo que vamos a hablar, del decir no sé y bueno, tiene que ver con todo esto. El desarrollo y también parte de la razón por la que alucina menos es porque esto ha sido un problema que ha despertado tanta atención que se han esforzado mucho en el post-entrenamiento las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos,…
Héctor Socas continúa la discusión sobre la replicación del comportamiento humano en modelos de lenguaje, comparando las 'alucinaciones' de la IA con los errores humanos comunes.
Habla: Héctor SocasPalabras #12equivocaciones humanas replicadasgafas en el estuche ejemplocaracterística humana equivocación…recordar algo, yo estoy seguro de que ayer yo puse las gafas en este estuche y resulta que cuando voy a mirar las gafas no están en el estuche, yo estoy segurísimo, eso nos pasa continuamente, entonces estamos intentando replicar comportamientos humanos, por Supuesto que vamos a replicar también ese comportamiento que en el caso humano no decimos que es una alucinación, decimos que es una equivocación: decimos ay me equivoqué, yo pensé que las gafas estaban en el estuche. Y de hecho es una característica casi que identitaria que atribuimos al ser humano, en realidad no es el ser. Humano, es cualquier red neuronal; cualquier animal que tenga una red neuronal se equivoca. Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus…
Héctor Socas continúa reflexionando sobre la naturaleza del error, extendiéndola a los modelos de lenguaje y otros animales, y plantea la posibilidad de que incluso las 'alucinaciones' puedan ser útiles en el ámbito científico.
Habla: Héctor SocasPalabras #9error útil en modelos de lenguajealucinaciones en cienciacasos paradigmáticos de alucinaciones…Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a ver, creo que no lo hemos comentado en Coffee Break, pero. Uno de los ganadores del premio Nobel de Química en 2024 con Alphafold; el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que…
Héctor Socas introduce un artículo científico sobre las 'alucinaciones' en modelos de lenguaje, mencionando que lo descubrió a través de una conversación en Twitter.
Habla: Héctor SocasSignificado #11 · Palabras #13alucinaciones en modelos de lenguajepaper openai septiembre 2025adam taumann kalai openai…pues muchas eran cosas totalmente inservibles. Pero de vez en cuando encontraban ideas que les abrían caminos para avanzar, porque dentro de ese mundo de fabulaciones, de inventos que hacía la red neuronal, pues algunos eran prolíficas Entonces bueno, quería decir eso un poco. Entonces, el paper que vamos a comentar es un paper que es de septiembre del año pasado; yo lo vi comentado en Twitter y me despertó la... porque no lo había visto. Había visto otros parecidos pero este me pareció particularmente interesante y lo vi en una conversación de Twitter; lo siento pero no recuerdo quién fue la persona que me etiquetó o que me incluyó en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #3 · Palabras #3alucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas continúa discutiendo sobre el origen de las 'alucinaciones' en modelos de lenguaje, enfocándose en un artículo científico que analiza el caso ideal y más perfecto para comprender mejor este fenómeno.
Habla: Héctor SocasSignificado #6 · Palabras #11errores en el conjunto de entrenamientoalucinaciones modelos de lenguajecaso ideal de alucinaciónmodelo lenguaje sin alucinacionesdatos perfectamente verídicosinteligencia artificial congresosarchive como repositorio…tenemos a Silvana, hola Silvana, ¿qué tal? Silvana Tapia es doctora de microbiología, profesor en la Universidad de Málaga. Qué bueno que se sumó cinco minutos antes, porque si no la gente va a pensar que estamos peleados y que yo me voy cuando ella cega. Por lo menos pueden convivir cinco minutos, no está tan mal la relación. Bueno, que el entonces, el artículo en lo que se basa es en ir a lo más fundamental, ¿no? Porque dice, bueno, supongamos que, o sea, si en el conjunto de entrenamiento hay errores, ¿no? Sabemos que los modelos de lenguaje se entrenan con muchísimos datos y ahí hay errores, evidentemente eso puede ser una fuente de alucinación, pero esa la vamos a dejar de lado, eso sabemos que está ahí. Hay también otros posibles errores que pueden surgir por otros mecanismos, pero ellos quieren irse al caso ideal, al caso más perfecto. La pregunta es: ¿se puede desarrollar un gran modelo de lenguaje que no tenga alucinaciones si lo entrenamos con datos perfectamente verídicos, en condiciones ideales, si todo fuera perfectamente correcto? Y entonces hay una primera parte con un desarrollo matemático; yo tampoco me metí a ver los detalles porque no les voy a hacer de referir, ya para eso supongo que habrá otra gente, aunque no sé dónde se publica esto, la verdad, porque está en el archive y no lo he visto que esté publicado en una revista. No sé si es que lo han enviado y está todavía en proceso de revisión o qué. En el campo de la inteligencia artificial es muy habitual publicar artículos para congresos, como informes técnicos, etcétera, y no para revistas. Entonces, muchos de estos artículos no acaban en una revista, aunque se acaban en algún evento, en algún sitio en el que se presentan. Bueno, damos la bienvenida también a Luisa Achaerandio, que es profesora de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de…
Héctor Socas distingue entre la fase técnica del aprendizaje lingüístico en modelos de IA y la fase social donde se definen los límites éticos y morales, destacando que esta última es costosa debido a la necesidad de contratar personal.
Habla: Héctor SocasSignificado #18fase social aprendizaje lingüístico iacosto contratación personal ético iaempleados en centros del tercer mundoalucinaciones modelos de lenguaje…humana, que requiere millones de horas de trabajo humanos: que son los que conectan el modelo al mundo. O sea, lo que sabe una IA del mundo se lo hemos dicho los humanos. Y esto me parece muy bonito. Entonces hay una parte muy computacional que es la parte Más técnica donde aprende a hablar, aprende sintaxis, aprende toda la parte lingüística y luego hay una parte social que es donde los humanos le decimos que está bien y que está mal, que es éticamente o moralmente aceptable o no; y esa parte no es computacionalmente intensiva pero es cara. Es donde gastan un montón de dinero estas empresas en contratar pues cientos de miles o decenas de miles de empleados que están ahí físicamente, supongo que en algún centro, no sé, imagino yo. Esto no lo sé, no tengo ninguna certeza, pero supongo que en algún país del tercer mundo, donde hay humanos, muchos, y son lamentablemente más baratas sus condiciones laborales; bueno, no sé, retiro esto porque no tengo ni idea, estoy haciendo como los modelos de lenguaje un guess, suponiendo sin saber, puede ser una alucinación esto. De hecho, hay ahora una tendencia de esa segunda fase de decirle que es correcto y que no, hacerlo también con IA, o sea, ir reemplazando humanos con IA, lo cual puede ayudar, pero claro, hay algo ahí de círculo vicioso, de generación del problema en el…
Juan Carlos Gil continúa la conversación sobre los modelos de lenguaje de Open Mind, conectando la creatividad en estos modelos con las alucinaciones que pueden generar.
Habla: Juan Carlos GilSignificado #10 · Palabras #17creatividad modelos lenguaje open mindalucinaciones en modelos open mindhipótesis poco convencionales cienciavalidación rigurosa combinaciones improbables…pero es que viene muy bien Pushmeet Kohli nos dijo que en sus aplicaciones de ciencia, de los modelos de Open Mind, que es a lo que él se dedica busca algo parecido a un movimiento 37 en el ámbito de la ciencia, un movimiento especial que es algo inesperado, Que al principio puede incluso parecer erróneo, pero que revela algo nuevo del problema. Y en ese sentido decía que, ya no en nuestra entrevista que fue compacta, le he oído decir que en cierto sentido esa creatividad con 27 comillas podría estar asociada a las alucinaciones; es decir, la capacidad de explorar combinaciones improbables, extrañas, hipótesis poco convencionales que luego, tras una validación rigurosa, pueden ser útiles para la ciencia. Así que eso, empezabas estos comentarios diciendo que no tiene por qué ser malo del todo la desviación del modelo de nuestro conocimiento adquirido. Pues sí, estoy de acuerdo, y él también. Sí. Sí, sí, pues mira, efectivamente yo ponía el ejemplo de David Baker, un uso productivo en ciencia de las alucinaciones, y aquí también, ¿no? Y seguro que, hombre, pues nuestro ámbito es el científico, pero seguro que en temas de arte y que sean más…
Héctor Socas discute las conclusiones de un paper sobre modelos de lenguaje y alucinaciones, explicando que incluso un modelo perfecto sería inútil.
Habla: Héctor SocasSignificado #2 · Palabras #2modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
Habla: Héctor SocasSignificado #14 · Palabras #18benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican errores…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasSignificado #1 · Palabras #1modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
Habla: Héctor SocasSignificado #9 · Palabras #20alucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinaciones…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Francis Villatoro expresa su frustración con las alucinaciones conceptuales en modelos de lenguaje, donde el flujo del lenguaje puede engañar y ocultar errores subyacentes.
Habla: Francis VillatoroPalabras #7alucinaciones conceptuales en modelosflujo del lenguaje engaña erroresretórica lingüística desvía el discursoerror conceptual cruza los cablesdetección crítica de alucinaciones…es que ya prácticamente no lo hace, pero sí que es verdad que un año y medio lo hacía mucho. La guía nos entrena a nosotros, a ver si estamos pendientes. Exacto, es para ver si estamos atentos y retroalimentación; a ver si vamos a acabar más tontos. A mí lo que más me molesta de las alucinaciones son las alucinaciones conceptuales, porque muchas veces creemos que un hilo argumental conceptualmente está bien enlazado porque fluye el lenguaje y el lenguaje te engaña. Y esa retórica lingüística te lleva por un camino, y después tú te lo lees varias veces; no me acabo de convencer, te lo lees varias veces y dices: no, pero es que aquí hay un error, o sea, hay un error conceptual aquí en medio que por alguna razón se le ha desviado el cable, se le ha cruzado los cables y me ha llevado a un sitio que no es el camino natural de cómo empezaba el discurso. Y ese tipo de cosas es muy difícil de detectar si no eres muy crítico. Y pasa a veces, porque ahora mismo escriben de manera Maravillosa. O sea, hay un artículo de New York Times reciente en el que, bueno, hay una encuesta; todavía está en vivo, en la que tú puedes leer una serie de textos y tienes que decir si es de IA o si es de humano y calificarlo si te gusta o no te gusta. Y…
Héctor Socas explica una posible solución para reducir las 'alucinaciones' en modelos de inteligencia artificial, comparándola con la necesidad de verificar cada afirmación en Wikipedia.
Habla: Héctor SocasSignificado #15alucinaciones modelos inteligencia artificialverificación wikipedia afirmaciones héctor socasfrancis villatoro corrige errores coffee break…otra pregunta: por ejemplo, pregunta Gabriel Osorio y si se entrenaran las IAs para ser un tanto inseguras, por entre comillas, de manera que comprueben en parte lo que dicen; y bueno, sí, esto se hace, o sea, de hecho, y de esto se habla en el paper, ¿no? Una forma de eliminar alucinaciones es forzar al modelo a que busque en internet cualquier información que va a dar, que la busque, que la compruebe en internet. que es un poco matar moscas a cañonazos, quiero decir, eso es como si nosotros no pudiéramos hablar, no pudiéramos hacer Coffee Break y tuviéramos que estar comprobando en la Wikipedia cada cosa que decimos, pues no, para eso está Francis, para decirnos cuando nos equivocamos, ahí está para hacernoslo saber, pero sería muy incómodo hacer un programa en el que cada frase la tuviéramos que estar buscando en internet, pues lo mismo pasa con las inteligencias artificiales, entonces se puede hacer y se pueden mejorar las alucinaciones, Te aseguro, pues que te asegures buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de…