Búsqueda · 18 momentos en 6 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalucinaciones en modelos lenguajeinteligencia artificial y la industriaamenaza alucinaciones inteligencia artificialindustria siglo xxialucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidadalucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausibleHéctor SocasFrancis VillatoroCoffee BreakWikipediaGoogleRevolución FrancesaDavid BakerAlphafoldOpenAIDeepSeqIgnacio Crespo
Alucinaciones De la Inteligencia Artificial
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas introduce el tema de las alucinaciones en los grandes modelos de lenguaje, un problema actual en la inteligencia artificial que preocupa a la industria.
…cimientos del país. Fernando Arrabal, dice José Edelstein en el chat. ¿Cómo que José? ¿Está José Edelstein en el chat? Está ahí en el chat, sí, sí. ¿Pero qué hace José Edelstein en el chat? O alguien que le ha clonado muy bien el nombre y tal. Bueno, venga. vamos, decía yo que íbamos a hablar de las alucinaciones en los grandes modelos de lenguaje que parece que es el gran problema hoy en día en la inteligencia artificial y lo que tiene en vilo a toda esta gran industria que puede ser la gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi…
Significado #1 · Palabras #5
Héctor Socas introduce el tema de las alucinaciones en los grandes modelos de lenguaje, un problema actual en la inteligencia artificial que preocupa a la industria.
Habla: Héctor SocasSignificado #1 · Palabras #5alucinaciones en modelos lenguajeinteligencia artificial y la industriaamenaza alucinaciones inteligencia artificialindustria siglo xxialucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidadalucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausible…cimientos del país. Fernando Arrabal, dice José Edelstein en el chat. ¿Cómo que José? ¿Está José Edelstein en el chat? Está ahí en el chat, sí, sí. ¿Pero qué hace José Edelstein en el chat? O alguien que le ha clonado muy bien el nombre y tal. Bueno, venga. vamos, decía yo que íbamos a hablar de las alucinaciones en los grandes modelos de lenguaje que parece que es el gran problema hoy en día en la inteligencia artificial y lo que tiene en vilo a toda esta gran industria que puede ser la gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi…
Héctor Socas explica por qué se critica a la inteligencia artificial por generar alucinaciones, argumentando que su función principal ya la cumplen otras herramientas como Google y Wikipedia.
Habla: Héctor SocasSignificado #14 · Palabras #7google como acceso directo a datoswikipedia como conocimiento enciclopédicoalucinaciones de la inteligencia artificialrevolución francesa en google…las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos, veraces, factuales y tal, tenemos compilaciones de datos; teníamos antes enciclopedias en libros, ahora las tenemos en páginas web. Y desde que hubo la revolución de los buscadores, sobre todo en la de Google, tenemos un acceso muy directo a todos esos datos. Entonces, si yo quiero saber cuándo la revolución francesa, yo lo pongo en Google, me salga la Wikipedia o cualquier cosa y yo voy y miro el dato. Yo no quiero una inteligencia artificial para que me diga datos. Eso está en las enciclopedias. Como decía un amigo mío, bueno, un amigo mío, Carlos González, que hace tiempo que no viene, dice: “Eso está en los libros”. ¿Vale? Oye, Carlos, ¿cuándo das?. Eso está en los libros, no me preguntes por eso. Cuando yo quiero, o sea, cuando tenemos la…
Héctor Socas continúa reflexionando sobre la naturaleza del error, extendiéndola a los modelos de lenguaje y otros animales, y plantea la posibilidad de que incluso las 'alucinaciones' puedan ser útiles en el ámbito científico.
Habla: Héctor SocasSignificado #15error útil en modelos de lenguajealucinaciones en cienciacasos paradigmáticos de alucinaciones…Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a ver, creo que no lo hemos comentado en Coffee Break, pero. Uno de los ganadores del premio Nobel de Química en 2024 con Alphafold; el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que…
Héctor Socas continúa hablando sobre el uso de inteligencia artificial en la investigación científica, específicamente refiriéndose a cómo David Baker y su equipo utilizaron sistemas para predecir estructuras de proteínas.
Habla: Héctor SocasPalabras #10inteligencia artificial david bakerpredicción estructuras proteínasalucinaciones redes neuronalesproteínas inexistentes sistemas inteligencia artificial…el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que descubrió montones de proteínas nuevas, más de 100 de ellas las han patentado. y David Baker dice que para ellos fue muy útil el utilizar sistemas de inteligencia artificial que predecían estructuras de proteínas y que alucinaban y que muchas de esas alucinaciones que predecían proteínas que no existían, pues muchas eran cosas totalmente inservibles. Pero de vez en cuando encontraban ideas que les abrían caminos para avanzar, porque dentro de ese mundo de fabulaciones, de inventos que hacía la red neuronal, pues algunos eran prolíficas Entonces bueno, quería decir eso un poco. Entonces, el paper que vamos a comentar es un paper que es de septiembre del año pasado; yo lo vi comentado en Twitter y me despertó la... porque no lo había visto. Había visto otros parecidos pero este me pareció particularmente…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #17alucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas continúa la conversación sobre el uso productivo de las 'alucinaciones' en modelos de inteligencia artificial, mencionando un ejemplo previo de David Baker y sugiriendo que este fenómeno podría ser valioso incluso en campos creativos como el arte.
Habla: Héctor SocasSignificado #8 · Palabras #16alucinaciones david baker cienciaarte e inteligencia artificialcreatividad pura y dura ia…tras una validación rigurosa, pueden ser útiles para la ciencia. Así que eso, empezabas estos comentarios diciendo que no tiene por qué ser malo del todo la desviación del modelo de nuestro conocimiento adquirido. Pues sí, estoy de acuerdo, y él también. Sí. Sí, sí, pues mira, efectivamente yo ponía el ejemplo de David Baker, un uso productivo en ciencia de las alucinaciones, y aquí también, ¿no? Y seguro que, hombre, pues nuestro ámbito es el científico, pero seguro que en temas de arte y que sean más relacionados con creatividad pura y dura, seguramente las alucinaciones de la IA también serán muy interesantes. Y otro caso muy sencillo, cuando hacemos búsquedas en landscapes, en complicados, en diagramas de fases multidimensionales, queremos buscar un mínimo global, ¿verdad? Para no quedarnos atascados en mínimos locales, ¿qué hacemos? Pues le pegamos una pata a la…
Héctor Socas explica un problema clave identificado por los autores del paper sobre modelos de lenguaje: las pruebas y comparaciones (benchmarks) utilizadas en inteligencia artificial, en lugar de minimizar las alucinaciones, tienden a amplificarlas.
Habla: Héctor SocasPalabras #17benchmarks amplifican alucinaciones openaicomparaciones deepseq inteligencia artificialpruebas modelos lenguaje amplifican errores…paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican un problema clave. Según ellos, El gran problema es que en lugar de tender a minimizar las alucinaciones, hay un mecanismo que las amplifica en la forma en la que trabajamos con inteligencia artificial; y es el hecho de que las sometemos a pruebas, estos benchmarks. Siempre vemos en los artículos cómo se compara el último modelo de OpenAI con el último de DeepSeq, con el no sé qué; ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a…
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
Habla: Héctor SocasSignificado #16alucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinaciones…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Héctor Socas explica una posible solución para reducir las 'alucinaciones' en modelos de inteligencia artificial, comparándola con la necesidad de verificar cada afirmación en Wikipedia.
Habla: Héctor SocasSignificado #5 · Palabras #8alucinaciones modelos inteligencia artificialverificación wikipedia afirmaciones héctor socasfrancis villatoro corrige errores coffee break…otra pregunta: por ejemplo, pregunta Gabriel Osorio y si se entrenaran las IAs para ser un tanto inseguras, por entre comillas, de manera que comprueben en parte lo que dicen; y bueno, sí, esto se hace, o sea, de hecho, y de esto se habla en el paper, ¿no? Una forma de eliminar alucinaciones es forzar al modelo a que busque en internet cualquier información que va a dar, que la busque, que la compruebe en internet. que es un poco matar moscas a cañonazos, quiero decir, eso es como si nosotros no pudiéramos hablar, no pudiéramos hacer Coffee Break y tuviéramos que estar comprobando en la Wikipedia cada cosa que decimos, pues no, para eso está Francis, para decirnos cuando nos equivocamos, ahí está para hacernoslo saber, pero sería muy incómodo hacer un programa en el que cada frase la tuviéramos que estar buscando en internet, pues lo mismo pasa con las inteligencias artificiales, entonces se puede hacer y se pueden mejorar las alucinaciones, Te aseguro, pues que te asegures buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de…