Búsqueda · 25 momentos en 11 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinacionesHéctor SocasCoffee BreakJuan CarlosPhysical Review LettersIgnacio CrespoAlzheimerMercadonaArgentinaChileGastón GiribetDavid BakerFrancis VillatoroWikipedia
Sociedad como factor de alucinaciones
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Significado #1 · Palabras #1
Héctor Socas introduce el tema de las alucinaciones en los grandes modelos de lenguaje, un problema actual en la inteligencia artificial que preocupa a la industria.
Habla: Héctor SocasSignificado #12 · Palabras #12alucinaciones en modelos lenguajeinteligencia artificial y la industriaamenaza alucinaciones inteligencia artificialindustria siglo xxi…cimientos del país. Fernando Arrabal, dice José Edelstein en el chat. ¿Cómo que José? ¿Está José Edelstein en el chat? Está ahí en el chat, sí, sí. ¿Pero qué hace José Edelstein en el chat? O alguien que le ha clonado muy bien el nombre y tal. Bueno, venga. vamos, decía yo que íbamos a hablar de las alucinaciones en los grandes modelos de lenguaje que parece que es el gran problema hoy en día en la inteligencia artificial y lo que tiene en vilo a toda esta gran industria que puede ser la gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando…
Héctor Socas aclara la diferencia entre las alucinaciones en neurociencia y el concepto técnico de 'fabulación' utilizado para describir los errores de los modelos de lenguaje.
Habla: Héctor SocasSignificado #4 · Palabras #7alucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausiblerelatos coherentes alzheimer mercadonaalucinaciones plausibles hector socaschamullar fabulación argentinaengrupir análogo chile…alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi casa” y nada de eso es cierto, pero ellos en su mente tienen el recuerdo de que eso ocurrió, ¿no? Y eso es lo que ocurre con estas alucinaciones: son plausibles. Puedo, puedo; hay un término en Argentina que es muy bueno, que es chamullar, que tiene un análogo en Chile que es engrupir, que no es lo mismo que engrupir en Argentina, chamullar, porque es como una fabulación en el sentido de lo que dice Héctor, que es verosímil, pero sin necesariamente una mala. intención de robarte dinero, sino que es agarro un poquito de acá, un poquito de allá y armo algo que tiene sentido y lo digo por decir, ¿no? Eso me suena más, en la Argentina tenemos esa acepción de fabulación, una fabulación que no necesariamente tiene una…
Héctor Socas introduce el tema de la conversación sobre cómo las empresas han trabajado para reducir las 'alucinaciones' en los modelos de lenguaje, tras una discusión previa sobre la falta de reconocimiento de desconocimiento en diversas fuentes de información.
Habla: Héctor SocasSignificado #20 · Palabras #14alucinaciones en modelos de lenguajepost-entrenamiento empresas desarrollo modelosjuan carlos y reconocimiento desconocimiento…Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo de palabras pero nunca reconoce, no es habitual en un libro, en una página de Wikipedia, en un blog, en un podcast, que digamos no sé. De eso que acaba de decir Juan Carlos es justamente de lo que vamos a hablar, del decir no sé y bueno, tiene que ver con todo esto. El desarrollo y también parte de la razón por la que alucina menos es porque esto ha sido un problema que ha despertado tanta atención que se han esforzado mucho en el post-entrenamiento las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos,…
Héctor Socas continúa la discusión sobre la replicación del comportamiento humano en modelos de lenguaje, comparando las 'alucinaciones' de la IA con los errores humanos comunes.
Habla: Héctor SocasPalabras #16equivocaciones humanas replicadasgafas en el estuche ejemplocaracterística humana equivocación…recordar algo, yo estoy seguro de que ayer yo puse las gafas en este estuche y resulta que cuando voy a mirar las gafas no están en el estuche, yo estoy segurísimo, eso nos pasa continuamente, entonces estamos intentando replicar comportamientos humanos, por Supuesto que vamos a replicar también ese comportamiento que en el caso humano no decimos que es una alucinación, decimos que es una equivocación: decimos ay me equivoqué, yo pensé que las gafas estaban en el estuche. Y de hecho es una característica casi que identitaria que atribuimos al ser humano, en realidad no es el ser. Humano, es cualquier red neuronal; cualquier animal que tenga una red neuronal se equivoca. Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus…
Héctor Socas continúa reflexionando sobre la naturaleza del error, extendiéndola a los modelos de lenguaje y otros animales, y plantea la posibilidad de que incluso las 'alucinaciones' puedan ser útiles en el ámbito científico.
Habla: Héctor SocasSignificado #2 · Palabras #8error útil en modelos de lenguajealucinaciones en cienciacasos paradigmáticos de alucinaciones…Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a ver, creo que no lo hemos comentado en Coffee Break, pero. Uno de los ganadores del premio Nobel de Química en 2024 con Alphafold; el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #11 · Palabras #6alucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas continúa la conversación sobre el uso productivo de las 'alucinaciones' en modelos de inteligencia artificial, mencionando un ejemplo previo de David Baker y sugiriendo que este fenómeno podría ser valioso incluso en campos creativos como el arte.
Habla: Héctor SocasSignificado #10 · Palabras #10alucinaciones david baker cienciaarte e inteligencia artificialcreatividad pura y dura ia…tras una validación rigurosa, pueden ser útiles para la ciencia. Así que eso, empezabas estos comentarios diciendo que no tiene por qué ser malo del todo la desviación del modelo de nuestro conocimiento adquirido. Pues sí, estoy de acuerdo, y él también. Sí. Sí, sí, pues mira, efectivamente yo ponía el ejemplo de David Baker, un uso productivo en ciencia de las alucinaciones, y aquí también, ¿no? Y seguro que, hombre, pues nuestro ámbito es el científico, pero seguro que en temas de arte y que sean más relacionados con creatividad pura y dura, seguramente las alucinaciones de la IA también serán muy interesantes. Y otro caso muy sencillo, cuando hacemos búsquedas en landscapes, en complicados, en diagramas de fases multidimensionales, queremos buscar un mínimo global, ¿verdad? Para no quedarnos atascados en mínimos locales, ¿qué hacemos? Pues le pegamos una pata a la…
Héctor Socas introduce un paper que estudia el origen de las alucinaciones en redes neuronales desde una perspectiva de teoría de aprendizaje computacional, diferenciando entre las alucinaciones intrínsecas y aquellas causadas por datos incorrectos en el entrenamiento.
Habla: Héctor SocasSignificado #8 · Palabras #11alucinaciones intrínsecas red neuronaldatos incorrectos conjunto entrenamientoteoría aprendizaje computacional alucinacionesmodelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasPalabras #2modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
Habla: Héctor SocasSignificado #1 · Palabras #1alucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinaciones…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Francis Villatoro expresa su frustración con las alucinaciones conceptuales en modelos de lenguaje, donde el flujo del lenguaje puede engañar y ocultar errores subyacentes.
Habla: Francis VillatoroPalabras #18alucinaciones conceptuales en modelosflujo del lenguaje engaña erroresretórica lingüística desvía el discursoerror conceptual cruza los cablesdetección crítica de alucinaciones…es que ya prácticamente no lo hace, pero sí que es verdad que un año y medio lo hacía mucho. La guía nos entrena a nosotros, a ver si estamos pendientes. Exacto, es para ver si estamos atentos y retroalimentación; a ver si vamos a acabar más tontos. A mí lo que más me molesta de las alucinaciones son las alucinaciones conceptuales, porque muchas veces creemos que un hilo argumental conceptualmente está bien enlazado porque fluye el lenguaje y el lenguaje te engaña. Y esa retórica lingüística te lleva por un camino, y después tú te lo lees varias veces; no me acabo de convencer, te lo lees varias veces y dices: no, pero es que aquí hay un error, o sea, hay un error conceptual aquí en medio que por alguna razón se le ha desviado el cable, se le ha cruzado los cables y me ha llevado a un sitio que no es el camino natural de cómo empezaba el discurso. Y ese tipo de cosas es muy difícil de detectar si no eres muy crítico. Y pasa a veces, porque ahora mismo escriben de manera Maravillosa. O sea, hay un artículo de New York Times reciente en el que, bueno, hay una encuesta; todavía está en vivo, en la que tú puedes leer una serie de textos y tienes que decir si es de IA o si es de humano y calificarlo si te gusta o no te gusta. Y…
Héctor Socas explica una posible solución para reducir las 'alucinaciones' en modelos de inteligencia artificial, comparándola con la necesidad de verificar cada afirmación en Wikipedia.
Habla: Héctor SocasPalabras #17alucinaciones modelos inteligencia artificialverificación wikipedia afirmaciones héctor socasfrancis villatoro corrige errores coffee break…otra pregunta: por ejemplo, pregunta Gabriel Osorio y si se entrenaran las IAs para ser un tanto inseguras, por entre comillas, de manera que comprueben en parte lo que dicen; y bueno, sí, esto se hace, o sea, de hecho, y de esto se habla en el paper, ¿no? Una forma de eliminar alucinaciones es forzar al modelo a que busque en internet cualquier información que va a dar, que la busque, que la compruebe en internet. que es un poco matar moscas a cañonazos, quiero decir, eso es como si nosotros no pudiéramos hablar, no pudiéramos hacer Coffee Break y tuviéramos que estar comprobando en la Wikipedia cada cosa que decimos, pues no, para eso está Francis, para decirnos cuando nos equivocamos, ahí está para hacernoslo saber, pero sería muy incómodo hacer un programa en el que cada frase la tuviéramos que estar buscando en internet, pues lo mismo pasa con las inteligencias artificiales, entonces se puede hacer y se pueden mejorar las alucinaciones, Te aseguro, pues que te asegures buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de…