Búsqueda · 31 momentos en 14 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Cresporedes neuronales y alucinacionesredes neuronales biológicas jugando doomweb cósmica y materia oscuraengranajes mecánicos sin contacto héctor socasHéctor SocasCoffee Break: Señal y RuidoDoomcara BDavid BakerAlphafoldLuisa AchaerandioOpenAIepisodio 549GoogleIgnacio Crespo
Redes Neuronales y alucinaciones
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202611 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas introduce una sección del programa centrada en temas relacionados con redes, desde las neuronales hasta la web cósmica y los engranajes mecánicos.
…con desconocidos si la tortilla con cebolla o sin cebolla. También fue el año en que cayó el muro de Berlín. Con el panorama actual casi da nostalgia recordar épocas en que la tendencia era derribar barreras y construir puentes hacia una cultura más global. Y hablando de redes y de conectar, hoy tenemos mucho de eso: tenemos redes neuronales, y nos preguntaremos por qué alucinan. ¡Alucina, vecina! Ya que estamos con nostalgia ochentera, y hablaremos también de redes neuronales, pero biológicas; a ver qué es eso de que hay un ordenador biológico jugando al Doom, y hablaremos también de otra web: la web cósmica, y redes de materia oscura, y para los que son un poco más antisociales, de engranajes mecánicos sin contacto. Les habla Héctor Socas y están ustedes en compañía de Coffee Break, Señal y Ruido Ya. Saben que tenemos una página web que es señalirruido.com y que ahí pueden encontrar toda la información sobre este programa; contactar con nosotros. Pueden contactarnos en redes sociales, seguirnos por ahí para dejarnos sus preguntas, comentarios, dudas, todo…
Significado #5 · Palabras #1
Héctor Socas introduce una sección del programa centrada en temas relacionados con redes, desde las neuronales hasta la web cósmica y los engranajes mecánicos.
Habla: Héctor SocasSignificado #5 · Palabras #1redes neuronales y alucinacionesredes neuronales biológicas jugando doomweb cósmica y materia oscuraengranajes mecánicos sin contacto héctor socas…con desconocidos si la tortilla con cebolla o sin cebolla. También fue el año en que cayó el muro de Berlín. Con el panorama actual casi da nostalgia recordar épocas en que la tendencia era derribar barreras y construir puentes hacia una cultura más global. Y hablando de redes y de conectar, hoy tenemos mucho de eso: tenemos redes neuronales, y nos preguntaremos por qué alucinan. ¡Alucina, vecina! Ya que estamos con nostalgia ochentera, y hablaremos también de redes neuronales, pero biológicas; a ver qué es eso de que hay un ordenador biológico jugando al Doom, y hablaremos también de otra web: la web cósmica, y redes de materia oscura, y para los que son un poco más antisociales, de engranajes mecánicos sin contacto. Les habla Héctor Socas y están ustedes en compañía de Coffee Break, Señal y Ruido Ya. Saben que tenemos una página web que es señalirruido.com y que ahí pueden encontrar toda la información sobre este programa; contactar con nosotros. Pueden contactarnos en redes sociales, seguirnos por ahí para dejarnos sus preguntas, comentarios, dudas, todo…
Héctor Socas aclara la diferencia entre las alucinaciones en neurociencia y el concepto técnico de 'fabulación' utilizado para describir los errores de los modelos de lenguaje.
Habla: Héctor SocasSignificado #14alucinaciones neurociencia vs fabulacionignacio crespo y la fabulaciónfabulación como invento plausible…alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos decía que deberíamos llamar fabulación, que es un invento plausible, por ejemplo. Esto pasa mucho lamentablemente con las personas de Alzheimer y tal, que te construyen un relato totalmente coherente sobre lo que hicieron por la mañana. Dicen: “No, me levanté y fui a hacer la compra a Mercadona y compré jamón serrano y luego me fui a mi…
Héctor Socas continúa la reflexión sobre la naturaleza del error, extendiendo el concepto más allá de los seres humanos para incluir a las redes neuronales y otros animales.
Habla: Héctor SocasPalabras #11error en redes neuronaleserrores de grandes modelos lenguajeprocesos mentales de perrosredes neuronales animales…humano no decimos que es una alucinación, decimos que es una equivocación: decimos ay me equivoqué, yo pensé que las gafas estaban en el estuche. Y de hecho es una característica casi que identitaria que atribuimos al ser humano, en realidad no es el ser. Humano, es cualquier red neuronal; cualquier animal que tenga una red neuronal se equivoca. Decimos muy a menudo: errar es humano, bueno, es humano y también es de grandes modelos de lenguaje y seguramente también es de perros. Si pudiéramos entender sus procesos mentales, todos nos equivocamos, los que pensamos y las redes neuronales también. Y luego una última cosa, es que igual está bien, igual que con las personas que se equivoquen y que alucinen hasta cierto punto; y en ciencia de hecho hay casos en los que esas alucinaciones han sido útiles, y el caso más paradigmático es: hay un, bueno a…
Héctor Socas continúa hablando sobre el uso de inteligencia artificial en la investigación científica, específicamente refiriéndose a cómo David Baker y su equipo utilizaron sistemas para predecir estructuras de proteínas.
Habla: Héctor SocasPalabras #5inteligencia artificial david bakerpredicción estructuras proteínasalucinaciones redes neuronalesproteínas inexistentes sistemas inteligencia artificial…el otro, o sea la mitad del premio fue para Alphafold, la otra mitad fue para David Baker que su equipo, pues, iba a decir inventó, pero no puede inventar proteínas, pero como que descubrió montones de proteínas nuevas, más de 100 de ellas las han patentado. y David Baker dice que para ellos fue muy útil el utilizar sistemas de inteligencia artificial que predecían estructuras de proteínas y que alucinaban y que muchas de esas alucinaciones que predecían proteínas que no existían, pues muchas eran cosas totalmente inservibles. Pero de vez en cuando encontraban ideas que les abrían caminos para avanzar, porque dentro de ese mundo de fabulaciones, de inventos que hacía la red neuronal, pues algunos eran prolíficas Entonces bueno, quería decir eso un poco. Entonces, el paper que vamos a comentar es un paper que es de septiembre del año pasado; yo lo vi comentado en Twitter y me despertó la... porque no lo había visto. Había visto otros parecidos pero este me pareció particularmente…
Héctor Socas explica cómo los modelos de lenguaje, cuando no están seguros, tienden a hacer conjeturas o 'guesses', y describe un artículo científico que investiga las alucinaciones desde una perspectiva teórica del aprendizaje computacional.
Habla: Héctor SocasSignificado #7alucinaciones modelos lenguajeaprendizaje computacional alucinacionesteoría del aprendizaje computacionalprocesos semilla alucinación…no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje computacional; y entonces hacen dos cosas. Lo primero es intentar entenderlo y desde un punto de vista teórico hay diferentes tipos de alucinaciones introducidas por diferentes procesos, y cada uno de estos procesos es como una semilla de la cual puede aparecer una alucinación que luego es amplificada por todo el procesamiento de la red. Entonces lo importante es que se nos está uniendo Silvana a la tertulia, voy a darle paso aquí a la sala mientras se va conectando, me está diciendo Gastón que te tienes que ir también en 5 minutos, vale, vale, vale, pues bueno, aquí tenemos a Silvana, hola…
Héctor Socas anuncia una pausa para continuar con el segundo segmento del programa ('cara B'), donde se analizará un artículo científico sobre las alucinaciones en redes neuronales y otros temas.
Habla: Héctor SocasSignificado #2 · Palabras #3alucinaciones en redes neuronalesnaturaleza de la red neuronalpaper sobre alucinacionesredes neuronales y paper openaitokenización según luisa achaerandiocerebritos de silicio en coffee break…queremos buscar un mínimo global, ¿verdad? Para no quedarnos atascados en mínimos locales, ¿qué hacemos? Pues le pegamos una pata a la pelota, salta de valle y aumentamos mediante el azar la probabilidad de encontrar una mejor solución. Es semejante, pues sí. Bueno, pues lo dicho, vamos a hacer la pausita; vamos a seguir en la cara B y les cuento ya para terminar lo que dice este paper sobre las alucinaciones y cómo se podría eso mejorar y sobre todo cuánto de conectado están con la propia naturaleza de la red neuronal. Nada, y luego seguiremos con otros temas muy interesantes que tenemos para la cara B. Recuerden, si nos están escuchando en la radio, que esa cara B y el resto del programa lo tienen que buscar en internet; nos tienen que buscar en el podcast, ¿vale? Así que allí nos vemos, nos vemos en el podcast en la cara B en un minuto. Venga, hasta ahora; chao, chao. Ya. Bienvenidos a esta cara B del episodio 549 de Coffee Break, Señal y Ruido Bueno, pues nada, seguimos destripando las redes neuronales, o más bien metiéndoles el bisturí en sus cerebritos de silicio a ver por qué alucinan con este paper del que estábamos hablando, producido por investigadores de OpenAI Luisa, me decías que tenías algún comentario sobre el proceso este de la tokenización de que hablábamos, ¿no? Pues sí, porque es verdad que hay algunos conceptos que los utilizamos habitualmente y como que no sabemos definirlos y es algo que como profesora me fastidia. O sea, creo que hay que empezar por lo que es la definición y bueno, pues buscando un poco, no es que sea yo experta para nada, pero se puede entender token como una unidad mínima de texto. y eso no significa que sea una palabra, sino que tú, como tienes que…
Héctor Socas introduce un paper que estudia el origen de las alucinaciones en redes neuronales desde una perspectiva de teoría de aprendizaje computacional, diferenciando entre las alucinaciones intrínsecas y aquellas causadas por datos incorrectos en el entrenamiento.
Habla: Héctor SocasSignificado #1 · Palabras #2alucinaciones intrínsecas red neuronaldatos incorrectos conjunto entrenamientoteoría aprendizaje computacional alucinaciones…dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es…
Héctor Socas resume un argumento presentado en un paper sobre modelos de lenguaje, criticando su tendencia a atribuir las alucinaciones a factores externos como la sociedad.
Habla: Héctor SocasSignificado #3 · Palabras #4alucinaciones de modelos lenguajeredes neuronales y alucinacionespaper sobre responsabilidad en alucinacionessociedad como factor de alucinaciones…par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la…
Héctor Socas explica el proceso mediante el cual la información del juego llega a las redes neuronales, describiendo la función de un 'encoder' que comprime los datos.
Habla: Héctor SocasPalabras #14red neuronal encoderencoder comprime datos juegocapas comprimen parámetros…dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice…
Héctor Socas explica el proceso de traducción de estímulos eléctricos a señales neuronales en un sistema híbrido, proponiendo el uso de una red neuronal artificial para facilitar la comunicación entre componentes electrónicos y biológicos.
Habla: Héctor SocasSignificado #12 · Palabras #18red neuronal artificial aprendeseñales neuronales biológicas spikesinputs a neuronas biológicassistema híbrido estímulos eléctricos…el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido…
Héctor Socas explica cómo los participantes en una discusión buscan verificar información abstracta y matemática, similar a como se verifica en internet, y concluye sobre un porcentaje mínimo de error inevitable en el entrenamiento de redes neuronales.
Habla: Héctor SocasPalabras #7error inevitable en redes neuronalespre-entrenamiento de red neuronalalucinación modelo sustituibleutilidad versus grado de error…buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de que hay un porcentaje mínimo de. error que no te puedes quitar de encima en el entrenamiento, en el pre-entrenamiento de la red neuronal. y a partir de ahí, claro, tú puedes hacer todo lo que quieras y al final siempre puedes borrar lo que ponga el modelo y sustituirlo por no lo sé y ya has resuelto el problema, no hay ninguna alucinación, pero hay que compaginar esto, la utilidad con el grado de error que estás dispuesto a tolerar, o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las…