Búsqueda · 32 momentos en 13 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespomod de doom para investigaciónparámetros del juego disponiblesredes neuronales artificiales dare xxy21posición jugador enemigo cercanored neuronal encoderencoder comprime datos juegocapas comprimen parámetrosencoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikesneuronas interpretadas en doominputs para el juego doomredes neuronales en doomHéctor SocasDoomYouTubeFrancis VillatoroPongTPUGPURed NeuronalMovimientos 37Juan CarlosGoogleWikipediaID SoftwareProfesor FalkenJuan Carlos GilRonald GordoLLM
Encoder comprime datos juego
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el proceso mediante el cual la información del juego llega a las redes neuronales, describiendo la función de un 'encoder' que comprime los datos.
…para empezar, no es el Doom, Doom, sino es una versión que, o sea, el ID Software, que es la empresa que lo creó, liberó el código fuente en 1997, pero, este dato lo miré hace poco, lo busqué en Google, no se lo pregunté un LLM, así que no es una alucinación El código está liberado pero los monstruitos, los demonios, las musiquitas todo eso no; todo eso tiene copyright entonces está hecho con un mod de esos que hace la gente y hay uno que es como muy estándar para hacer benchmarks entonces no es el Doom al que hemos jugado, es una versión del Doom digamos para investigación y entonces hay un ordenador que está corriendo el Doom y la información, los parámetros, las variables, la posición o sea, los parámetros están disponibles para el sistema; el sistema no está viendo la pantalla, está recibiendo los datos de dónde está el jugador, dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces hay tres redes neuronales. Yo me voy a llevar una de esas, una red, para que me ayude a interpretar las preguntas de un examen que tengo que hacer. Me va a ayudar a interpretar las preguntas. Pero esto es como el juego del teléfono, parece que se van pasando, claro; entre que te pasas…
Significado #1 · Palabras #1
Juan Carlos Gil continúa la conversación sobre modelos de lenguaje, comparando su comportamiento con algoritmos de compresión que son óptimos en un solo caso y inútiles en el resto.
Habla: Juan Carlos GilSignificado #10 · Palabras #10modelo lenguaje bucle infinito c outalgoritmos compresión secuencia datosteoría compresión algoritmo óptimo bit…no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha recordado una de mis relaciones extrañas. Cuando se hace teoría de compresión se puede hacer un algoritmo óptimo para comprimir que reduzca cualquier secuencia de datos, cualquier fichero a un único bit dado esa secuencia de datos, le asignas el bit 1 y a cualquier otra distinta le pones un 0 seguido de la propia secuencia de datos. O sea, es óptimo para un caso, pero obviamente para los demás nos vale para absolutamente nada. De hecho, Héctor, en la página 8 del paper, la figura 2, me hace gracia que la calibración, o sea, está hablando de la calibración de los modelos, ¿no? Y te dice que con el sobreentrenamiento parece como si se empeorara de alguna manera, como que se vuelve…
Héctor Socas y Juan Carlos Gil discuten sobre cómo jugar repetidamente a un juego puede ser una forma de desarrollar inteligencia, haciendo referencia a la película 'Guerreros' (WarGames) y al personaje del Profesor Falken.
Habla: Héctor SocasSignificado #18juego como desarrollo inteligencia…Mundial. Y ese concepto de como toda una línea de inteligencia artificial que empieza con AlphaGo y que nos lleva a revoluciones como el premio Nobel de 2024 por el plegamiento de proteínas y toda otra serie de cosas que está haciendo Dima, empiezan con Una máquina jugando muchas partidas a un juego, ¿no? O sea, cómo jugar mucho a un juego puede ser una forma de desarrollar una potencia de inteligencia. ¿Qué juego tan extraño? El único movimiento ganador es no jugar, ¿verdad? Profesor Falken. Sí, claro, la película sale del tercer raya, todo el rollo. Bueno, pero eso, todo eso parte de, claro, la película. El profesor Falken, este, o Falken, como se llame, es una especie como de reflejo de Fornoyman. Y Fornomen es el padre de la teoría de juegos, su versión moderna. Básicamente escribió los juegos de suma cero y es el matemático. Nash es el que plantea los de…
Francis Villatoro explica cómo se codifica la posición vertical de la bola en el juego Pong utilizando ocho electrodos en una región específica del sistema neuronal cultivado.
Habla: Francis VillatoroSignificado #11electrodo codifica posición vertical pongregión sensitiva para juego pongocho electrodos posición verticalentrenamiento sistema neuronal juega pong…hasta 32, pero puedes elegir cuáles excitan. Entonces, de esa manera, en unos 5 minutos puedes proponer hasta 200 veces la interacción de juego: lo que es mover la bola hasta ver si choca con la pared o choca con la paleta. Recordad que la paleta es enorme. Pues en unos 5 minutos de entrenamiento, unas 300 etapas de entrenamiento, aparentemente el sistema neuronal aprende a jugar al juego. ¿Cómo codifico la posición? Fijaros que la bola tiene una posición horizontal y una posición vertical. La posición vertical la codifico con 8 electrodos en esa región sensitiva, en esa región de entrada. En esa región de entrada, que es una especie de rectángulo, yo elijo ocho electrodos, que son los ocho en los que voy a codificar la posición vertical. Entonces dependiendo de, solo voy a excitar uno de esos electrodos y es el que corresponda a, si eso está en horizontal lo pongo en vertical, a la posición vertical aproximada de la Bola, ¿y cómo codifico la posición horizontal con una frecuencia? La señal eléctrica que yo meto en ese electrodo, que tiene una pequeña duración, tiene una frecuencia. Si la frecuencia es de 4 hercios, es que la bola está en la pared opuesta a donde está la…
Francis Villatoro compara la versión simplificada del juego Pong utilizado en el sistema neuronal cultivado con una implementación más completa ejecutada en procesadores como TPUs o GPUs.
Habla: Francis VillatoroSignificado #8pong versión juguete sistema neuronalestudiante programa pong simplificadotpus y gpus implementaciones completasllm para programar juegosneuronas biológicas y llmronald gordo y francis…si no, no, no, no, no, lo hacen por esto me ha gastado tanto y esto tanto para jugar al Pong, por aprendizaje, ¿vale? Dicen que esto aprende mucho más rápido, pero claro es que a las TPUs o a las GPUs les dan de verdad un juego del Pong, no les dan una. chorrada como esta, que esto es una estantería, ¿vale? El juego que han metido es una versión súper simplificada, muy de juguete, ¿vale? O sea, que se programa en cuatro líneas, bueno, en cuatro líneas de código no, pero en muy poquitas líneas de código un estudiante del programa, porque es un juego extremadamente simplificado. De hecho, un LLM te puede dar el código para programar ese juego que luego le pongas a las neuronas biológicas. Hay una pregunta sobre comparación entre neuronas electrónicas y biológicas, podemos luego en la sección de preguntas; podemos sacar el tema un poquito más en profundidad. Quiero aclarar porque preguntaba por aquí Ronald Gordo decía, pero esto no lo había contado ya o algo parecido a Francis; yo creo que está hablando de cuando contaste Francis. Que corría el Doom, una estudiante de MIT hizo un entretenimiento, un juguete que también publicó en un vídeo donde hacía un display con bacterias, bacterias bioluminescentes y en ese display corría el Doom. Bueno, visualizaba el Doom; visualizaba el Doom,…
Héctor Socas comenta sobre fragmentos de juego mostrados en un vídeo, señalando su brevedad y dificultad para distinguir si son aleatorios o no.
Habla: Héctor SocasSignificado #5fragmentos de juego aleatorios5 segundos tío girando pautaseis segundos coherencia en el juego…Y en el vídeo explican un poco las cosas, pero yo creo que más interesante es en los enlaces que hay debajo del vídeo; hay enlaces a los repositorios de GitHub del código que usan, ¿no? Y eso puede ser más interesante en los comentarios que hay ahí. De todas formas, yo lo que veo en el vídeo, ponen trozos de juego, trocitos de juego, que yo no sabría distinguir; además son muy breves. Son muy breves, del azar, ¿verdad? Exacto, yo no sabría distinguir del azar; no sé si ustedes lo han visto, pero te ponen 5 segundos, un tío girando por la pauta, disparando. De hecho hay un momento, o sea, tú eliges, tú pones esa cosa grabando un rato y si puedes elegir, seguro que puedes elegir 5 o 6 segundos en los que aquello haga algo mínimamente coherente, pero hay un momento que se va contra una pared y empieza a disparar a la pared; además parece que va disparando regularmente, cada 2 segundos dispara. Y hay un momento que se queda frente a una pared y le va disparando a la pared mientras va caminando; o sea, no tiene sentido nada. No me convence que haya un propósito o que haya una, no sé, lo cual no quiere decir que no esté aprendiendo; que a lo mejor no…
Francis Villatoro explica que, aunque se muestren imágenes de un juego Doom completo, el procesador utilizado solo ve una versión muy simplificada del mismo.
Habla: Francis VillatoroSignificado #13doom y procesador simplificadoesencia de doom disparar y moverseprocesador ve juego extremadamente simplificadofrancis villatoro analiza doom…cosas inteligentes, corriendo por un pasillo, agachándose detrás de una caja, disparando cuando ve un monstruo, no. El criterio es si se pasa el juego en modo pesadilla, ¿se acordáis que habíamos? Uf, no llegué. Había diferentes modos. Pero yo te digo. Por ahora la información de entrada y salida con ese tipo de procesador es muy, muy limitada. Es muy limitada. Al ser tan limitada, tienes que simplificar la esencia, aunque pongas imágenes de un juego Doom de verdad y se esté ejecutando ese juego Doom a partir de lo que tú haces con el procesador este, en realidad el procesador ve un juego extremadamente simplificado, ve como una especie de esencia del Doom que consiste en disparar y moverme para izquierda y para la derecha casi aleatoriamente a ver cuánto mato. Pero si está tokenizado, o sea, entonces, voy a decir un par de cosas, Francis lo mencionó, hay una pantallita en la que se ve el Doom, pero eso no es lo que están viendo las neuronas, las neuronas no están viendo la imagen, esto, para empezar, no es el Doom, Doom, sino…
Héctor Socas explica el proceso mediante el cual la información del juego llega a las redes neuronales, describiendo la función de un 'encoder' que comprime los datos.
Habla: Héctor SocasSignificado #1 · Palabras #1mod de doom para investigaciónparámetros del juego disponiblesredes neuronales artificiales dare xxy21posición jugador enemigo cercanored neuronal encoderencoder comprime datos juegocapas comprimen parámetrosencoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikesneuronas interpretadas en doominputs para el juego doomredes neuronales en doom…para empezar, no es el Doom, Doom, sino es una versión que, o sea, el ID Software, que es la empresa que lo creó, liberó el código fuente en 1997, pero, este dato lo miré hace poco, lo busqué en Google, no se lo pregunté un LLM, así que no es una alucinación El código está liberado pero los monstruitos, los demonios, las musiquitas todo eso no; todo eso tiene copyright entonces está hecho con un mod de esos que hace la gente y hay uno que es como muy estándar para hacer benchmarks entonces no es el Doom al que hemos jugado, es una versión del Doom digamos para investigación y entonces hay un ordenador que está corriendo el Doom y la información, los parámetros, las variables, la posición o sea, los parámetros están disponibles para el sistema; el sistema no está viendo la pantalla, está recibiendo los datos de dónde está el jugador, dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces hay tres redes neuronales. Yo me voy a llevar una de esas, una red, para que me ayude a interpretar las preguntas de un examen que tengo que hacer. Me va a ayudar a interpretar las preguntas. Pero esto es como el juego del teléfono, parece que se van pasando, claro; entre que te pasas…
Héctor Socas plantea un problema en el sistema híbrido: no se sabe con certeza qué red neuronal está contribuyendo a la mejora observada en el juego.
Habla: Héctor SocasSignificado #9red neuronal aprende comandos juegohipotética mejora aprendizaje juegotres redes neuronales contribuyen…y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido aprendiendo a jugar no sabemos cuál de las tres o las tres es la que ha estado aprendiendo. Evidentemente ellos no son tontos son conscientes de esto y Lo que han hecho es una ablación. Es decir, han probado a congelar el aprendizaje de las otras de forma que se mantiene, ya no aprenden más las artificiales y ven que aún así sigue habiendo mejora en el rendimiento, pero no sabemos cuánto es esa mejora; puede…
Héctor Socas expresa su escepticismo sobre la inteligencia demostrada en un sistema híbrido neuronal para jugar a Doom, incluso considerando posibles sesgos en la selección de datos.
Habla: Héctor SocasPalabras #20sistema neuronal híbrido para doomsesgos en selección datos doomfalta voluntad en juego doom…de forma que se mantiene, ya no aprenden más las artificiales y ven que aún así sigue habiendo mejora en el rendimiento, pero no sabemos cuánto es esa mejora; puede que no sea estadísticamente significativa, puede que sea marginal, hombre, algo aprenderán. Son neuronas, de alguna forma; si realmente tienes un sistema de estímulo, respuesta, recompensa, penalización, algo aprenderán, pero es significativo; no sé, yo digo, a mí lo que se ve en el vídeo no me da la impresión de algo impresionante, de decir: oye, realmente veo aquí una voluntad en lo que estoy viendo en el juego; y ya digo, incluso aunque solo sea por cherry picking, me sorprende que no sean capaces de coger 5 segundos de juego en el que, por lo menos, parezca que hay algo mínimamente inteligente; no lo hay. Así que está muy bien, yo creo que esto despierta, es como, no sé, me parece propagandístico, creo que es lo que decía Francis, que esto despierta fascinación porque enseguida nos viene el concepto de el cerebro en un tarro, pero encima ese tarro metido en el…