Búsqueda · 32 momentos en 15 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespofragmentos de juego aleatorios5 segundos tío girando pautaseis segundos coherencia en el juegoHéctor SocasYouTubeFrancis VillatoroPongDoomJuan Carlos GilRed Neuronal
Seis segundos coherencia en El juego
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20266 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas comenta sobre fragmentos de juego mostrados en un vídeo, señalando su brevedad y dificultad para distinguir si son aleatorios o no.
…Y en el vídeo explican un poco las cosas, pero yo creo que más interesante es en los enlaces que hay debajo del vídeo; hay enlaces a los repositorios de GitHub del código que usan, ¿no? Y eso puede ser más interesante en los comentarios que hay ahí. De todas formas, yo lo que veo en el vídeo, ponen trozos de juego, trocitos de juego, que yo no sabría distinguir; además son muy breves. Son muy breves, del azar, ¿verdad? Exacto, yo no sabría distinguir del azar; no sé si ustedes lo han visto, pero te ponen 5 segundos, un tío girando por la pauta, disparando. De hecho hay un momento, o sea, tú eliges, tú pones esa cosa grabando un rato y si puedes elegir, seguro que puedes elegir 5 o 6 segundos en los que aquello haga algo mínimamente coherente, pero hay un momento que se va contra una pared y empieza a disparar a la pared; además parece que va disparando regularmente, cada 2 segundos dispara. Y hay un momento que se queda frente a una pared y le va disparando a la pared mientras va caminando; o sea, no tiene sentido nada. No me convence que haya un propósito o que haya una, no sé, lo cual no quiere decir que no esté aprendiendo; que a lo mejor no…
Significado #1 · Palabras #1
Héctor Socas describe su sorpresa al descubrir que en el sistema neuronal cultivado para jugar Pong se utiliza un refuerzo positivo similar al empleado en el juego Doom, aunque sin retropropagación.
Habla: Héctor SocasSignificado #18refuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doom…un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes…
Francis Villatoro explica cómo se controla el sistema neuronal cultivado para jugar Pong, detallando que en cada momento solo se pueden activar hasta 32 electrodos y que esto permite realizar numerosas interacciones de juego.
Habla: Francis VillatoroSignificado #2electrodo neuronal para jugar ponginteracción de juego en 5 minutospaleta enorme en sistema neuronal…que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes todos los electrodos, los 1024 electrodos y después tienes la región de ruido. Se ve perfectamente porque se excitan muchos de ellos, más o menos aleatoriamente. En cada momento solo puedes excitar hasta 32, pero puedes elegir cuáles excitan. Entonces, de esa manera, en unos 5 minutos puedes proponer hasta 200 veces la interacción de juego: lo que es mover la bola hasta ver si choca con la pared o choca con la paleta. Recordad que la paleta es enorme. Pues en unos 5 minutos de entrenamiento, unas 300 etapas de entrenamiento, aparentemente el sistema neuronal aprende a jugar al juego. ¿Cómo codifico la posición? Fijaros que la bola tiene una posición horizontal y una posición vertical. La posición vertical…
Héctor Socas comenta sobre fragmentos de juego mostrados en un vídeo, señalando su brevedad y dificultad para distinguir si son aleatorios o no.
Habla: Héctor SocasSignificado #1 · Palabras #1fragmentos de juego aleatorios5 segundos tío girando pautaseis segundos coherencia en el juego…Y en el vídeo explican un poco las cosas, pero yo creo que más interesante es en los enlaces que hay debajo del vídeo; hay enlaces a los repositorios de GitHub del código que usan, ¿no? Y eso puede ser más interesante en los comentarios que hay ahí. De todas formas, yo lo que veo en el vídeo, ponen trozos de juego, trocitos de juego, que yo no sabría distinguir; además son muy breves. Son muy breves, del azar, ¿verdad? Exacto, yo no sabría distinguir del azar; no sé si ustedes lo han visto, pero te ponen 5 segundos, un tío girando por la pauta, disparando. De hecho hay un momento, o sea, tú eliges, tú pones esa cosa grabando un rato y si puedes elegir, seguro que puedes elegir 5 o 6 segundos en los que aquello haga algo mínimamente coherente, pero hay un momento que se va contra una pared y empieza a disparar a la pared; además parece que va disparando regularmente, cada 2 segundos dispara. Y hay un momento que se queda frente a una pared y le va disparando a la pared mientras va caminando; o sea, no tiene sentido nada. No me convence que haya un propósito o que haya una, no sé, lo cual no quiere decir que no esté aprendiendo; que a lo mejor no…
Héctor Socas comenta sobre la percepción de un sistema neuronal jugando al videojuego Doom, señalando que quienes creen que el sistema está realizando acciones inteligentes están equivocados.
Habla: Héctor SocasSignificado #11sistema neuronal jugando doomacciones inteligentes en doommodo pesadilla de doom…sea, no tiene sentido nada. No me convence que haya un propósito o que haya una, no sé, lo cual no quiere decir que no esté aprendiendo; que a lo mejor no sea exactamente azar, sino que sea, aunque le pegue tiros a la pared, sea un poquito mejor que el azar. Puede ser, pero la verdad es que si alguien piensa que el bicho está jugando a Doom, realmente haciendo cosas inteligentes, corriendo por un pasillo, agachándose detrás de una caja, disparando cuando ve un monstruo, no. El criterio es si se pasa el juego en modo pesadilla, ¿se acordáis que habíamos? Uf, no llegué. Había diferentes modos. Pero yo te digo. Por ahora la información de entrada y salida con ese tipo de procesador es muy, muy limitada. Es muy limitada. Al ser tan limitada, tienes que simplificar la esencia, aunque pongas imágenes de un juego Doom de verdad y se esté ejecutando ese juego Doom a…
Héctor Socas explica el proceso mediante el cual la información del juego llega a las redes neuronales, describiendo la función de un 'encoder' que comprime los datos.
Habla: Héctor SocasSignificado #14red neuronal encoderencoder comprime datos juegocapas comprimen parámetros…dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice…
Héctor Socas plantea un problema en el sistema híbrido: no se sabe con certeza qué red neuronal está contribuyendo a la mejora observada en el juego.
Habla: Héctor SocasSignificado #12red neuronal aprende comandos juegohipotética mejora aprendizaje juegotres redes neuronales contribuyen…y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido aprendiendo a jugar no sabemos cuál de las tres o las tres es la que ha estado aprendiendo. Evidentemente ellos no son tontos son conscientes de esto y Lo que han hecho es una ablación. Es decir, han probado a congelar el aprendizaje de las otras de forma que se mantiene, ya no aprenden más las artificiales y ven que aún así sigue habiendo mejora en el rendimiento, pero no sabemos cuánto es esa mejora; puede…