Búsqueda · 19 momentos en 6 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Cresporefuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doomsistema neuronal jugando pongalicia hurtado y reggaetóndiagrama temporal artículo electrodosregión de ruido en electrodoselectrodo neuronal para jugar ponginteracción de juego en 5 minutospaleta enorme en sistema neuronalelectrodo codifica posición vertical pongregión sensitiva para juego pongocho electrodos posición verticalentrenamiento sistema neuronal juega pongPongFrancis VillatoroAlicia Hurtado1024 electrodosGPUsTPUsDoomSinkholeTPUGPUJuan Carlos GilHéctor SocasRed NeuronalGoogle
Entrenamiento sistema neuronal juega Pong
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202611 momentos
Con
0:000:301:001:302:002:303:003:303:45
Francis Villatoro explica cómo se codifica la posición vertical de la bola en el juego Pong utilizando ocho electrodos en una región específica del sistema neuronal cultivado.
…un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes todos los electrodos, los 1024 electrodos y después tienes la región de ruido. Se ve perfectamente porque se excitan muchos de ellos, más o menos aleatoriamente. En cada momento solo puedes excitar hasta 32, pero puedes elegir cuáles excitan. Entonces, de esa manera, en unos 5 minutos puedes proponer hasta 200 veces la interacción de juego: lo que es mover la bola hasta ver si choca con la pared o choca con la paleta. Recordad que la paleta es enorme. Pues en unos 5 minutos de entrenamiento, unas 300 etapas de entrenamiento, aparentemente el sistema neuronal aprende a jugar al juego. ¿Cómo codifico la posición? Fijaros que la bola tiene una posición horizontal y una posición vertical. La posición vertical la codifico con 8 electrodos en esa región sensitiva, en esa región de entrada. En esa región de entrada, que es una especie de rectángulo, yo elijo ocho electrodos, que son los ocho en los que voy a codificar la posición vertical. Entonces dependiendo de, solo voy a excitar uno de esos electrodos y es el que corresponda a, si eso está en horizontal lo pongo en vertical, a la posición vertical aproximada de la Bola, ¿y cómo codifico la posición horizontal con una frecuencia? La señal eléctrica que yo meto en ese electrodo, que tiene una pequeña duración, tiene una frecuencia. Si la frecuencia es de 4 hercios, es que la bola está en la pared opuesta a donde está la…
Significado #1 · Palabras #1
Francis Villatoro menciona una revista prestigiosa especializada en neurociencia que tuvo gran repercusión al publicar un artículo sobre un procesador neuronal.
Habla: Francis VillatoroSignificado #18 · Palabras #16procesador neuronal neurociencianeuronas físicas electrodosmodelo pong procesador…que traiga usted este tema, porque es verdad que ha salido en muchos medios de comunicación y ha generado muchos titulares de esos, como dice Gastón, hiperbólicos y estaría bien que lo comentáramos un poco y lo desmitificáramos, ¿no? Así que, bueno, dale y… Una revista bastante prestigiosa en temas de neurociencia, y bueno, en su momento tuvo mucho eco; en su momento tuvo mucho eco, y en ese artículo usaban su procesador neuronal que combina neuronas físicas, verdaderas, digamos biológicas, con una serie de sensores a raíz de electrodos que permite introducir y leer, o sea, escribir y leer información en esa red de neuronas físicas, biológicas, y conectarlas con un ordenador que puede procesar algo. Entonces hicieron un modelo muy sencillito del juego Pong, del ping pong. Entonces en redes sociales la gente dijo: si haces el Pong tienes que hacer el Zoom. ¿Vale? Entonces, ¿qué pasa con eso? Pues que lo que pasa es que esta empresa lo que quiere, y de hecho lo comercializa, te lo vende, te vende este tipo de equipos para…
Francis Villatoro explica que el sistema neuronal biológico ha aprendido a jugar al Doom, comparándolo con la forma en que aprendió a jugar al Pong. Menciona un software desarrollado por alguien de Sinkhole y cómo este utiliza las entradas.
Habla: Francis VillatoroSignificado #7 · Palabras #3sistema neuronal biológico doomsoftware sinkhole entradaspong como aprendizaje inicial…un niño al Doom, un niño ciego al Doom; un niño ciego al Doom jugando al Doom, o sea, no ve la pantalla, no ve lo que pasa, lo que hace es disparar aleatoriamente y rotar aleatoriamente y mata por casualidad y solo funciona en cierto trocillo del juego Doom. estamos hablando de una cosa de juguete absolutamente y después por supuesto también de las críticas ha aprendido ese sistema neuronal biológico cómo se juega el Doom porque lo que vendían con el Pong y es lo que voy a contar ahora en el artículo era que aprendía sola a jugar al juego del Pong ha aprendido a jugar al Doom o en realidad lo que aprende es ese software que ha desarrollado este muchacho del Sinkhole y en realidad, bueno, sí, usa las entradas del sistema neuronal y emite señales al sistema neuronal, pero eso es como un ruido de fondo y lo que tú aprendes es de manera independiente. Pues no está demostrado que no, ¿vale? O sea, es posible que el software de este muchacho sea realmente el que…
Francis Villatoro explica cómo se pretende reproducir el juego Pong utilizando un sistema neuronal cultivado, describiendo la mecánica básica del juego original.
Habla: Francis VillatoroSignificado #3 · Palabras #4juego pong reproducido sistema neuronalpalitas pong izquierda derechabola pong rebotando paredespalita grande sistema neuronalpared como paleta ponghumano no falla en pong…100.000, ¿no? Puede haber un factor de 1 a 4 en lo que he perdido. Entonces lo que yo tengo son ahí unas neuronas que están vivas, que puedo sostener vivas durante meses, unos 6 meses, y a las que yo puedo, en algunos electrodos, inyectar señales eléctricas. Entonces yo ahora, de toda la distribución de los electrodos, lo que se hizo para reproducir el juego del Pong es, bueno, yo quiero una versión, juguete del Pong; el Pong, acordaros que era, era una pantalla negra con dos palitas a ambos lados, izquierda y derecha, paquillas pequeñitas, que yo podía mover hacia arriba y hacia abajo. Dos jugadores con un mando, uno controla una palita y otro controla la otra palita y una pequeña bola que va rebotando en las paredes y que tú tienes que hacer que rebote en tu palita. Bueno, pues aquí Héctor se ha simplificado un poquito, ¿vale? No hay dos palitas, solo hay una, solo hay una palita. Esa palita es prácticamente como la mitad de la pared, ¿vale? No es una palita pequeña, es una pared grande, no, no, no, es una palita enorme, una pared; tú dices, este pon, no falla ni, un humano no falla nunca, ¿vale? Es una pala enorme, la pala es como dos veces y media, la pala es el tamaño del lado, entonces una bola que sale del lado opuesto, de la pared opuesta y esa bola se mueve, puede chocar con la pared y puede chocar con la paleta. entonces supuestamente el sistema neuronal, este circuito, esto que llaman inteligencia biológica sintética. Este circuito que en su momento original se llamó Dish Brain, cerebro en una placa de Petri, pero que ahora pues llaman CL1, el primer procesador de…
Francis Villatoro explica cómo se codifica la posición vertical de la bola en el juego Pong utilizando ocho electrodos en una región específica del sistema neuronal cultivado.
Habla: Francis VillatoroSignificado #1 · Palabras #1refuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doomsistema neuronal jugando pongalicia hurtado y reggaetóndiagrama temporal artículo electrodosregión de ruido en electrodoselectrodo neuronal para jugar ponginteracción de juego en 5 minutospaleta enorme en sistema neuronalelectrodo codifica posición vertical pongregión sensitiva para juego pongocho electrodos posición verticalentrenamiento sistema neuronal juega pong…un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes todos los electrodos, los 1024 electrodos y después tienes la región de ruido. Se ve perfectamente porque se excitan muchos de ellos, más o menos aleatoriamente. En cada momento solo puedes excitar hasta 32, pero puedes elegir cuáles excitan. Entonces, de esa manera, en unos 5 minutos puedes proponer hasta 200 veces la interacción de juego: lo que es mover la bola hasta ver si choca con la pared o choca con la paleta. Recordad que la paleta es enorme. Pues en unos 5 minutos de entrenamiento, unas 300 etapas de entrenamiento, aparentemente el sistema neuronal aprende a jugar al juego. ¿Cómo codifico la posición? Fijaros que la bola tiene una posición horizontal y una posición vertical. La posición vertical la codifico con 8 electrodos en esa región sensitiva, en esa región de entrada. En esa región de entrada, que es una especie de rectángulo, yo elijo ocho electrodos, que son los ocho en los que voy a codificar la posición vertical. Entonces dependiendo de, solo voy a excitar uno de esos electrodos y es el que corresponda a, si eso está en horizontal lo pongo en vertical, a la posición vertical aproximada de la Bola, ¿y cómo codifico la posición horizontal con una frecuencia? La señal eléctrica que yo meto en ese electrodo, que tiene una pequeña duración, tiene una frecuencia. Si la frecuencia es de 4 hercios, es que la bola está en la pared opuesta a donde está la…
Francis Villatoro explica cómo codifica la posición horizontal de la bola en Pong utilizando la posición física del electrodo y la vertical con otros electrodos. Además, describe cómo se genera ruido cuando la bola impacta contra la pared sin ser interceptada por la pala.
Habla: Francis VillatoroSignificado #11 · Palabras #11posición horizontal con electrodo pongruido al impactar bola pared pongimpacto pala pong sin ruidopong y servicios en la nubemejora de pong hasta 2026cloud para acceso a pong…frecuencia. Si la frecuencia es de 4 hercios, es que la bola está en la pared opuesta a donde está la pala y la frecuencia crece linealmente conforme la bola se va acercando hasta una frecuencia máxima de 40 hercios en la pared en la que se encuentra la pala. entonces con frecuencia codifico la posición horizontal con posición física del electrodo, codifico la posición en vertical y si la bola cuando llega a la pala choca contra la pala pues no hay ruido y cuando llega a la pared porque la pala no la ha chocado pues genera el ruido que se supone que debe de molestar a ese sistema neuronal. Y así se consiguió, de una manera muy muy sencillita, que más o menos jugara el juego, el juego del Pong, es una cosa muy simplificada, entonces eso es lo que tenemos y eso no ha mejorado significativamente hasta 2026. Al menos lo que se ofrece en el cloud, en el sistema este de servicio o en la nube para acceder a este tipo de equipos, lo que se ofrece. Son este tipo de dispositivos, que son los que se venden comercialmente. Entonces, implementar solo con eso, es decir, con la posibilidad de tener muy poquitos, estamos hablando de 4, 5, 6 electrodos para recibir información de las neuronas y tener 8, 10…
Francis Villatoro explica las limitaciones actuales del sistema neuronal cultivado, comparándolo con un jugador aleatorio de Doom y contrastando su complejidad con proyectos anteriores realizados durante sus trabajos académicos.
Habla: Francis VillatoroSignificado #15 · Palabras #15sistema neuronal cultivado comparado doompong simplificado entorno exteriordoom idealizado entornos complejosfrancis villatoro proyectos académicosprocesadores para sistemas neuronales cultivadosneuronas y electrodos en maquinitasimágenes de doom mientras se juegatrabajo interesante no comercial…la derecha o me muevo hacia la izquierda. Poco más, no puedes hacer nada más que los juegos del Doom, que haya jugado al Doom hace siglos. Yo en un trabajo fin de carrera con un estudiante hice un Doom, o sea, lo hizo el estudiante pero yo lo supervisé, eran cosas mucho más complicadas, teníamos rampitas, teníamos muchas cosas, cambiábamos de niveles, se hacían una cosa un poquito más, aquí no, aquí no se hace tanta cosa, o sea que prácticamente esto lo que es es un jugador aleatorio del Doom pero claro la cuestión es la cuestión clave es que en 2022 lo que se vendía es que este sistema era un sistema biológico que habíamos forzado a que aprendiera de un entorno exterior que en este caso era el juego del Pong simplificado y ahora por lo que se quiere vender es que puede entender entornos un poquito más complejos como puede ser un Doom idealizado que es lo que yo puedo meter ahí porque no le puedo dar un pantallazo ¿vale? En estas maquinitas, en estos procesadores hay una pantalla que se supone que te da información estadística de cómo están las neuronas y cómo están los electrodos y que, bueno, para el vídeo han hecho que emita las imágenes del juego Doom mientras lo va jugando. Pero bueno, no son las cosas de las empresas comerciales. Entonces es un trabajo muy interesante porque lo que nos abre un poco la puerta. Fijaros que estamos diciendo aprendizaje automático, bueno, eso que entre comillas, pero bueno, aprendizaje automático con refuerzo en un sistema neuronal biológico que yo mantengo básicamente echando alimentos, echando azúcar, echan ahí unas sustancias para…
Francis Villatoro explica que el sistema neuronal cultivado es muy elemental, con pocas entradas que pueden interpretarse como binarias o un entero corto. Está comparando este sistema con los necesarios para entrenar una IA y resolver el juego Pong.
Habla: Francis VillatoroSignificado #6 · Palabras #2sistema neuronal cultivado elementalpong y entrenamiento de iabolas de neuronas con astrocitosgasto energético sistemas neuronalestpu y gpu para pongaprendizaje más rápido en tpuspong versión juguete sistema neuronalestudiante programa pong simplificadotpus y gpus implementaciones completas…que están ahí, ¿no? Eso energéticamente es mucho más barato que tener una nave de CPUs o de GPUs o de TPUs que me está ejecutando mi software. Entonces tienen un artículo 2024 en el que comparan los costes, los costes en energía de su sistema biológico, que Digo hace una chorrada, porque esto, la verdad es que es una chorrada, porque estamos hablando de ocho entradas y que tú la puedes interpretar casi como entradas binarias o poco más, tienen muy poca codificación. Y una consideración de entero corto, un poco más. Es algo muy elemental. Entonces, comparar eso con un sistema de entrenamiento real para resolver el juego del Pong y hacen esa comparación y sacan que energéticamente esto es mucho más favorable y que va a haber un futuro maravilloso en el que, en lugar de GPUs y TPUs, pues todo el mundo utilizará este tipo de sistemas orgánicos, tanto en 2D sobre electrodos como en 3D, que es el tema en el que están trabajando ahora mucho, de quedar esas bolas, bolas de neuronas con astrocitos para que las alimenten y por fuera en la superficie con electrodos hacer pues toda la entrada y salida con esas bolas, ¿no? Pero no comparan el gasto energético no lo hacen por teraflop, ¿no? Porque si no, no, no, no, no, lo hacen por esto me ha gastado tanto y esto tanto para jugar al Pong, por aprendizaje, ¿vale? Dicen que esto aprende mucho más rápido, pero claro es que a las TPUs o a las GPUs les dan de verdad un juego del Pong, no les dan una. chorrada como esta, que esto es una estantería, ¿vale? El juego que han metido es una versión súper simplificada, muy de juguete, ¿vale? O sea, que se programa en cuatro líneas, bueno, en cuatro líneas de código no, pero en muy poquitas líneas de código un estudiante del programa, porque es un juego extremadamente simplificado. De hecho, un LLM te puede dar el código para programar ese juego que luego le pongas a las neuronas biológicas. Hay una pregunta sobre comparación entre neuronas electrónicas y biológicas, podemos luego en la sección de preguntas; podemos sacar el tema un…
Héctor Socas comenta sobre la percepción de un sistema neuronal jugando al videojuego Doom, señalando que quienes creen que el sistema está realizando acciones inteligentes están equivocados.
Habla: Héctor SocasSignificado #13sistema neuronal jugando doomacciones inteligentes en doommodo pesadilla de doom…sea, no tiene sentido nada. No me convence que haya un propósito o que haya una, no sé, lo cual no quiere decir que no esté aprendiendo; que a lo mejor no sea exactamente azar, sino que sea, aunque le pegue tiros a la pared, sea un poquito mejor que el azar. Puede ser, pero la verdad es que si alguien piensa que el bicho está jugando a Doom, realmente haciendo cosas inteligentes, corriendo por un pasillo, agachándose detrás de una caja, disparando cuando ve un monstruo, no. El criterio es si se pasa el juego en modo pesadilla, ¿se acordáis que habíamos? Uf, no llegué. Había diferentes modos. Pero yo te digo. Por ahora la información de entrada y salida con ese tipo de procesador es muy, muy limitada. Es muy limitada. Al ser tan limitada, tienes que simplificar la esencia, aunque pongas imágenes de un juego Doom de verdad y se esté ejecutando ese juego Doom a…
Héctor Socas plantea la posibilidad de utilizar una red neuronal para interpretar preguntas de un examen, comparando el proceso con el 'juego del teléfono' y destacando la necesidad de traducir los estímulos generados por las neuronas.
Habla: Héctor SocasSignificado #12neuronas interpretadas en doominputs para el juego doomredes neuronales en doomred neuronal para interpretar examentraducir estímulos neuronas biológicasneuronas sin ojos conectadas…son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces hay tres redes neuronales. Yo me voy a llevar una de esas, una red, para que me ayude a interpretar las preguntas de un examen que tengo que hacer. Me va a ayudar a interpretar las preguntas. Pero esto es como el juego del teléfono, parece que se van pasando, claro; entre que te pasas la información, igual al otro lado llega un poco... Lleva un poco procesada para ganar, a lo mejor. Entonces, claro, yo entiendo que es necesario, porque de alguna forma hay que traducirle lo que está produciendo el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo…
Héctor Socas plantea un problema en el sistema híbrido: no se sabe con certeza qué red neuronal está contribuyendo a la mejora observada en el juego.
Habla: Héctor SocasSignificado #10 · Palabras #13red neuronal aprende comandos juegohipotética mejora aprendizaje juegotres redes neuronales contribuyen…y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido aprendiendo a jugar no sabemos cuál de las tres o las tres es la que ha estado aprendiendo. Evidentemente ellos no son tontos son conscientes de esto y Lo que han hecho es una ablación. Es decir, han probado a congelar el aprendizaje de las otras de forma que se mantiene, ya no aprenden más las artificiales y ven que aún así sigue habiendo mejora en el rendimiento, pero no sabemos cuánto es esa mejora; puede…
Héctor Socas explica cómo los participantes en una discusión buscan verificar información abstracta y matemática, similar a como se verifica en internet, y concluye sobre un porcentaje mínimo de error inevitable en el entrenamiento de redes neuronales.
Habla: Héctor SocasPalabras #14error inevitable en redes neuronalespre-entrenamiento de red neuronalalucinación modelo sustituibleutilidad versus grado de error…buscándolo en internet, pero ellos lo que querían era ir a la esencia, a lo básico; ver si desde un punto de vista abstracto matemático se puede establecer alguna relación y efectivamente llegan a formalizar la conclusión de que hay un porcentaje mínimo de. error que no te puedes quitar de encima en el entrenamiento, en el pre-entrenamiento de la red neuronal. y a partir de ahí, claro, tú puedes hacer todo lo que quieras y al final siempre puedes borrar lo que ponga el modelo y sustituirlo por no lo sé y ya has resuelto el problema, no hay ninguna alucinación, pero hay que compaginar esto, la utilidad con el grado de error que estás dispuesto a tolerar, o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las…