Búsqueda · 30 momentos en 13 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalgoritmo aprendizaje refuerzo neuronalneuronas desagradan el ruidoseñal castigo neuronarefuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doomDoomHéctor SocasFrancis VillatoroCPUsGPUsTPUsSinkholePong
Refuerzo positivo en sistema neuronal
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20267 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas describe su sorpresa al descubrir que en el sistema neuronal cultivado para jugar Pong se utiliza un refuerzo positivo similar al empleado en el juego Doom, aunque sin retropropagación.
…De hecho, se han obtenido mejores resultados con las neuronas humanas que con las neuronas de ratón. Entonces, esto en 2022 no se tenía ni idea y yo creo que todavía no se sabe por qué ocurren esas cosas. Oye, ¿y se les premia...? Ahí está el punto. La idea es mostrar que este sistema neuronal biológico puede aprender. Entonces, para aprender, tienes que utilizar un algoritmo de aprendizaje, aquí se usa un algoritmo de aprendizaje con refuerzo. Entonces lo que subyace a este trabajo es una hipótesis que es la hipótesis del principio de energía libre que se interpreta en este contexto biológico como que a las neuronas les desagrada el ruido, recibir una excitación ruidosa en todos los electrodos que yo puedo controlar yo en todos los electrodos genero señales ruidosas sin un patrón durante un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes…
Significado #1 · Palabras #1
Francis Villatoro plantea dudas sobre si el software desarrollado por un individuo de Sinkhole es quien realmente aprende a jugar al Doom en el procesador neuronal de Cortical Labs, sugiriendo que la máquina física podría ser una mera excusa o ruido de fondo.
Habla: Francis VillatoroPalabras #19software sinkhole aprende doommáquina física como excusa transversalruido de la máquina físicapruebas aparentes de aprendizaje…y es lo que voy a contar ahora en el artículo era que aprendía sola a jugar al juego del Pong ha aprendido a jugar al Doom o en realidad lo que aprende es ese software que ha desarrollado este muchacho del Sinkhole y en realidad, bueno, sí, usa las entradas del sistema neuronal y emite señales al sistema neuronal, pero eso es como un ruido de fondo y lo que tú aprendes es de manera independiente. Pues no está demostrado que no, ¿vale? O sea, es posible que el software de este muchacho sea realmente el que aprende y que la máquina física sea solamente una excusa transversal; es ruido, yo veo ruido de la máquina y le meto ruido y me importa un comienzo lo haga la máquina. Él dice que no, que ha hecho una serie de pruebas que aparentan que, pero no está nada claro, ¿vale? No está nada claro; es decir, este vídeo de Doom básicamente es un es un hype, es un sensacionalismo por parte de la empresa que quiere vender sus equipos, vale, vale como 35.000 dólares cada uno de los pequeños dispositivos. Más caro que mi libro. Y duran seis meses, porque las neuronas…
Francis Villatoro estima la cantidad de neuronas funcionales disponibles en el sistema neuronal cultivado, indicando una posible pérdida entre un factor de 1 a 4 desde el inicio.
Habla: Francis VillatoroSignificado #10neuronas funcionales sistema neuronalfactor de pérdida neuronas cultivadaselectrodo inyección señales eléctricas…ven las neuronas encima, ¿no? Entonces, aunque inicialmente empecé con unas del orden del millón de células prolipotentes, al final me quedo pues con un número de neuronas efectivo y funcionales que no sé muy bien cuál es, pero que puede ser pues del orden. pues pongamos de 100.000, ¿no? Puede haber un factor de 1 a 4 en lo que he perdido. Entonces lo que yo tengo son ahí unas neuronas que están vivas, que puedo sostener vivas durante meses, unos 6 meses, y a las que yo puedo, en algunos electrodos, inyectar señales eléctricas. Entonces yo ahora, de toda la distribución de los electrodos, lo que se hizo para reproducir el juego del Pong es, bueno, yo quiero una versión, juguete del Pong; el Pong, acordaros que era, era una pantalla negra con dos palitas a ambos lados, izquierda y…
Héctor Socas describe su sorpresa al descubrir que en el sistema neuronal cultivado para jugar Pong se utiliza un refuerzo positivo similar al empleado en el juego Doom, aunque sin retropropagación.
Habla: Héctor SocasSignificado #1 · Palabras #1algoritmo aprendizaje refuerzo neuronalneuronas desagradan el ruidoseñal castigo neuronarefuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doom…De hecho, se han obtenido mejores resultados con las neuronas humanas que con las neuronas de ratón. Entonces, esto en 2022 no se tenía ni idea y yo creo que todavía no se sabe por qué ocurren esas cosas. Oye, ¿y se les premia...? Ahí está el punto. La idea es mostrar que este sistema neuronal biológico puede aprender. Entonces, para aprender, tienes que utilizar un algoritmo de aprendizaje, aquí se usa un algoritmo de aprendizaje con refuerzo. Entonces lo que subyace a este trabajo es una hipótesis que es la hipótesis del principio de energía libre que se interpreta en este contexto biológico como que a las neuronas les desagrada el ruido, recibir una excitación ruidosa en todos los electrodos que yo puedo controlar yo en todos los electrodos genero señales ruidosas sin un patrón durante un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes…
Francis Villatoro explica cómo un sistema neuronal cultivado, mantenido con nutrientes básicos, resulta energéticamente más eficiente que ejecutar software en procesadores como CPUs, GPUs o TPUs.
Habla: Francis VillatoroSignificado #14 · Palabras #2sistema neuronal con nutrientes básicosaprendizaje automático refuerzo francis villatorocostes energéticos versus tpusartículo 2024 comparan costes energía…están los electrodos y que, bueno, para el vídeo han hecho que emita las imágenes del juego Doom mientras lo va jugando. Pero bueno, no son las cosas de las empresas comerciales. Entonces es un trabajo muy interesante porque lo que nos abre un poco la puerta. Fijaros que estamos diciendo aprendizaje automático, bueno, eso que entre comillas, pero bueno, aprendizaje automático con refuerzo en un sistema neuronal biológico que yo mantengo básicamente echando alimentos, echando azúcar, echan ahí unas sustancias para que se queden vivas las células que están ahí, ¿no? Eso energéticamente es mucho más barato que tener una nave de CPUs o de GPUs o de TPUs que me está ejecutando mi software. Entonces tienen un artículo 2024 en el que comparan los costes, los costes en energía de su sistema biológico, que Digo hace una chorrada, porque esto, la verdad es que es una chorrada, porque estamos hablando de ocho entradas y que tú la puedes interpretar casi como entradas binarias o poco más, tienen muy poca codificación. Y una consideración de entero corto, un poco…
Francis Villatoro describe un sistema nervioso simplificado con neuronas conectadas a electrodos, observando plasticidad y reorganización neuronal bajo estimulación y ruido.
Habla: Francis VillatoroSignificado #6plasticidad neuronal bajo estimulaciónreorganización neuronal con ruidosistema nervioso simplificado con electrodosneuronas biológicas jugando al doom…Pero no solo la campaña; claro, se supone que lo que están haciendo aquí es aprender. La idea es que es un algoritmo de aprendizaje implementado con neuronas biológicas que aprenden lo que yo quiero que aprendan. No aprenden lo que es de manera natural. Las neuronas en un entorno, en un sistema nervioso simplificado. Estos son neuronas puestas una encima de otra en unos electrodos, que tampoco tengo muchas cosas. Pero las imágenes de microscopía, por ejemplo, indican que hay una cierta plasticidad, es decir, que esas neuronas están vivas y que se reorganizan, conforme yo las voy excitando y las voy perjudicando metiéndose ruido. Pero digo, todo esto está todavía muy, muy verde, pero bueno, es algo que promete avances que habrá que seguir. Yo tengo bastantes dudas de que realmente, no digo que no, pero creo que no está claro que realmente estas neuronas biológicas estén aprendiendo a jugar al Doom. Entonces, yo estuve viendo el vídeo y en mi opinión, Aquí no hay paper, ya lo dijo Francis; el paper, el que hay, es el del PON de 2022, 2023, lo que sea. Aquí no se ha publicado nada, ni siquiera en Archive; no hay nada escrito. Hay un vídeo de YouTube que, bueno, pues tiene la credibilidad que cualquier vídeo…
Héctor Socas explica la naturaleza híbrida del sistema, aclarando que no se basa únicamente en tejido neuronal, sino que incorpora un encoder para comprimir datos.
Habla: Héctor SocasSignificado #4 · Palabras #8encoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikes…que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces…
Héctor Socas explica el proceso de traducción de estímulos eléctricos a señales neuronales en un sistema híbrido, proponiendo el uso de una red neuronal artificial para facilitar la comunicación entre componentes electrónicos y biológicos.
Habla: Héctor SocasSignificado #11 · Palabras #13red neuronal artificial aprendeseñales neuronales biológicas spikesinputs a neuronas biológicassistema híbrido estímulos eléctricos…el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido…