Búsqueda · 25 momentos en 10 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Cresposistema neuronal cultivado comparado doompong simplificado entorno exteriordoom idealizado entornos complejosfrancis villatoro proyectos académicosprocesadores para sistemas neuronales cultivadosneuronas y electrodos en maquinitasimágenes de doom mientras se juegatrabajo interesante no comercialsistema neuronal con nutrientes básicosaprendizaje automático refuerzo francis villatorocostes energéticos versus tpusartículo 2024 comparan costes energíasistema neuronal cultivado elementalpong y entrenamiento de iabolas de neuronas con astrocitosPongGPUsTPUsFrancis VillatoroCPUsDoomHéctor SocasCortical LabsDish BrainCL1Science Cellplaca de PetriNeuronIPSCSinkhole
Sistema neuronal cultivado elemental
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 202613 momentos
Con
0:000:301:001:302:002:303:003:303:45
Francis Villatoro explica que el sistema neuronal cultivado es muy elemental, con pocas entradas que pueden interpretarse como binarias o un entero corto. Está comparando este sistema con los necesarios para entrenar una IA y resolver el juego Pong.
…la derecha o me muevo hacia la izquierda. Poco más, no puedes hacer nada más que los juegos del Doom, que haya jugado al Doom hace siglos. Yo en un trabajo fin de carrera con un estudiante hice un Doom, o sea, lo hizo el estudiante pero yo lo supervisé, eran cosas mucho más complicadas, teníamos rampitas, teníamos muchas cosas, cambiábamos de niveles, se hacían una cosa un poquito más, aquí no, aquí no se hace tanta cosa, o sea que prácticamente esto lo que es es un jugador aleatorio del Doom pero claro la cuestión es la cuestión clave es que en 2022 lo que se vendía es que este sistema era un sistema biológico que habíamos forzado a que aprendiera de un entorno exterior que en este caso era el juego del Pong simplificado y ahora por lo que se quiere vender es que puede entender entornos un poquito más complejos como puede ser un Doom idealizado que es lo que yo puedo meter ahí porque no le puedo dar un pantallazo ¿vale? En estas maquinitas, en estos procesadores hay una pantalla que se supone que te da información estadística de cómo están las neuronas y cómo están los electrodos y que, bueno, para el vídeo han hecho que emita las imágenes del juego Doom mientras lo va jugando. Pero bueno, no son las cosas de las empresas comerciales. Entonces es un trabajo muy interesante porque lo que nos abre un poco la puerta. Fijaros que estamos diciendo aprendizaje automático, bueno, eso que entre comillas, pero bueno, aprendizaje automático con refuerzo en un sistema neuronal biológico que yo mantengo básicamente echando alimentos, echando azúcar, echan ahí unas sustancias para que se queden vivas las células que están ahí, ¿no? Eso energéticamente es mucho más barato que tener una nave de CPUs o de GPUs o de TPUs que me está ejecutando mi software. Entonces tienen un artículo 2024 en el que comparan los costes, los costes en energía de su sistema biológico, que Digo hace una chorrada, porque esto, la verdad es que es una chorrada, porque estamos hablando de ocho entradas y que tú la puedes interpretar casi como entradas binarias o poco más, tienen muy poca codificación. Y una consideración de entero corto, un poco más. Es algo muy elemental. Entonces, comparar eso con un sistema de entrenamiento real para resolver el juego del Pong y hacen esa comparación y sacan que energéticamente esto es mucho más favorable y que va a haber un futuro maravilloso en el que, en lugar de GPUs y TPUs, pues todo el mundo utilizará este tipo de sistemas orgánicos, tanto en 2D sobre electrodos como en 3D, que es el tema en el que están trabajando ahora mucho, de quedar esas bolas, bolas de neuronas con astrocitos para que las alimenten y por fuera en la superficie con electrodos hacer pues toda la entrada y salida con esas bolas, ¿no? Pero no comparan el gasto energético no lo hacen por teraflop, ¿no? Porque si no, no, no, no, no, lo hacen por esto me ha gastado tanto y esto tanto para jugar al Pong, por aprendizaje, ¿vale? Dicen que esto aprende mucho más rápido, pero claro es que a las…
Significado #1 · Palabras #1
Francis Villatoro plantea dudas sobre si el software desarrollado por un individuo de Sinkhole es quien realmente aprende a jugar al Doom en el procesador neuronal de Cortical Labs, sugiriendo que la máquina física podría ser una mera excusa o ruido de fondo.
Habla: Francis VillatoroPalabras #19software sinkhole aprende doommáquina física como excusa transversalruido de la máquina físicapruebas aparentes de aprendizaje…y es lo que voy a contar ahora en el artículo era que aprendía sola a jugar al juego del Pong ha aprendido a jugar al Doom o en realidad lo que aprende es ese software que ha desarrollado este muchacho del Sinkhole y en realidad, bueno, sí, usa las entradas del sistema neuronal y emite señales al sistema neuronal, pero eso es como un ruido de fondo y lo que tú aprendes es de manera independiente. Pues no está demostrado que no, ¿vale? O sea, es posible que el software de este muchacho sea realmente el que aprende y que la máquina física sea solamente una excusa transversal; es ruido, yo veo ruido de la máquina y le meto ruido y me importa un comienzo lo haga la máquina. Él dice que no, que ha hecho una serie de pruebas que aparentan que, pero no está nada claro, ¿vale? No está nada claro; es decir, este vídeo de Doom básicamente es un es un hype, es un sensacionalismo por parte de la empresa que quiere vender sus equipos, vale, vale como 35.000 dólares cada uno de los pequeños dispositivos. Más caro que mi libro. Y duran seis meses, porque las neuronas…
Francis Villatoro explica cómo se crea una capa de neuronas para el sistema, utilizando cultivos de células madre pluripotentes inducidas (IPSC) obtenidas de humanos o ratones.
Habla: Francis VillatoroPalabras #17ipsc de humanos o ratóncultivo de neuronas en placas petri25000 ipsc por centímetro cuadradoastrocitos apoyando a las neuronas…de 26 .000 electrodos que algún día en el futuro desearíamos y soñamos que podamos acceder a cada uno. uno de ellos individualmente en escritura y lectura, pero que ahora mismo tenemos que seleccionar 32 suficientemente bien separados para poder escribir. En el juego Pong, que publicaron en 2022 en Neuron, solo se utilizaban 8, solo 8 electrodos de escritura. ¿Qué hacemos con esa matriz de electrodos? Lo que vamos a hacer es poner una capa de neuronas, pero por supuesto las neuronas necesitan una serie de células que las apoyen, astrocitos, entonces, ¿cómo yo pego ahí encima una capa de neuronas? Por lo que hago es un cultivo de neuronas, utilizando células madre pluripotentes inducidas, las famosas IPSC. Las puedo obtener a partir de humanos o a partir de ratón; aquí se han utilizado ambas, en experimentos diferentes obviamente. Yo puedo hacer un cultivo, unas placas de Petri con un alimento adecuado para que sobrevivan bien esas células pluripotentes, que son 24 pocillos, pues yo en cada pocillo meto unas 25.000 IPSC, células pluripotentes, por centímetro cuadrado y obtengo un cultivo del orden de un millón de estas células. Yo con ciertas sustancias químicas y con lentivirus puedo modificar Esas células pluripotentes y hacer que se diferencien, por ejemplo, neuronas. Entonces yo hago ese proceso, es un proceso que dura varios días, y se logra que del orden de unas 100.000, en lugar del millón, básicamente voy a colar millón, millón y pico de…
Francis Villatoro describe el proceso para integrar una capa neuronal cultivada en placa de Petri con la matriz de electrodos utilizada por Cortical Labs.
Habla: Francis VillatoroSignificado #5astrocitos de science cellcultivo neuronal con astrocitosrelación alimentación neuronas astrocitoscapa neuronal cultivada petrialimento para neuronaschupito con líquido y electrodos…varios días, y se logra que del orden de unas 100.000, en lugar del millón, básicamente voy a colar millón, millón y pico de células pluripotentes; voy a obtener del orden de unas 100.000 neuronas. Y además tengo que añadir astrocitos, los astrocitos no los Genero por diferenciación de las células pluripotentes, sino que los compro. Hay empresas que te lo venden, Science Cell en este caso, te vende astrocitos, entonces tú añades los astrocitos y todo esto durante varios días hace que, bueno, pues parezca que el sistema está funcionando y esas neuronas y esos astrocitos están bien conectados y hay una buena relación de alimentación de las neuronas a través de los astrocitos. Entonces, una vez que tienes ese cultivo ya funcional, ahora Lo sacas de tus pocillos de la placa de Petri y lo pones justo encima de los electrodos; esperas también un par de días para verificar que todo vaya bien, por supuesto le das alimento de vez en cuando. El vídeo se ve perfectamente; es como un chupito, vasito de chupito, pequeñito así, un plástico que tiene dentro un poquito de líquido y tienes ahí los electrodos y las neuronas justo encima de los electrodos. El artículo contiene obviamente imágenes por microscopía electrónica que te muestran perfectamente que se ven ahí los electrodos y se ven las neuronas encima, ¿no? Entonces, aunque inicialmente empecé con unas del orden del millón de células prolipotentes, al…
Francis Villatoro estima la cantidad de neuronas funcionales disponibles en el sistema neuronal cultivado, indicando una posible pérdida entre un factor de 1 a 4 desde el inicio.
Habla: Francis VillatoroSignificado #3neuronas funcionales sistema neuronalfactor de pérdida neuronas cultivadaselectrodo inyección señales eléctricas…ven las neuronas encima, ¿no? Entonces, aunque inicialmente empecé con unas del orden del millón de células prolipotentes, al final me quedo pues con un número de neuronas efectivo y funcionales que no sé muy bien cuál es, pero que puede ser pues del orden. pues pongamos de 100.000, ¿no? Puede haber un factor de 1 a 4 en lo que he perdido. Entonces lo que yo tengo son ahí unas neuronas que están vivas, que puedo sostener vivas durante meses, unos 6 meses, y a las que yo puedo, en algunos electrodos, inyectar señales eléctricas. Entonces yo ahora, de toda la distribución de los electrodos, lo que se hizo para reproducir el juego del Pong es, bueno, yo quiero una versión, juguete del Pong; el Pong, acordaros que era, era una pantalla negra con dos palitas a ambos lados, izquierda y…
Francis Villatoro aclara la terminología utilizada para referirse al sistema neuronal cultivado desarrollado por Cortical Labs, explicando la diferencia entre 'Dish Brain' (la parte biológica) y CL1 (el procesador híbrido completo).
Habla: Francis VillatoroPalabras #4dish brain como parte biológicacl1 procesador híbrido cortical labsinteligencia biológica sintética circuito…humano no falla nunca, ¿vale? Es una pala enorme, la pala es como dos veces y media, la pala es el tamaño del lado, entonces una bola que sale del lado opuesto, de la pared opuesta y esa bola se mueve, puede chocar con la pared y puede chocar con la paleta. entonces supuestamente el sistema neuronal, este circuito, esto que llaman inteligencia biológica sintética. Este circuito que en su momento original se llamó Dish Brain, cerebro en una placa de Petri, pero que ahora pues llaman CL1, el primer procesador de la compañía Cortical Labs. Creo que siguen llamando Dish Brain a la parte biológica de ese procesador, o sea que el procesador es todo el híbrido y Dish Brain creo que es la parte biológica, creo. Bueno, El nombre que le pusieron en el artículo 22 era Dish Beren y no hablaban de CL1, y ahora en publicidad hablan de CL1 por todos lados. Pero bueno, es lo mismo, lo venden, el CL1 lo venden. Entonces, ¿qué pasa? Bueno, pues yo tengo esa... ¿Perdón? No, solo…
Francis Villatoro explica cómo divide la región de electrodos para el sistema neuronal cultivado, diferenciando una región de entrada para detectar la posición de la pelota en el juego y dos regiones motoras.
Habla: Francis VillatoroSignificado #10región de entrada para detectar pelotasistema neuronal cultivado placa petridos regiones motoras del sistema…hablaban de CL1, y ahora en publicidad hablan de CL1 por todos lados. Pero bueno, es lo mismo, lo venden, el CL1 lo venden. Entonces, ¿qué pasa? Bueno, pues yo tengo esa... ¿Perdón? No, solo decir que a lo mejor Dish se puede referir a la placa de Petri, ¿no? Claro, claro, a la placa de Petri se refiere a eso. Entonces, yo divido la región de electrodos en tres lugares: un lugar, llamémosle región de entrada, la región en la que yo hago el sensado del juego, en este caso dónde está la pelota, y dos regiones que le llaman regiones motoras, que son Las regiones en las que yo voy a leer la información de las neuronas para decidir qué hago con la pala. Entonces yo puedo esas dos regiones neuronas, una considerar que es pala para arriba, si vamos a ver una tecla que yo voy tocando la flecha para arriba y…
Francis Villatoro explica que los resultados son mejores con neuronas humanas que con las de ratón en experimentos relacionados con el sistema neuronal cultivado y expresa su incertidumbre sobre la razón detrás de este fenómeno.
Habla: Francis VillatoroSignificado #12neuronas humanas mejores que ratónsistema neuronal cultivado 2022incertidumbre fenómeno neuronas humanas…abajo y yo muevo la flecha para arriba cuando esas dos regiones me marcan flecha para arriba y muevo la flecha para abajo cuando las dos regiones me marcan flecha para abajo. Y cuando hay conflicto y una marca para arriba y otra para abajo, pues no hago nada. Con eso se han obtenido mejores resultados. De hecho, se han obtenido mejores resultados con las neuronas humanas que con las neuronas de ratón. Entonces, esto en 2022 no se tenía ni idea y yo creo que todavía no se sabe por qué ocurren esas cosas. Oye, ¿y se les premia...? Ahí está el punto. La idea es mostrar que este sistema neuronal biológico puede aprender. Entonces, para aprender, tienes que utilizar un algoritmo de aprendizaje, aquí se usa un algoritmo de aprendizaje con refuerzo. Entonces lo que subyace a este trabajo es una hipótesis que…
Héctor Socas describe su sorpresa al descubrir que en el sistema neuronal cultivado para jugar Pong se utiliza un refuerzo positivo similar al empleado en el juego Doom, aunque sin retropropagación.
Habla: Héctor SocasSignificado #16 · Palabras #3refuerzo positivo en sistema neuronaljuego pong y doomfalta de retropropagación doomseñal regular en juego doom…un pequeño intervalo de tiempo y eso resulta que es la señal digamos de castigo si lo has hecho mal te castigo pensé que a lo mejor le quitaban la comida un rato la señal digamos de recompensa es no castigar vale si yo no pongo ruido no estoy castigando es Que el sistema está funcionando bien. Entonces yo voy jugando muchas veces. En el de Doom le ponen un refuerzo positivo que es una señal regular. Pueden ser varios pulsitos o alguna cosa regular. Pero sí, a mí eso me sorprendió. No hay retropropagación, obviamente. El refuerzo positivo o negativo es Meter ruido, o sea, algo caótico o algo regular. Es curioso eso. Es curioso. En el caso del Pong era sencillo porque era fácil de implementar. Dice Alicia Hurtado que le ponen reggaetón. Hay una figura en el artículo, un diagrama temporal; en vertical tienes…
Francis Villatoro explica cómo se codifica la posición vertical de la bola en el juego Pong utilizando ocho electrodos en una región específica del sistema neuronal cultivado.
Habla: Francis VillatoroPalabras #5electrodo codifica posición vertical pongregión sensitiva para juego pongocho electrodos posición verticalentrenamiento sistema neuronal juega pong…hasta 32, pero puedes elegir cuáles excitan. Entonces, de esa manera, en unos 5 minutos puedes proponer hasta 200 veces la interacción de juego: lo que es mover la bola hasta ver si choca con la pared o choca con la paleta. Recordad que la paleta es enorme. Pues en unos 5 minutos de entrenamiento, unas 300 etapas de entrenamiento, aparentemente el sistema neuronal aprende a jugar al juego. ¿Cómo codifico la posición? Fijaros que la bola tiene una posición horizontal y una posición vertical. La posición vertical la codifico con 8 electrodos en esa región sensitiva, en esa región de entrada. En esa región de entrada, que es una especie de rectángulo, yo elijo ocho electrodos, que son los ocho en los que voy a codificar la posición vertical. Entonces dependiendo de, solo voy a excitar uno de esos electrodos y es el que corresponda a, si eso está en horizontal lo pongo en vertical, a la posición vertical aproximada de la Bola, ¿y cómo codifico la posición horizontal con una frecuencia? La señal eléctrica que yo meto en ese electrodo, que tiene una pequeña duración, tiene una frecuencia. Si la frecuencia es de 4 hercios, es que la bola está en la pared opuesta a donde está la…
Francis Villatoro explica que el sistema neuronal cultivado es muy elemental, con pocas entradas que pueden interpretarse como binarias o un entero corto. Está comparando este sistema con los necesarios para entrenar una IA y resolver el juego Pong.
Habla: Francis VillatoroSignificado #1 · Palabras #1sistema neuronal cultivado comparado doompong simplificado entorno exteriordoom idealizado entornos complejosfrancis villatoro proyectos académicosprocesadores para sistemas neuronales cultivadosneuronas y electrodos en maquinitasimágenes de doom mientras se juegatrabajo interesante no comercialsistema neuronal con nutrientes básicosaprendizaje automático refuerzo francis villatorocostes energéticos versus tpusartículo 2024 comparan costes energíasistema neuronal cultivado elementalpong y entrenamiento de iabolas de neuronas con astrocitos…la derecha o me muevo hacia la izquierda. Poco más, no puedes hacer nada más que los juegos del Doom, que haya jugado al Doom hace siglos. Yo en un trabajo fin de carrera con un estudiante hice un Doom, o sea, lo hizo el estudiante pero yo lo supervisé, eran cosas mucho más complicadas, teníamos rampitas, teníamos muchas cosas, cambiábamos de niveles, se hacían una cosa un poquito más, aquí no, aquí no se hace tanta cosa, o sea que prácticamente esto lo que es es un jugador aleatorio del Doom pero claro la cuestión es la cuestión clave es que en 2022 lo que se vendía es que este sistema era un sistema biológico que habíamos forzado a que aprendiera de un entorno exterior que en este caso era el juego del Pong simplificado y ahora por lo que se quiere vender es que puede entender entornos un poquito más complejos como puede ser un Doom idealizado que es lo que yo puedo meter ahí porque no le puedo dar un pantallazo ¿vale? En estas maquinitas, en estos procesadores hay una pantalla que se supone que te da información estadística de cómo están las neuronas y cómo están los electrodos y que, bueno, para el vídeo han hecho que emita las imágenes del juego Doom mientras lo va jugando. Pero bueno, no son las cosas de las empresas comerciales. Entonces es un trabajo muy interesante porque lo que nos abre un poco la puerta. Fijaros que estamos diciendo aprendizaje automático, bueno, eso que entre comillas, pero bueno, aprendizaje automático con refuerzo en un sistema neuronal biológico que yo mantengo básicamente echando alimentos, echando azúcar, echan ahí unas sustancias para que se queden vivas las células que están ahí, ¿no? Eso energéticamente es mucho más barato que tener una nave de CPUs o de GPUs o de TPUs que me está ejecutando mi software. Entonces tienen un artículo 2024 en el que comparan los costes, los costes en energía de su sistema biológico, que Digo hace una chorrada, porque esto, la verdad es que es una chorrada, porque estamos hablando de ocho entradas y que tú la puedes interpretar casi como entradas binarias o poco más, tienen muy poca codificación. Y una consideración de entero corto, un poco más. Es algo muy elemental. Entonces, comparar eso con un sistema de entrenamiento real para resolver el juego del Pong y hacen esa comparación y sacan que energéticamente esto es mucho más favorable y que va a haber un futuro maravilloso en el que, en lugar de GPUs y TPUs, pues todo el mundo utilizará este tipo de sistemas orgánicos, tanto en 2D sobre electrodos como en 3D, que es el tema en el que están trabajando ahora mucho, de quedar esas bolas, bolas de neuronas con astrocitos para que las alimenten y por fuera en la superficie con electrodos hacer pues toda la entrada y salida con esas bolas, ¿no? Pero no comparan el gasto energético no lo hacen por teraflop, ¿no? Porque si no, no, no, no, no, lo hacen por esto me ha gastado tanto y esto tanto para jugar al Pong, por aprendizaje, ¿vale? Dicen que esto aprende mucho más rápido, pero claro es que a las…
Francis Villatoro describe un sistema nervioso simplificado con neuronas conectadas a electrodos, observando plasticidad y reorganización neuronal bajo estimulación y ruido.
Habla: Francis VillatoroSignificado #6plasticidad neuronal bajo estimulaciónreorganización neuronal con ruidosistema nervioso simplificado con electrodosneuronas biológicas jugando al doom…Pero no solo la campaña; claro, se supone que lo que están haciendo aquí es aprender. La idea es que es un algoritmo de aprendizaje implementado con neuronas biológicas que aprenden lo que yo quiero que aprendan. No aprenden lo que es de manera natural. Las neuronas en un entorno, en un sistema nervioso simplificado. Estos son neuronas puestas una encima de otra en unos electrodos, que tampoco tengo muchas cosas. Pero las imágenes de microscopía, por ejemplo, indican que hay una cierta plasticidad, es decir, que esas neuronas están vivas y que se reorganizan, conforme yo las voy excitando y las voy perjudicando metiéndose ruido. Pero digo, todo esto está todavía muy, muy verde, pero bueno, es algo que promete avances que habrá que seguir. Yo tengo bastantes dudas de que realmente, no digo que no, pero creo que no está claro que realmente estas neuronas biológicas estén aprendiendo a jugar al Doom. Entonces, yo estuve viendo el vídeo y en mi opinión, Aquí no hay paper, ya lo dijo Francis; el paper, el que hay, es el del PON de 2022, 2023, lo que sea. Aquí no se ha publicado nada, ni siquiera en Archive; no hay nada escrito. Hay un vídeo de YouTube que, bueno, pues tiene la credibilidad que cualquier vídeo…
Héctor Socas explica la naturaleza híbrida del sistema, aclarando que no se basa únicamente en tejido neuronal, sino que incorpora un encoder para comprimir datos.
Habla: Héctor SocasSignificado #4 · Palabras #9encoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikes…que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces…
Héctor Socas explica el proceso de traducción de estímulos eléctricos a señales neuronales en un sistema híbrido, proponiendo el uso de una red neuronal artificial para facilitar la comunicación entre componentes electrónicos y biológicos.
Habla: Héctor SocasSignificado #7 · Palabras #12red neuronal artificial aprendeseñales neuronales biológicas spikesinputs a neuronas biológicassistema híbrido estímulos eléctricos…el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido…