Búsqueda · 32 momentos en 21 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespored neuronal encoderencoder comprime datos juegocapas comprimen parámetrosencoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikesneuronas interpretadas en doominputs para el juego doomredes neuronales en doomred neuronal para interpretar examentraducir estímulos neuronas biológicasneuronas sin ojos conectadasred neuronal artificial aprendeseñales neuronales biológicas spikesinputs a neuronas biológicassistema híbrido estímulos eléctricosHéctor SocasDoomFrancis VillatoroID SoftwareGoogleMovimientos 37Juan CarlosWikipedia
Encoder comprime datos para Neuronas
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica la naturaleza híbrida del sistema, aclarando que no se basa únicamente en tejido neuronal, sino que incorpora un encoder para comprimir datos.
…dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces hay tres redes neuronales. Yo me voy a llevar una de esas, una red, para que me ayude a interpretar las preguntas de un examen que tengo que hacer. Me va a ayudar a interpretar las preguntas. Pero esto es como el juego del teléfono, parece que se van pasando, claro; entre que te pasas la información, igual al otro lado llega un poco... Lleva un poco procesada para ganar, a lo mejor. Entonces, claro, yo entiendo que es necesario, porque de alguna forma hay que traducirle lo que está produciendo el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido…
Significado #1 · Palabras #1
Juan Carlos Gil continúa la conversación sobre modelos de lenguaje, comparando su comportamiento con algoritmos de compresión que son óptimos en un solo caso y inútiles en el resto.
Habla: Juan Carlos GilPalabras #11modelo lenguaje bucle infinito c outalgoritmos compresión secuencia datosteoría compresión algoritmo óptimo bit…no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha recordado una de mis relaciones extrañas. Cuando se hace teoría de compresión se puede hacer un algoritmo óptimo para comprimir que reduzca cualquier secuencia de datos, cualquier fichero a un único bit dado esa secuencia de datos, le asignas el bit 1 y a cualquier otra distinta le pones un 0 seguido de la propia secuencia de datos. O sea, es óptimo para un caso, pero obviamente para los demás nos vale para absolutamente nada. De hecho, Héctor, en la página 8 del paper, la figura 2, me hace gracia que la calibración, o sea, está hablando de la calibración de los modelos, ¿no? Y te dice que con el sobreentrenamiento parece como si se empeorara de alguna manera, como que se vuelve…
Francis Villatoro menciona una revista prestigiosa especializada en neurociencia que tuvo gran repercusión al publicar un artículo sobre un procesador neuronal.
Habla: Francis VillatoroSignificado #5procesador neuronal neurociencianeuronas físicas electrodosmodelo pong procesador…que traiga usted este tema, porque es verdad que ha salido en muchos medios de comunicación y ha generado muchos titulares de esos, como dice Gastón, hiperbólicos y estaría bien que lo comentáramos un poco y lo desmitificáramos, ¿no? Así que, bueno, dale y… Una revista bastante prestigiosa en temas de neurociencia, y bueno, en su momento tuvo mucho eco; en su momento tuvo mucho eco, y en ese artículo usaban su procesador neuronal que combina neuronas físicas, verdaderas, digamos biológicas, con una serie de sensores a raíz de electrodos que permite introducir y leer, o sea, escribir y leer información en esa red de neuronas físicas, biológicas, y conectarlas con un ordenador que puede procesar algo. Entonces hicieron un modelo muy sencillito del juego Pong, del ping pong. Entonces en redes sociales la gente dijo: si haces el Pong tienes que hacer el Zoom. ¿Vale? Entonces, ¿qué pasa con eso? Pues que lo que pasa es que esta empresa lo que quiere, y de hecho lo comercializa, te lo vende, te vende este tipo de equipos para…
Héctor Socas aclara que la imagen de Doom mostrada no representa lo que realmente ven las neuronas, sino una versión simplificada del juego original.
Habla: Héctor SocasPalabras #6doom y id software en 1997código fuente de doom liberadogoogle para verificar datos…tú haces con el procesador este, en realidad el procesador ve un juego extremadamente simplificado, ve como una especie de esencia del Doom que consiste en disparar y moverme para izquierda y para la derecha casi aleatoriamente a ver cuánto mato. Pero si está tokenizado, o sea, entonces, voy a decir un par de cosas, Francis lo mencionó, hay una pantallita en la que se ve el Doom, pero eso no es lo que están viendo las neuronas, las neuronas no están viendo la imagen, esto, para empezar, no es el Doom, Doom, sino es una versión que, o sea, el ID Software, que es la empresa que lo creó, liberó el código fuente en 1997, pero, este dato lo miré hace poco, lo busqué en Google, no se lo pregunté un LLM, así que no es una alucinación El código está liberado pero los monstruitos, los demonios, las musiquitas todo eso no; todo eso tiene copyright entonces está hecho con un mod de esos que hace la gente y hay uno que es como muy estándar para hacer benchmarks entonces no es el Doom al que…
Héctor Socas explica la naturaleza híbrida del sistema, aclarando que no se basa únicamente en tejido neuronal, sino que incorpora un encoder para comprimir datos.
Habla: Héctor SocasSignificado #1 · Palabras #1red neuronal encoderencoder comprime datos juegocapas comprimen parámetrosencoder comprime datos para neuronaselectrodo inyecta señal a neuronasneuronas producen spikes propiosred neuronal artificial analiza spikesneuronas interpretadas en doominputs para el juego doomredes neuronales en doomred neuronal para interpretar examentraducir estímulos neuronas biológicasneuronas sin ojos conectadasred neuronal artificial aprendeseñales neuronales biológicas spikesinputs a neuronas biológicassistema híbrido estímulos eléctricos…dónde está el enemigo más cercano, dónde está el otro enemigo, dónde están, y esa información es la que recoge el aparato en general. Y ahora el aparato, en el aparato hay tres redes neuronales: una es la biológica y otras dos son electrónicas, artificiales. ¿Por qué? Porque primero, esa información que viene del juego va a una red neuronal que es un encoder, o sea coge toda esa información y pasa por una serie de capas que comprimen y sacan unos poquitos parámetros de ahí; eso se llama una red tipo encoder, es una red neuronal artificial electrónica. El sistema es híbrido, hay que tenerlo claro, no es solamente tejido neuronal. Entonces ese encoder saca unos pocos parámetros que son los que van a los electrodos que inyectan la señal a las neuronas. Los electrodos estimulan las neuronas con lo que le dice el encoder. Luego las neuronas producen también su propia señal, sus spikes, y esas señales van a otra red neuronal artificial que Es el decoder, que lo que hace es que toma lo que dicen las neuronas y lo convierte en inputs para el juego. Se lo pasa al ordenador que está corriendo el Doom para decirle: ahora dispara, ahora camina hacia la derecha, ahora camina hacia adelante. Entonces hay tres redes neuronales. Yo me voy a llevar una de esas, una red, para que me ayude a interpretar las preguntas de un examen que tengo que hacer. Me va a ayudar a interpretar las preguntas. Pero esto es como el juego del teléfono, parece que se van pasando, claro; entre que te pasas la información, igual al otro lado llega un poco... Lleva un poco procesada para ganar, a lo mejor. Entonces, claro, yo entiendo que es necesario, porque de alguna forma hay que traducirle lo que está produciendo el juego, porque las neuronas biológicas no tienen ojos, son como nosotros, son unas pocas neuronas ahí conectadas que no tienen sentido; entonces alguien les tiene que traducir a estímulos eléctricos lo que está pasando en el juego. ¿Y cómo lo hacemos? No sabemos cómo hacerlo, entonces cuando tú no sabes cómo hacer algo, lo mejor es poner una red neuronal y que aprenda. Entonces hay una red neuronal artificial, electrónica, que está aprendiendo cómo pasarle los inputs a las neuronas biológicas, y luego lo mismo a la inversa; las biológicas están empezando ahí a disparar spikes. ¿Y tú qué haces con eso? Pues no sabes entonces necesitas que alguien traduzca eso a comandos del juego entonces tienes otra red neuronal que también aprende y tal. Entonces, ¿cuál es el problema aquí? Que no sabemos si esa hipotética mejora que ellos dicen que han visto que ha ido…