Búsqueda · 26 momentos en 8 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindevaluar estado partida juego gométricas para redes neuronalesaprendizaje mejora red neuronalmétrica optimiza aprendizaje redes neuronalesminimizar error estado partida ajedrezdensidad piezas centro tablero ajedrezrey acorralado indica ventaja ajedrezHéctor Socasjuego GoFrancis Villatoro
Métrica optimiza aprendizaje Redes Neuronales
Con
0:000:301:001:302:002:303:003:33
Héctor Socas explica cómo una métrica es necesaria para optimizar el aprendizaje en redes neuronales, comparándolo con la evaluación del estado de una partida de ajedrez.
…más y asegurar la victoria, que no es lo mismo. Pero yo es que también quería sacar ese punto que justamente decía Alberto. El hecho de que no se trata solo de enseñarte a jugar y cómo mejorar el estado actual, ¿qué jugada me permite mejorar el estado actual? Sino que para yo saber si estoy mejorando el estado actual o no, tengo que saber evaluar el estado de la partida. Una cosa muy importante en una red neuronal es saber tener una métrica de cuánto de bien estás haciendo el trabajo, porque el aprendizaje de una red neuronal se trata de mejorar aquello que te hace que la Métrica que tú estás usando se optimice, o sea que tú minimices el error de lo que estás haciendo; hacer cosas que minimicen el error entonces para eso necesitas saber, dado el estado de la partida, saber cuánto de bueno es ese estado. Por ejemplo, en ajedrez, más o menos, tú sabes que más o menos el que tiene más piezas y el que tiene más o menos el centro del tablero tiene mayor densidad de piezas por el centro del tablero va ganando, salvo que veas que uno tiene el rey acorralado; hay como un par de cositas que te hacen ver quién va ganando la partida. Y claro, en Go debe ser mucho más complicado eso. Y yo creo que uno de los grandes éxitos para poder desarrollar AlphaGo fue poder desarrollar algo que te permite evaluar cuánto de bien lo estás haciendo. Pero llevando la conversación, saliendo un poco del…
Significado #1 · Palabras #1
Héctor Socas explica cómo una métrica es necesaria para optimizar el aprendizaje en redes neuronales, comparándolo con la evaluación del estado de una partida de ajedrez.
Habla: Héctor SocasSignificado #1 · Palabras #1evaluar estado partida juego gométricas para redes neuronalesaprendizaje mejora red neuronalmétrica optimiza aprendizaje redes neuronalesminimizar error estado partida ajedrezdensidad piezas centro tablero ajedrezrey acorralado indica ventaja ajedrez…más y asegurar la victoria, que no es lo mismo. Pero yo es que también quería sacar ese punto que justamente decía Alberto. El hecho de que no se trata solo de enseñarte a jugar y cómo mejorar el estado actual, ¿qué jugada me permite mejorar el estado actual? Sino que para yo saber si estoy mejorando el estado actual o no, tengo que saber evaluar el estado de la partida. Una cosa muy importante en una red neuronal es saber tener una métrica de cuánto de bien estás haciendo el trabajo, porque el aprendizaje de una red neuronal se trata de mejorar aquello que te hace que la Métrica que tú estás usando se optimice, o sea que tú minimices el error de lo que estás haciendo; hacer cosas que minimicen el error entonces para eso necesitas saber, dado el estado de la partida, saber cuánto de bueno es ese estado. Por ejemplo, en ajedrez, más o menos, tú sabes que más o menos el que tiene más piezas y el que tiene más o menos el centro del tablero tiene mayor densidad de piezas por el centro del tablero va ganando, salvo que veas que uno tiene el rey acorralado; hay como un par de cositas que te hacen ver quién va ganando la partida. Y claro, en Go debe ser mucho más complicado eso. Y yo creo que uno de los grandes éxitos para poder desarrollar AlphaGo fue poder desarrollar algo que te permite evaluar cuánto de bien lo estás haciendo. Pero llevando la conversación, saliendo un poco del…
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
Habla: Francis VillatoroSignificado #5 · Palabras #8sobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmas…que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
Habla: Francis VillatoroSignificado #13reglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificial…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o…
Francis Villatoro explica cómo una teoría tiene implicaciones en el campo de la conciencia artificial, sugiriendo la creación de redes paralelas que exploren y analicen el estado neuronal.
Habla: Francis VillatoroPalabras #15redes paralelas conciencia artificialtomografía del estado neuronalmetainformación proceso cognitivo villatororazonamientos y metacognición…presentar para un rendimiento parecido una o dos patrones en el que sólo está presente la de primer orden y en el que están presentes las dos, y que habrá propiedades distintas que solemos asociar con el procesamiento consciente. Esa es un poco la clave. Esta teoría tiene, entre comillas, más implicaciones desde el punto de vista de lo que es la conciencia artificial porque es una de las cosas arquitectónicas que se están planteando en ese campo el definir en paralelo a las redes de aprendizaje profundo que están ejecutando tareas, tener redes en paralelo que estén explorando, haciendo tomografía del estado neuronal y viendo realmente qué está ocurriendo ahí y obteniendo información, metainformación sobre el proceso cognitivo, información que después se puede reinyestar al propio proceso cognitivo para facilitar, entre comillas, razonamientos y metacognición. Sí, justo. Y el problema, que es lo que comentábamos, es que todavía hay pocos estudios. En el momento en el que se hizo el contrast se habían hecho apenas 12, que es mucho menos que los estudios que se habían reunido de las otras teorías. Y en parte es…