Búsqueda · 29 momentos en 10 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindred política imita jugadores humanosalphago reduce espacio búsqueda redes neuronalesentrenamiento red política partidas expertosmovimientos prometedores según alphagored valor estimación partida gopartida go movimientos inicialesaprendizaje automático tablero goredes neuronales árbol juego combinatorioIgnacio Crespojuego de Goárbol de Monte CarloHéctor SocasAlphaGoFrancis Villatorojuego GoIBMKasparovRedes NeuronalesMaría RibesAlphaCeroMonte CarloMaría
Redes Neuronales árbol juego combinatorio
Con
0:000:301:001:302:002:303:003:33
Ignacio Crespo explica cómo la red de valor permite estimar quién ganará una partida de Go antes de que termine, incluso después de solo unos pocos movimientos.
…AlphaGo fue capaz de responder es: ¿cómo reducir ese espacio de búsqueda? De modo que ahora, aunque seguimos buscando una aguja en un pajar, la estamos buscando en un pajar mucho más pequeño. Y todo esto se lleva a cabo con la asistencia de redes neuronales. En este escenario hay dos redes neuronales que AlphaGo empleó; a una de ellas la conocemos como la red de política y a la otra la identificamos como la red de valor. La red de políticas es la que imita la capacidad de los humanos de observar el tablero y seleccionar los movimientos que parecen más prometedores. Fue entrenada con muchísimas partidas de expertos humanos y le permite a la red neuronal decir, oh, sabes, no voy a analizar todos los movimientos posibles; solo me voy a fijar en aquellos movimientos que me saltan a la vista, que destacan, justo como lo harían para un jugador humano de Go como tú mismo y lo que eso hace es que el árbol se vuelva más estrecho porque estos son todos los movimientos, pero ahora solo estamos considerando una pequeña selección de movimientos en cada etapa y eso es muy útil. La red de valor resulta muy útil, ya que normalmente tendríamos que analizar todas las variaciones hasta el mismísimo final, porque solo entonces sabríamos si el bando negro o el blanco ha ganado la partida. Pero la red de valor nos brinda la capacidad de estimar esto con mucha más antelación. Se le puede presentar un tablero que aún no está completo, quizás después de tan solo 10 o 15 movimientos de la partida, y ya es capaz de juzgar si la posición es más ventajosa para las piezas negras o para las blancas. Y esto, por supuesto, también ha sido entrenado exhaustivamente con una gran cantidad de datos de partidas utilizando técnicas de aprendizaje automático. Y así la función principal de estas dos redes neuronales consiste en reducir significativamente el tamaño de este inmenso árbol de juego combinatorio, y luego existe otra técnica muy específica. conocida como búsqueda en árbol Monte Carlo que nos permite de una manera muy eficiente explorar y analizar las ramas restantes del árbol. Gracias, muy interesante. Así que hoy es exactamente el décimo aniversario del segundo juego, creo, de AlphaGo contra…
Significado #1 · Palabras #1
Ignacio Crespo explica las características que hacen al juego de Go tan complejo, comparándolo con un árbol invertido donde cada rama representa una posible jugada.
Significado #4 · Palabras #2go como un árbol invertidovariaciones del juego goancho del árbol movimientos goprofundidad del árbol duración goestructura combinatoria juego óptimo…muchos movimientos posibles que puedes hacer. Por ejemplo, al principio el tablero está vacío y tienes 361 movimientos diferentes que puedes hacer y luego el oponente tiene 360 movimientos y así sucesivamente. Y la segunda cosa es que los juegos también son extremadamente largos. Así que toman 200, 300 jugadas y esas dos cosas juntas son las que determinan cuán complejo es el juego. Y la imagen que tenemos en nuestra mente, la que nos viene a la cabeza, es la de un árbol de juego. Imaginen un árbol invertido en cuya raíz tienen la posición inicial, la que está vacía, y luego todas las diferentes variaciones, todos los diferentes juegos se van ramificando a partir de ahí. Y el número de movimientos en cualquier posición dada es el ancho del árbol porque puedes tener todos esos posibles primeros movimientos por ejemplo y luego la duración del juego es la profundidad de este árbol. Y bueno sabes eso genera una estructura combinatoria realmente enorme y si quieres jugar de forma óptima prácticamente tienes que recorrer toda esa estructura. Y entonces la gran pregunta que nuestro trabajo con AlphaGo fue capaz de responder es: ¿cómo reducir ese espacio de búsqueda? De modo que ahora, aunque seguimos buscando una aguja en un pajar, la estamos buscando en un pajar mucho más pequeño. Y todo esto se…
Ignacio Crespo explica cómo la red de valor permite estimar quién ganará una partida de Go antes de que termine, incluso después de solo unos pocos movimientos.
Significado #1 · Palabras #1red política imita jugadores humanosalphago reduce espacio búsqueda redes neuronalesentrenamiento red política partidas expertosmovimientos prometedores según alphagored valor estimación partida gopartida go movimientos inicialesaprendizaje automático tablero goredes neuronales árbol juego combinatorio…AlphaGo fue capaz de responder es: ¿cómo reducir ese espacio de búsqueda? De modo que ahora, aunque seguimos buscando una aguja en un pajar, la estamos buscando en un pajar mucho más pequeño. Y todo esto se lleva a cabo con la asistencia de redes neuronales. En este escenario hay dos redes neuronales que AlphaGo empleó; a una de ellas la conocemos como la red de política y a la otra la identificamos como la red de valor. La red de políticas es la que imita la capacidad de los humanos de observar el tablero y seleccionar los movimientos que parecen más prometedores. Fue entrenada con muchísimas partidas de expertos humanos y le permite a la red neuronal decir, oh, sabes, no voy a analizar todos los movimientos posibles; solo me voy a fijar en aquellos movimientos que me saltan a la vista, que destacan, justo como lo harían para un jugador humano de Go como tú mismo y lo que eso hace es que el árbol se vuelva más estrecho porque estos son todos los movimientos, pero ahora solo estamos considerando una pequeña selección de movimientos en cada etapa y eso es muy útil. La red de valor resulta muy útil, ya que normalmente tendríamos que analizar todas las variaciones hasta el mismísimo final, porque solo entonces sabríamos si el bando negro o el blanco ha ganado la partida. Pero la red de valor nos brinda la capacidad de estimar esto con mucha más antelación. Se le puede presentar un tablero que aún no está completo, quizás después de tan solo 10 o 15 movimientos de la partida, y ya es capaz de juzgar si la posición es más ventajosa para las piezas negras o para las blancas. Y esto, por supuesto, también ha sido entrenado exhaustivamente con una gran cantidad de datos de partidas utilizando técnicas de aprendizaje automático. Y así la función principal de estas dos redes neuronales consiste en reducir significativamente el tamaño de este inmenso árbol de juego combinatorio, y luego existe otra técnica muy específica. conocida como búsqueda en árbol Monte Carlo que nos permite de una manera muy eficiente explorar y analizar las ramas restantes del árbol. Gracias, muy interesante. Así que hoy es exactamente el décimo aniversario del segundo juego, creo, de AlphaGo contra…
Francis Villatoro reflexiona sobre cómo los científicos de la computación se han centrado tradicionalmente en la complejidad computacional, mientras que las redes neuronales parecen haber aprovechado una menor complejidad teórica de la información para encontrar soluciones.
Habla: Francis VillatoroSignificado #13complejidad computacional científicosredes neuronales complejidad informaciónsoluciones redes neuronales villatoro…representan una mejor aproximación a ese conjunto mucho más amplio de cálculos que originalmente habríamos necesitado llevar a cabo. Bueno, así que quizás hay una complejidad teórica de la información del problema y luego está la complejidad computacional del Problema y siempre como científicos de la computación hemos estado pensando en el tipo de complejidad computacional. ¿Cómo representamos ahora el sistema y calculamos un estado final mientras que la complejidad de la información del problema, la complejidad teórica de la información del problema era mucho menor? Y las redes neuronales de alguna manera lo aprovecharon para, por así decirlo, dar con esas soluciones que son mejores. Pero yo no creo que hayamos encontrado una respuesta completa a la pregunta que planteaste. Es un problema de investigación activo, digamos, sobre cómo estos modelos son capaces de extraer y hacer estas predicciones asombrosas con menos capacidad de cómputo. Y ¿cuál es el límite? ¿Cuál es el límite real, el verdadero límite de cuánto más eficientes…
Héctor Socas retoma un punto mencionado por Alberto Aparici sobre la importancia de evaluar el estado de una partida en el juego Go para determinar si se está mejorando.
Habla: Héctor SocasPalabras #10evaluar estado partida juego gométricas para redes neuronalesaprendizaje mejora red neuronal…más y asegurar la victoria, que no es lo mismo. Pero yo es que también quería sacar ese punto que justamente decía Alberto. El hecho de que no se trata solo de enseñarte a jugar y cómo mejorar el estado actual, ¿qué jugada me permite mejorar el estado actual? Sino que para yo saber si estoy mejorando el estado actual o no, tengo que saber evaluar el estado de la partida. Una cosa muy importante en una red neuronal es saber tener una métrica de cuánto de bien estás haciendo el trabajo, porque el aprendizaje de una red neuronal se trata de mejorar aquello que te hace que la Métrica que tú estás usando se optimice, o sea que tú minimices el error de lo que estás haciendo; hacer cosas que minimicen el error entonces para eso necesitas saber, dado el estado de la partida, saber cuánto de bueno es ese estado. Por ejemplo, en…
Héctor Socas expresa su sorpresa y decepción con respecto a la estructura interna de AlphaGo, señalando que consta de tres componentes principales: dos redes neuronales y un árbol de Monte Carlo.
Habla: Héctor SocasPalabras #3árbol de monte carlo en alfagodecepción héctor socas alphagoredes neuronales policy value alphagodiseño humano detrás de alphagoárbol de decisiones en alphago…a futuro, pero muchísimos otros problemas. Eso no es así y ese es el primer tipo de los problemas, es los que alfa cero y sus descendientes han dominado claramente y en el segundo tipo de problemas es donde empezamos a ver avances en los últimos años. Yo quería comentar una de las cosas que para mí fueron más llamativas de la entrevista y que para mí fue un poco una decepción, que es que explicaron que realmente alfago es un sistema que tiene tres componentes principales, ¿no? tiene dos redes neuronales y tiene un árbol de jugados, un árbol de Monte Carlo. Digo que para mí fue un poco una decepción porque yo pensaba en su momento cuando se hablaba de esto y en medio de todo el "hype" se decía que este era un sistema que, por primera vez desde cero, había aprendido a jugar este juego tan complejo. Entonces yo, desde cero, entendía que esto era: habían hecho una red neuronal, habían puesto a jugar partidas y había aprendido; pero en cambio no, hay algo de diseño humano detrás, o sea, un humano ha decidido que hay que tener dos redes neuronales, una la de "policy", otra la de "value", que tiene que haber un árbol, o sea, que no era simplemente crear una red muy grande y ponerla a jugar; entonces, que realmente eso es un poco por donde va. al facero Claro, ese es Alpha Zero, exactamente, que vino después y el cero viene de ahí, de empezar casi que de primeros principios. Entonces, AlphaGo no está diseñado de primeros principios, sino que hay un poco de diseño, o sea, hay diseño inteligente…
Francis Villatoro explica cómo AlphaGo, al incorporar un árbol de Monte Carlo, se vio limitado en su potencial, lo que llevó a la creación de AlphaCero.
Habla: Francis VillatoroPalabras #18árbol monte carlo alpha goalpha cero superó alpha gointeligencia artificial profundidad juegos…AlphaGo no está diseñado de primeros principios, sino que hay un poco de diseño, o sea, hay diseño inteligente detrás de AlphaGo. La componente de Monte Carlo es la contribución humana, es decir, el conocimiento humano estaba básicamente en el modelo de Monte Carlo, y eso fue el gran lastre de AlphaGo, y por eso cuando eliminaron ese lastre, AlphaCero ya pudo ser mucho más potente que AlphaGo, ¿no? Pero se pensaba que era un juego tan difícil que si no ponías un árbol de Monte Carlo como se había hecho toda la vida para hacer juegos parecía como que la inteligencia artificial no iba a ser capaz de profundizar más y eso es una cosa que me gustaría ya que está aquí María y es un tema interesante. Conectarlo con el lenguaje natural de toda la vida en inteligencia artificial se ha dicho que el lenguaje natural era tan ambiguo, tan complicado. Todo el conocimiento de los filólogos sobre el lenguaje, el análisis ortosintáctico es trivial. El análisis…
Héctor Socas explica la diferencia entre cómo IBM venció a Kasparov mediante reglas programadas y cómo las redes neuronales aprenden observando ejemplos, comparándolo con el proceso de adquisición del lenguaje en humanos.
Habla: Héctor SocasSignificado #11ibm venció a kasparov reglas programadasredes neuronales aprenden observando ejemplosadquisición del lenguaje viendo ejemplosfrancis villatoro redes neuronales…lo que es un verbo. Pero tú, si no supieras eso, no podrías hablar ni podrías comprender lo que estamos haciendo ahora nosotros. Yo creo que estamos de acuerdo con lo que quería decir Francis, corrígeme si me equivoco, efectivamente, es que no se trata. De enseñar, de programarles las reglas. Yo hablaba antes de la diferencia entre el IBM que le ganó a Kasparov con reglas que habían sido programadas frente a una máquina de redes neuronales que había aprendido a base de ver ejemplos y que el ser humano aprende, adquiere la lengua, perdona, siguiendo esa nomenclatura que tú usas María: de adquirir frente a aprender; adquieres la lengua viendo ejemplos y esas reglas están ahí pero no es como el bebé las aprende, sino simplemente viendo ejemplos, muchos ejemplos y de esa forma aprenden también las redes neuronales, que creo que era lo que se refería a Francis y no he entendido mal. Hay personas que aprenden una lengua sin ir a clase, que la aprenden en la calle o hablando con otros, que siempre tendrán algún fallo, porque si te pones ahora a aprender serbio y te vas a serbio y tienes amigos serbios, hablas perfectamente, pero no declina…
Francis Villatoro explica cómo las inteligencias artificiales han demostrado que el juego Go, previamente considerado el más difícil para los humanos debido a su complejidad estadística, puede ser dominado por redes neuronales con un conocimiento mínimo del juego.
Habla: Francis VillatoroSignificado #5 · Palabras #8go juego complejidad estadísticaredes neuronales conocimiento mínimo gointeligencias artificiales dominan juego gofrancis villatoro explica go trivial…serbio y te vas a serbio y tienes amigos serbios, hablas perfectamente, pero no declina los objetos o los sujetos y te falta ese, pero lo aprendes sin darte cuenta Para acabar, lo resitúo donde yo quería ir, o no sé, quizás lo dije mal y desví la atención. Lo que yo quería decir es que se pensaba que el Go era un juego difícil. Se pensaba que era el juego humano más difícil, porque el cálculo estadístico trivial te daba una enorme cantidad de posibilidades; y lo que nos ha mostrado estas nuevas inteligencias artificiales es que es un juego jugado por humanos, luego trivial, es decir, con un número adecuado de tokens, una red neuronal con suficiente número de pesos sinápticos, puede, jugando sola, sin tener ningún tipo de conocimiento humano, obviamente las mínimas reglas de qué es lo que se pretende y qué es válido y qué no es válido, pero con un conocimiento ridículo del juego, infantil del juego, jugando contra sí misma, puede obtener un nivel de juego infinito comparado con el mejor humano del mundo; y eso es una cosa. Que hace 10 años era tabú decirlo, no se podía decir, era imposible, pero hoy sabemos que es trivial: es decir, todo lo que hacen los humanos habitualmente lo van a poder hacer las máquinas de manera trivial solamente escalando el tamaño. Eso no significa, y…