Búsqueda · 23 momentos en 10 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindsobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmasFrancis VillatoroIBMKasparovRedes NeuronalesMaría RibesHéctor SocasAlphaGoárbol de Monte Carlo
Red Neuronal artificial aprende
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
…que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…
Significado #1 · Palabras #2
Héctor Socas expresa su decepción al descubrir la estructura interna de AlphaGo, revelando que no se desarrolló completamente desde cero como él inicialmente pensaba.
Habla: Héctor SocasPalabras #20decepción héctor socas alphagoredes neuronales policy value alphagodiseño humano detrás de alphagoárbol de decisiones en alphago…más llamativas de la entrevista y que para mí fue un poco una decepción, que es que explicaron que realmente alfago es un sistema que tiene tres componentes principales, ¿no? tiene dos redes neuronales y tiene un árbol de jugados, un árbol de Monte Carlo. Digo que para mí fue un poco una decepción porque yo pensaba en su momento cuando se hablaba de esto y en medio de todo el "hype" se decía que este era un sistema que, por primera vez desde cero, había aprendido a jugar este juego tan complejo. Entonces yo, desde cero, entendía que esto era: habían hecho una red neuronal, habían puesto a jugar partidas y había aprendido; pero en cambio no, hay algo de diseño humano detrás, o sea, un humano ha decidido que hay que tener dos redes neuronales, una la de "policy", otra la de "value", que tiene que haber un árbol, o sea, que no era simplemente crear una red muy grande y ponerla a jugar; entonces, que realmente eso es un poco por donde va. al facero Claro, ese es Alpha Zero, exactamente, que vino después y el cero viene de ahí, de empezar casi que de primeros principios. Entonces, AlphaGo no está diseñado de primeros principios, sino que hay un poco de diseño, o sea, hay diseño inteligente…
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
Habla: Francis VillatoroSignificado #1 · Palabras #2sobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmas…que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…
María Ribes continúa la conversación sobre cómo los bebés adquieren el lenguaje de forma inconsciente, comparando este proceso con el funcionamiento de una red neuronal.
Habla: María RibesPalabras #13bebés adquieren lenguaje inconscientered neuronal bebe aprendizajerelaciones sintácticas bebe…Y esas relaciones que tú has dicho, que tiene razón y no, y te lo voy a justificar; que los bebés aprenden de manera, como dices, trivial, bueno, de manera informal, no sé cómo decir, inconsciente. Es la diferencia entre adquirir y aprender una lengua, ¿no? Actual tu bebé, cuando le hablas no le dices, y ahora cariñito, vamos a aprender el plural, y ahora vamos a formar el femenino. Tú hablas y el bebé infiere cosas, que es como podríamos decir que hace la red neuronal: ve cosas, escucha y aprende. Pero esas relaciones sintácticas, Yo me temo que tengo que llevarte a la contraria, Francis, porque no son triviales, de hecho, es el fundamento de las lenguas. El lenguaje humano es la capacidad para comunicarnos, entonces si pensamos en el origen del lenguaje, que es imposible saberlo, es…
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
Habla: Francis VillatoroPalabras #3reglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificial…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o…
Héctor Socas explica la diferencia entre cómo IBM venció a Kasparov mediante reglas programadas y cómo las redes neuronales aprenden observando ejemplos, comparándolo con el proceso de adquisición del lenguaje en humanos.
Habla: Héctor SocasSignificado #10 · Palabras #6ibm venció a kasparov reglas programadasredes neuronales aprenden observando ejemplosadquisición del lenguaje viendo ejemplosfrancis villatoro redes neuronales…lo que es un verbo. Pero tú, si no supieras eso, no podrías hablar ni podrías comprender lo que estamos haciendo ahora nosotros. Yo creo que estamos de acuerdo con lo que quería decir Francis, corrígeme si me equivoco, efectivamente, es que no se trata. De enseñar, de programarles las reglas. Yo hablaba antes de la diferencia entre el IBM que le ganó a Kasparov con reglas que habían sido programadas frente a una máquina de redes neuronales que había aprendido a base de ver ejemplos y que el ser humano aprende, adquiere la lengua, perdona, siguiendo esa nomenclatura que tú usas María: de adquirir frente a aprender; adquieres la lengua viendo ejemplos y esas reglas están ahí pero no es como el bebé las aprende, sino simplemente viendo ejemplos, muchos ejemplos y de esa forma aprenden también las redes neuronales, que creo que era lo que se refería a Francis y no he entendido mal. Hay personas que aprenden una lengua sin ir a clase, que la aprenden en la calle o hablando con otros, que siempre tendrán algún fallo, porque si te pones ahora a aprender serbio y te vas a serbio y tienes amigos serbios, hablas perfectamente, pero no declina…