Búsqueda · 30 momentos en 15 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindredes neuronales simulan climasupercomputadoras vs redes neuronaleschip para simulaciones climáticasteoría desconocida modelos climáticosFrancis VillatoroAlberto Aparici
Supercomputadoras vs Redes Neuronales
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica cómo las redes neuronales han superado a las supercomputadoras en la simulación del clima, utilizando menos recursos computacionales.
…muy interesantes que quizás no llegamos a apreciar o a comprender del todo y para los cuales no poseemos la teoría actual que los explique. pero de alguna manera hay una prueba de concepto que lo valida. Hay una prueba de existencia de que el modelo con mucha menos cantidad de computación de la que una supercomputadora necesitaba en más de un día para obtener un nivel de rendimiento similar puede ser superado por una red neuronal operando en un solo chip. Así que hay algo ahí que está aprovechando que el modelo ha utilizado y no comprendemos completamente en este momento cuál es esa teoría en la que está basándose Pero hay algo en las estadísticas de la naturaleza que el modelo es capaz de aprovechar y está operando no en la complejidad del peor de los casos sino en la complejidad inherente al problema mismo, lo que le permite predecir las cosas de manera muy efectiva.…
Significado #1 · Palabras #1
Francis Villatoro explica cómo las redes neuronales han superado a las supercomputadoras en la simulación del clima, utilizando menos recursos computacionales.
Habla: Francis VillatoroSignificado #1 · Palabras #1redes neuronales simulan climasupercomputadoras vs redes neuronaleschip para simulaciones climáticasteoría desconocida modelos climáticos…muy interesantes que quizás no llegamos a apreciar o a comprender del todo y para los cuales no poseemos la teoría actual que los explique. pero de alguna manera hay una prueba de concepto que lo valida. Hay una prueba de existencia de que el modelo con mucha menos cantidad de computación de la que una supercomputadora necesitaba en más de un día para obtener un nivel de rendimiento similar puede ser superado por una red neuronal operando en un solo chip. Así que hay algo ahí que está aprovechando que el modelo ha utilizado y no comprendemos completamente en este momento cuál es esa teoría en la que está basándose Pero hay algo en las estadísticas de la naturaleza que el modelo es capaz de aprovechar y está operando no en la complejidad del peor de los casos sino en la complejidad inherente al problema mismo, lo que le permite predecir las cosas de manera muy efectiva.…
Francis Villatoro reflexiona sobre cómo los científicos de la computación se han centrado tradicionalmente en la complejidad computacional, mientras que las redes neuronales parecen haber aprovechado una menor complejidad teórica de la información para encontrar soluciones.
Habla: Francis VillatoroSignificado #2complejidad computacional científicosredes neuronales complejidad informaciónsoluciones redes neuronales villatororedes neuronales predicciones asombrosascapacidad computacional modelos redes neuronaleslímite eficiencia modelos redes neuronalesinvestigación activa redes neuronales…representan una mejor aproximación a ese conjunto mucho más amplio de cálculos que originalmente habríamos necesitado llevar a cabo. Bueno, así que quizás hay una complejidad teórica de la información del problema y luego está la complejidad computacional del Problema y siempre como científicos de la computación hemos estado pensando en el tipo de complejidad computacional. ¿Cómo representamos ahora el sistema y calculamos un estado final mientras que la complejidad de la información del problema, la complejidad teórica de la información del problema era mucho menor? Y las redes neuronales de alguna manera lo aprovecharon para, por así decirlo, dar con esas soluciones que son mejores. Pero yo no creo que hayamos encontrado una respuesta completa a la pregunta que planteaste. Es un problema de investigación activo, digamos, sobre cómo estos modelos son capaces de extraer y hacer estas predicciones asombrosas con menos capacidad de cómputo. Y ¿cuál es el límite? ¿Cuál es el límite real, el verdadero límite de cuánto más eficientes podemos llegar a serlos? Muchas gracias, Alberto. Sí, muchísimas gracias. Volvamos, si les parece, al tema de Go por un momento. No podemos terminar esto sin preguntar sobre la mítica jugada 37 que ocurrió en la segunda partida contra Lee Sedol. Esa jugada, para nuestros oyentes, fue una que los comentaristas descartaron casi por…
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
Habla: Francis VillatoroPalabras #20sobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmas…que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…