Búsqueda · 25 momentos en 10 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindcomplejidad computacional científicosredes neuronales complejidad informaciónsoluciones redes neuronales villatoroFrancis VillatoroAlphaFoldThe ExpanseAlphaGo
Soluciones Redes Neuronales villatoro
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro reflexiona sobre cómo los científicos de la computación se han centrado tradicionalmente en la complejidad computacional, mientras que las redes neuronales parecen haber aprovechado una menor complejidad teórica de la información para encontrar soluciones.
…representan una mejor aproximación a ese conjunto mucho más amplio de cálculos que originalmente habríamos necesitado llevar a cabo. Bueno, así que quizás hay una complejidad teórica de la información del problema y luego está la complejidad computacional del Problema y siempre como científicos de la computación hemos estado pensando en el tipo de complejidad computacional. ¿Cómo representamos ahora el sistema y calculamos un estado final mientras que la complejidad de la información del problema, la complejidad teórica de la información del problema era mucho menor? Y las redes neuronales de alguna manera lo aprovecharon para, por así decirlo, dar con esas soluciones que son mejores. Pero yo no creo que hayamos encontrado una respuesta completa a la pregunta que planteaste. Es un problema de investigación activo, digamos, sobre cómo estos modelos son capaces de extraer y hacer estas predicciones asombrosas con menos capacidad de cómputo. Y ¿cuál es el límite? ¿Cuál es el límite real, el verdadero límite de cuánto más eficientes…
Significado #1 · Palabras #5
Francis Villatoro explica cómo AlphaGo utiliza dos redes neuronales, la red de política y la red de valor, para reducir el espacio de búsqueda al imitar la capacidad humana de identificar movimientos prometedores.
Palabras #20red política imita jugadores humanosalphago reduce espacio búsqueda redes neuronalesentrenamiento red política partidas expertosmovimientos prometedores según alphago…AlphaGo fue capaz de responder es: ¿cómo reducir ese espacio de búsqueda? De modo que ahora, aunque seguimos buscando una aguja en un pajar, la estamos buscando en un pajar mucho más pequeño. Y todo esto se lleva a cabo con la asistencia de redes neuronales. En este escenario hay dos redes neuronales que AlphaGo empleó; a una de ellas la conocemos como la red de política y a la otra la identificamos como la red de valor. La red de políticas es la que imita la capacidad de los humanos de observar el tablero y seleccionar los movimientos que parecen más prometedores. Fue entrenada con muchísimas partidas de expertos humanos y le permite a la red neuronal decir, oh, sabes, no voy a analizar todos los movimientos posibles; solo me voy a fijar en aquellos movimientos que me saltan a la vista, que destacan, justo como lo harían para un jugador humano de Go como tú mismo y lo que eso hace es que el árbol se vuelva más estrecho porque estos son todos los movimientos, pero ahora solo estamos considerando una pequeña selección de movimientos en cada etapa y eso es muy útil. La red de valor resulta muy útil, ya que normalmente tendríamos que analizar todas las variaciones hasta el mismísimo final, porque solo entonces sabríamos si el bando negro o el blanco ha ganado la partida. Pero la red de valor nos brinda la capacidad de…
Francis Villatoro explica cómo AlphaFold II se desarrolló desde cero utilizando una única red neuronal para predecir la estructura tridimensional de las proteínas a partir de la secuencia de aminoácidos.
Habla: Francis VillatoroPalabras #3alphafold ii red neuronalestructura tridimensional secuencia aminoácidosarquitectura red neuronal conocimiento científico…primer lugar, había una red neuronal que nos proporcionaba algunas ideas o pistas sobre qué proteínas podrían estar próximas entre sí; y luego, en segundo lugar, había un módulo más clásico que se encargaba de intentar predecir la estructura tridimensional. Para AlphaFold II comenzamos completamente desde cero y lo abordamos de principio a fin, con una única red neuronal, partiendo exclusivamente de la secuencia de aminoácidos para predecir la estructura tridimensional. Y esa elegancia y la simplicidad de aquella solución, con una gran cantidad de conocimiento científico muy interesante integrado en la arquitectura de la red neuronal, fue la clave para lograr ese asombroso éxito. Así que si lo piensas, AlphaFault resolvió ese gran desafío, pero más ampliamente es solo un paso en nuestra comprensión de la biología; así que las proteínas son los pilares de la vida y hacen que todos los fenómenos biológicos ocurran. Pero si observamos la…
Francis Villatoro explica cómo las redes neuronales han superado a las supercomputadoras en la simulación del clima, utilizando menos recursos computacionales.
Habla: Francis VillatoroSignificado #8redes neuronales simulación climaatajos interesantes modelos climáticosfenómenos inexplicados redes neuronalesprueba de concepto simulaciones climaredes neuronales simulan climasupercomputadoras vs redes neuronaleschip para simulaciones climáticasteoría desconocida modelos climáticos…que podamos predecirla tenemos que resolver esas ecuaciones. ¿Y eso ocurrió a nivel de la comprensión de las estructuras proteicas porque allí estábamos realizando simulaciones moleculares dinámicas? Y eso también ocurrió a nivel de la comprensión del clima. donde ahora tenías que, o sea, estabas simulando el tipo de clima y tratando de ver qué sucedía. Lo que las redes neuronales nos han demostrado es que a veces existen atajos muy interesantes que quizás no llegamos a apreciar o a comprender del todo y para los cuales no poseemos la teoría actual que los explique. pero de alguna manera hay una prueba de concepto que lo valida. Hay una prueba de existencia de que el modelo con mucha menos cantidad de computación de la que una supercomputadora necesitaba en más de un día para obtener un nivel de rendimiento similar puede ser superado por una red neuronal operando en un solo chip. Así que hay algo ahí que está aprovechando que el modelo ha utilizado y no comprendemos completamente en este momento cuál es esa teoría en la que está basándose Pero hay algo en las estadísticas de la naturaleza que el modelo es capaz de aprovechar y está operando no en la complejidad del peor de los casos sino en la complejidad inherente al problema mismo, lo que le permite predecir las cosas de manera muy efectiva.…
Francis Villatoro reflexiona sobre cómo los científicos de la computación se han centrado tradicionalmente en la complejidad computacional, mientras que las redes neuronales parecen haber aprovechado una menor complejidad teórica de la información para encontrar soluciones.
Habla: Francis VillatoroSignificado #1 · Palabras #5complejidad computacional científicosredes neuronales complejidad informaciónsoluciones redes neuronales villatoro…representan una mejor aproximación a ese conjunto mucho más amplio de cálculos que originalmente habríamos necesitado llevar a cabo. Bueno, así que quizás hay una complejidad teórica de la información del problema y luego está la complejidad computacional del Problema y siempre como científicos de la computación hemos estado pensando en el tipo de complejidad computacional. ¿Cómo representamos ahora el sistema y calculamos un estado final mientras que la complejidad de la información del problema, la complejidad teórica de la información del problema era mucho menor? Y las redes neuronales de alguna manera lo aprovecharon para, por así decirlo, dar con esas soluciones que son mejores. Pero yo no creo que hayamos encontrado una respuesta completa a la pregunta que planteaste. Es un problema de investigación activo, digamos, sobre cómo estos modelos son capaces de extraer y hacer estas predicciones asombrosas con menos capacidad de cómputo. Y ¿cuál es el límite? ¿Cuál es el límite real, el verdadero límite de cuánto más eficientes…
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
Habla: Francis VillatoroPalabras #13sobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmas…que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…
Francis Villatoro explica cómo se intenta evitar una situación similar a la que describe un personaje de 'The Expanse', donde los autores reivindican haber anticipado sus ideas sobre la conciencia.
Habla: Francis VillatoroPalabras #19red neuronal metacognitiva concienciateorías de orden superior francis villatororedes neuronales cognitivas encéfalo…como la cita de Holden, ¿no? De Halden, perdón; Holden es el de The Expanse. La cita de Halden que mencionábamos antes, ¿no?; que cuando se sepa lo que es la conciencia, los autores de estas cinco teorías dirán: “Ven, estaba aquí en mi teoría lo que yo dije”. Eso es justo lo que se está intentando evitar. Aquí, claro, la cuestión está de las teorías de orden superior; es porque parece como que hay una red neuronal metacognitiva que es la que construye digamos esa conciencia y después hay unas redes neuronales normales que son puramente cognitivas. Entonces, la cuestión es si está más o menos localizada esa red metacognitiva en ciertas regiones del encéfalo o si realmente está distribuida por todo el encéfalo. Sí, eso es otra cuestión y es dentro de lo que comentaba Alberto, que si lo entendemos en su sentido más amplio hay distintas escuelas y hay algunas que te dirán que está más distribuida, otras más localizada; localizada dónde entonces está localizada donde…