Búsqueda · 22 momentos en 10 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor SocasGastón Giribetredes neuronales predicción menos segundoentrenamiento modelo sesenta díaseficiencia conjunto redes neuronales paraleloentrenamiento modelo muchos gpuscálculos finales intel core i7redes neuronales pequeñas eficienciaSara RobiscoSaraHall Neural NetworkJuan Carlos GilIntel Core i7LIGOVirgoKAGRAEnsembleVaginResNetMachine LearningDingo
Eficiencia conjunto Redes Neuronales paralelo
Ep 503: Propulsión Espacial; Computación Cuántica; Fusiones de Estrellas de Neutrones; Agujeros Negros
13 de marzo de 20255 momentos
Con
0:000:301:001:302:002:303:12
Sara Robisco destaca la eficiencia del conjunto de redes neuronales utilizadas para la predicción, indicando que el proceso tarda menos de un segundo.
…Impulso Era una marca de un desodorante, no sé. ¡Ah, ostras, sí, sí, sí, sí, sí! Pero me pilló un pequeño a mí eso. Yo creo que era un perfume. No, era un desodorante, yo creo, y no tenía una mariposita. Pues sí, me suena. No sé, pero no lo sé; puede ser. Es que fijaos lo impresionante que es este trabajo: que es que la predicción la hacen un segundo, en menos de un segundo, para que veáis la eficiencia de este conjunto de redes neuronales, que estamos hablando de varias en paralelo. Y ojo, tardó 60 días en entrenar. Ahora ya se explica. Si alguien me hace un cálculo y sale en un segundo es que no se ha esforzado lo suficiente. Pero para que veáis, ¿qué pensáis? Que bueno, que esto necesitó una barbaridad de GPUs, una cosa muy loca Vale, los cálculos se ejecutaron en un Intel Core i7 de 3,8 GHz O sea, es que eficiencia total Sí, es lo que dices tú, son redes pequeñas y esto es una de las ventajas de las redes neuronales, una red pequeña se ejecuta en cualquier sitio, en un reloj la puedes poner. Bueno, Venga, vamos a pasar de tema porque ahora que dije reloj, porque es que estoy mirando el reloj aquí y me están dando la ansiedad de la que hablábamos con la canción de Coffee Break y los latidos extras me están aquí ya empezando a dar. Francis, está la gente…
Significado #1 · Palabras #1
Juan Carlos Gil introduce un modelo llamado Hall NN (Hall Neural Network) para predecir el rendimiento de una fuente de iones, explicando que utiliza múltiples redes neuronales en paralelo.
Habla: Juan Carlos GilSignificado #4 · Palabras #2modelo hall nn para rendimientoredes neuronales sara en paralelorobustez predicciones hall nnensemble disminuye variabilidadredes neuronales en paralelo vagíntécnica bugging imita eleccionesmodelos ensemble deben ser iguales…de descarga. La corriente de descarga es la corriente que se forma entre ánodo y cátodo, que a la postre va a determinar el consumo eléctrico de tu motor, así que tienes que tenerlo en cuenta para poner los paneles solares suficientemente gordos. Bueno, pues ahora hay un modelo que llaman Hall NN, Hall Neural Network, si quieres, Hall NN, que usa un conjunto de redes neuronales, Sara, que he tenido que buscarlo, ¿qué era esto? Varias trabajando Al final es razonablemente sencillo y lo que consigues, como dices ahora, varias en paralelo, pues es aumentar la robustez de las predicciones. Cada uno explora ahí su espacio de fases extraño de forma posiblemente distinta y los resultados son: disminuyes la variabilidad, lo cual está fenomenal. Eso tiene un nombrecito que se llama… En inglés la palabra Ensemble. Esto es el Vagin. La técnica de bugging, que es combinar trabajando en paralelo, entonces les pones en paralelo todos ahí trabajando, ¿vale? Y es una técnica que imita las elecciones, o sea, todos están haciendo lo mismo y tienen que ser todos y todas las redes neuronales, los modelos tienen que ser exactamente iguales, no puedes meter uno de su padre, otro de su madre, cosas distintas porque no te funciona bien. Pero entonces tienen distintas semillas o algo, porque si no… Claro, son todas iguales, pero entrenan con… Lo que haces es que los datos de entrenamiento se los vas mezclando Entonces lo que haces es el resultado que das, que te va dando cada una, te da un resultado distinto y tomas el resultado más votado Entonces aquel con más votado, pues ese que tú dices, este es el bueno Aquí creo que usan todos y luego…
Sara Robisco explica que las redes neuronales utilizadas no son profundas, sino 'strike forward' debido a la necesidad de entrenarlas en paralelo para manejar un gran volumen de datos (18.000 puntos). Además, subraya que al tratarse de valores numéricos, no requieren una gran cantidad de memoria.
Habla: Sara RobiscoSignificado #6 · Palabras #13redes neuronales strike forwardentrenamiento paralelo datos 18000 puntosvalores numéricos sin gran memoriapotencia para entrenamiento número m grande…O sea, eso es la magia, Sara, desde mi punto de vista, del aprendizaje profundo, ¿no? Que no interpola ciegamente los datos, no, no, sino que es capaz de ver patrones, capturar estructuras ocultas que están por ahí. Y en este caso, de alguna forma, pues suaviza Exacto, busca patrones, pero cuidado que estas redes neuronales no son profundas, son strike forward de toda la vida Para entrenar un número M grande no puedes poner cosas muy profundas porque te eternizaría, porque las tienes que entrenar todas en paralelo, necesitas muchísima potencia Sí, porque el número de puntos es 18.000 Y claro, como son valores numéricos, tampoco necesitas una barbaridad de tamaño No son imágenes Claro, entonces funcionan súper bien. Estoy viendo además los datos del artículo y la gráfica de entrenamiento; los resultados del entrenamiento con la gráfica de los errores de mínimos cuadráticos es una pasada. O sea, es que ves como la gráfica es del libro, como…
Sara Robisco destaca la eficiencia del conjunto de redes neuronales utilizadas para la predicción, indicando que el proceso tarda menos de un segundo.
Habla: Sara RobiscoSignificado #1 · Palabras #1redes neuronales predicción menos segundoentrenamiento modelo sesenta díaseficiencia conjunto redes neuronales paraleloentrenamiento modelo muchos gpuscálculos finales intel core i7redes neuronales pequeñas eficiencia…Impulso Era una marca de un desodorante, no sé. ¡Ah, ostras, sí, sí, sí, sí, sí! Pero me pilló un pequeño a mí eso. Yo creo que era un perfume. No, era un desodorante, yo creo, y no tenía una mariposita. Pues sí, me suena. No sé, pero no lo sé; puede ser. Es que fijaos lo impresionante que es este trabajo: que es que la predicción la hacen un segundo, en menos de un segundo, para que veáis la eficiencia de este conjunto de redes neuronales, que estamos hablando de varias en paralelo. Y ojo, tardó 60 días en entrenar. Ahora ya se explica. Si alguien me hace un cálculo y sale en un segundo es que no se ha esforzado lo suficiente. Pero para que veáis, ¿qué pensáis? Que bueno, que esto necesitó una barbaridad de GPUs, una cosa muy loca Vale, los cálculos se ejecutaron en un Intel Core i7 de 3,8 GHz O sea, es que eficiencia total Sí, es lo que dices tú, son redes pequeñas y esto es una de las ventajas de las redes neuronales, una red pequeña se ejecuta en cualquier sitio, en un reloj la puedes poner. Bueno, Venga, vamos a pasar de tema porque ahora que dije reloj, porque es que estoy mirando el reloj aquí y me están dando la ansiedad de la que hablábamos con la canción de Coffee Break y los latidos extras me están aquí ya empezando a dar. Francis, está la gente…
Sara Robisco pregunta sobre qué tipos de redes neuronales son adecuadas para analizar gráficas como series temporales, introduciendo el concepto de redes neuronales recurrentes.
Habla: Sara RobiscoPalabras #18redes neuronales recurrentes sara robiscográfica como serie temporalseries temporales redes neuronales…siendo eficiente y preciso. Entonces ellos proponen una red neuronal que han llamado Dingo BNS por fusión de estrellas de neutrones; porque ellos ya tienen otro Dingo. Hace unos años ellos propusieron un Dingo para fusión de agujeros negros. Vale, entonces Dices, vale, Machine Learning: una red neuronal. ¿Qué tipo de red neuronal así que conozcamos, que hablamos, ha hablado de ellas? ¿Os suena que una gráfica es una serie temporal que trabaja muy bien con series temporales? Venga, vamos ahí un poquito a jugar. Venga, todos nos suenan, habéis escuchado hablarme, series temporales, tal, redes neuronales recurrentes, ¿verdad? Sería lo más lógico para este tipo de datos. ¿Por qué? Porque cogen muy bien la señal en el tiempo, son muy precisas, vale. Pero tenemos unos problemas: son lentas; bueno, lentas no, porque las tenemos analizando textos y conversando, pero son grandes, son complicadas de entrenar porque tenemos que…
Sara Robisco describe un problema relacionado con la falta de datos reales para entrenar redes neuronales y cómo los investigadores han solucionado este inconveniente.
Habla: Sara RobiscoPalabras #3red neuronal aprende error observaciónsubredes capas suma entradafunción error menos entradaresnet aprende el restored neuronal convolucional datos grandesprecisión superior al 90 por ciento ligovirgokagraentrenamiento con pocos datos fusión estrellas neutronesdatos sintéticos para redes neuronalesconjunto de validación con datos realesentrenamiento con datos ficticios sara robisco…es igual a los restos, digo no, los restos de la observación, o sea, el error de nuestra observación sería igual a la solución que nosotros necesitamos, a la solución verdadera, menos la entrada, ¿verdad? Vale, y si cogemos esta ecuación, la damos la vuelta. Y decimos la función de lo que nosotros queremos observar es el error menos la entrada. Dices: oye, qué simple, qué fácil. ¿Y esto cómo se consigue en una red neuronal? Pues tenemos subredes, tú coges varias capas, un par de capas funcionando y a la salida de esas capas le sumas la entrada. Entonces ella no está aprendiendo la solución como el resto de redes neuronales, está aprendiendo el resto. Por eso se llama ResNet, redes neuronales basadas en restos. Entonces, ella aprende el resto, le suma la entrada y ya tiene esa solución. Son muy eficientes, aunque no te tiene que dar miedo que tenga mil capas; es rápida, es muy precisa y aparte tiene otra ventaja: es una red neuronal convolucional. Las convolucionales tienen capas de convolución que el dato de entrada también te lo comprimen. Entonces están hechas para trabajar con datos muy grandes y con todas estas ventajas han conseguido eso: que con un trocito de la gráfica ella te dé los parámetros con una precisión de más de un 90%. Se ha entrenado, eso sí, tenemos muy poquitos datos de LIGO, Virgo y KAGRA de fusión de estrellas de neutrones y. Esto es un problemón. ¿Qué se ha hecho? Ellos han generado de forma sintética datos, han empezado a generar datos, han hecho un conjunto de datos sintéticos grande, lo han entrenado con estos datos ficticios y luego el conjunto de validación con el que lo han testeado es con datos reales, con esas poquitas percepciones que tenemos, y funciona muy bien. Y no solo eso, es tan rápida y tan eficiente. Que la podríamos tener en tiempo real en un ordenador según se va recibiendo la señal de LIGO, Virgo y KAGRA, ¡pum, pum, pum, pum!, ella procesando y en cuanto detecte algo que lance la señal. Esto supondría una herramienta muy útil para detectar este tipo de…