Búsqueda · 33 momentos en 21 episodios
Silvana TapiaLuisa AchaerandioJuan Carlos GilFrancis VillatoroBorja TosarHéctor Socasalmacenamiento masivo para simulacionessistema de colas en superordenadorscript para lanzar código numéricohoras de cpu asignadas a usuariosCPUHéctor SocasLinuxEl MarcianoCPUsJuan Carlos GilHigh Performance ComputingGPUsBoeingBerkeley Open Interface for Network Computing (BOINC)CETI at HomeBarcelona
Almacenamiento masivo para simulaciones
Con
0:000:301:001:302:002:303:003:17
Héctor Socas explica cómo funciona el almacenamiento masivo y los sistemas de colas en superordenadores, comparándolo con la experiencia de usuarios de Linux.
…los que estén acostumbrados a trabajar en Linux, pues sabrán de lo que estoy hablando. Cuando tienes un directorio home con una cierta configuración y tú en ese directorio home subes tu programa, puedes hacer pequeñas cositas y luego tienes un espacio en El almacenamiento, el almacenamiento masivo que es un espacio que se te asigna para almacenar ahí el resultado de tu simulación, como espacio de trabajo para tu simulación. Entonces, tú allí compilas el código en el superordenador con las herramientas que tienen para compilar y luego hay un sistema de colas porque no lo estás usando tú solo; hay mucha gente usando ese superordenador y entonces tú envías tu trabajo. Tu trabajo es básicamente suele haber un script, un pequeño programita que lanza tu código numérico con las condiciones iniciales adecuadas y entonces ahí tienes que especificar también cuáles son las opciones. A ti normalmente te han asignado un cierto número de horas de CPU que tú puedes repartir en poquitos procesadores: muchas horas o pocas horas en Muchos procesadores normalmente tú tienes libertad para configurar cuántos procesadores y cuántas horas quieres consumir dentro de esa cuota que te han dado, y entonces se lanza y entra en un pool donde hay otros usuarios, cada uno con su prioridad…
Significado #1 · Palabras #1
Héctor Socas explica cómo funciona el almacenamiento masivo y los sistemas de colas en superordenadores, comparándolo con la experiencia de usuarios de Linux.
Habla: Héctor SocasSignificado #1 · Palabras #1almacenamiento masivo para simulacionessistema de colas en superordenadorscript para lanzar código numéricohoras de cpu asignadas a usuarios…los que estén acostumbrados a trabajar en Linux, pues sabrán de lo que estoy hablando. Cuando tienes un directorio home con una cierta configuración y tú en ese directorio home subes tu programa, puedes hacer pequeñas cositas y luego tienes un espacio en El almacenamiento, el almacenamiento masivo que es un espacio que se te asigna para almacenar ahí el resultado de tu simulación, como espacio de trabajo para tu simulación. Entonces, tú allí compilas el código en el superordenador con las herramientas que tienen para compilar y luego hay un sistema de colas porque no lo estás usando tú solo; hay mucha gente usando ese superordenador y entonces tú envías tu trabajo. Tu trabajo es básicamente suele haber un script, un pequeño programita que lanza tu código numérico con las condiciones iniciales adecuadas y entonces ahí tienes que especificar también cuáles son las opciones. A ti normalmente te han asignado un cierto número de horas de CPU que tú puedes repartir en poquitos procesadores: muchas horas o pocas horas en Muchos procesadores normalmente tú tienes libertad para configurar cuántos procesadores y cuántas horas quieres consumir dentro de esa cuota que te han dado, y entonces se lanza y entra en un pool donde hay otros usuarios, cada uno con su prioridad…
Juan Carlos Gil comenta sobre la importancia de las simulaciones que requieren el uso de CPUs durante varias horas, considerándolo algo extraordinario.
Habla: Juan Carlos GilSignificado #5monitorización de simulaciones hector socasfichero sumario resultado simulaciónsistema de colas envía correosimulaciones con cpus durante horasinvestigador y académico habla de simulacionespedazo de simulación increíblehoras de cpu en superordenadoresreducir simulaciones a minutossimulaciones con superordenador gil…¿no? Por ejemplo, el Mare Nostrum de Barcelona. Yo me conecto a Barcelona y a mí no me sirve de nada que aquello en la catedral allí de Barcelona se oiga un ping, que por otra parte no lo hace porque no tiene altavoces, ¿no? Pero no te serviría de nada. Lo que se suele hacer es ponerle que te dé un aviso, por ejemplo, que tú tengas un programita que esté monitorizando determinado fichero y cuando tu fichero, yo suelo poner que cuando mi simulación termina, cree un fichero con una especie de sumario del resultado; cuando ya tú ves que ese fichero existe, es que aquello ha terminado o el sistema de colas te manda un correo. Exacto, puedes ponerle también eso, que te manda un correo. Y luego esa es la parte un poco en serio, o sea que no es ninguna tontería. Pero antes de que sigas, que da cuenta de tu nivel, en fin, de investigador y académico: el hecho de que hables de la posibilidad de disponer de CPUs durante horas, o sea, eso para mí, horas, muchas horas de CPU, eso es un pedazo de simulación increíble; más bien yo hablaría de minutos, minutos de CPU, porque muchas horas da tiempo para hacer muchas cosas. Es una broma, depende obviamente del tamaño de la simulación pero horas de un superordenador es algo tremendo. No, que te las den es lo difícil; ahora que tú tengas un problema en el cual requieras horas de CPU no es tan complicado, lo difícil es reducirlo a minutos. Echarle más horas siempre es fácil, ¿no? Otra cosa es que te los den, porque esto funciona también; igual es interesante para algunos oyentes que no estén. Familiarizados funciona muy parecido al tiempo de telescopio, o sea, hay un comité al cual tú le envías el proyecto que quieres hacer y hay un comité que evalúa las propuestas y dice cuáles son aptas y cuáles no, porque ese superordenador hay que utilizarlo…
Héctor Socas menciona la importancia de guardar puntos de guardado en simulaciones y hace referencia a una escena de la película 'El Marciano' como ejemplo de cálculos necesarios para resolver problemas.
Habla: Héctor SocasSignificado #2simulaciones con snapshot a tiempocálculos marciano para viabilidadastrodinamicista en el marciano…tienes una cuota de horas, de minutos asignada y no te pases estos, porque si tienes 120 minutos y tu programa no ha acabado, acaba sí o sí te lo mata; acaba contigo y te has quedado con la simulación en el punto de vista. Bueno, una cosa muy importante: Estas simulaciones siempre se deben hacer que guarde un snapshot a cierto tiempo, de forma que se pueda continuar. Reiniciar, reiniciar, sí, sí. Y un poco la anécdota tonta es que hay una escena en la película El Marciano, que yo no recuerdo si está así en la novela, ¿no? pero hay una parte en la película en la que el astrodinamicista tiene que hacer los cálculos para comprobar si la maniobra esta que se le ocurre para resolver el problema de la película, si eso es viable o no. Y entonces, para eso, tiene que hacer unos cálculos en superordenador. Que bueno, ya empezamos mal porque eso se hace en un portátil; realmente es un problema de, no sé, tres cuerpos: aquello en un portátil corriendo por la noche lo haces. Pero bueno, para…
Juan Carlos Gil confirma que las empresas ya están utilizando grandes centros de datos para diversas aplicaciones, incluyendo inteligencia artificial, minería de criptomonedas y simulaciones científicas.
Habla: Juan Carlos GilSignificado #6centros de datos para inteligencia artificialsimulaciones científicas en centros de datosmodelado climático y diseño de fármacos…de la IA, pues esos data centers se pueden poner para hacer algo útil, como por ejemplo Boeing, ¿no? Que comentábamos que es esta herramienta que tiene Berkeley para estos proyectos científicos de ciencia ciudadana distribuidos, como por ejemplo CETI at Home. En principio, sí, diría yo. Lo que pasa es que, bueno, Juan Carlos: sí, sí, no solo la respuesta es sí, sino que se está haciendo. Hay empresas ya que tienen granjas de, lo llamamos granjas, grandes centros de datos que dependiendo de la demanda sirven para hacer inteligencia artificial, minería de criptomonedas que da dinerito y bueno, si alguien lo quiere pagar también aplicaciones decentes como simulaciones científicas, modelado climático o diseño de fármacos, estas cosas típicas del… del High Performance Computing que en general pueden utilizar GPUs, que es la base física que se utiliza más para la inteligencia artificial. La respuesta fácil es sí, pero como suelo hacerme lo querría llevar a mi ámbito porque últimamente se está hablando mucho; posiblemente lo hayáis oído, de la posibilidad de construir granjas para cálculo de IA en el espacio, centros de datos en el espacio. Y…