Búsqueda · 31 momentos en 21 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasdatos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundodatos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubosSentinelSara RobiscoiCuboTierraSatélitesMillasKilómetrosStar TrekBorgHéctor SocasSETI
Cubos incompletos Sentinel y órbitas
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo el uso de herramientas específicas puede ahorrar tiempo al trabajar con datos satelitales, mencionando ejemplos concretos y la necesidad de gestionar cubos incompletos provenientes de fuentes como Sentinel.
…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…
Significado #1 · Palabras #1
Héctor Socas bromea sobre haber revelado información sobre un artículo relacionado con SETI, anticipando que esto podría disuadir a algunos oyentes de sintonizar el próximo episodio. Luego introduce el tema de los 'cubos de datos' en relación con la Tierra, haciendo una comparación humorística con elementos de Star Trek.
Habla: Héctor SocasSignificado #15 · Palabras #11seti y próximos episodioshipercubos de la tierra borgdatos en cubos científicos…sin tiempo Entonces el otro paper que había de SETI, que era más normal, lo vamos a dejar para la semana que viene No se preocupen que no han detectado ninguna civilización extraterrestre todavía, así que no pasa nada si lo contamos la semana que viene Ya hice el spoiler, no debería haber dicho eso porque ahora ya nadie va a escuchar la semana que viene. Van a decir: “Mierda, si no hay extraterrestres, no escucho”. Yo espero al siguiente, a ver si ya han encontrado alguno. Y vamos entonces, Sara, con los hipercubos de la Tierra, que suena un poco a cosas de Borg y Star Trek, pero no, cubos de datos. Es cubos de datos. Cubos de datos, no que traigas un montón de datos así en cubos, ¿no? Ya sabéis que a los científicos de datos siempre nos ha gustado el cubo y la pala. La pala, exacto. El cubo y la pala, somos el cubo y pala. Pues cuéntanos este trabajo que nos proponías, que hablaban del análisis de datos de geosciencias en este caso Exacto, en el tema de las geosciencias tenemos un problemilla y es que tenemos múltiples datos, una enorme cantidad de datos, tenemos una enorme…
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
Habla: Sara RobiscoSignificado #4cubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejasvisualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionesmultidimensionalidad en cubos de datossatélite y hechos climatológicos…¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #10satélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nulos…una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para…
Sara Robisco explica cómo el uso de herramientas específicas puede ahorrar tiempo al trabajar con datos satelitales, mencionando ejemplos concretos y la necesidad de gestionar cubos incompletos provenientes de fuentes como Sentinel.
Habla: Sara RobiscoSignificado #1 · Palabras #1datos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundodatos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubos…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…