Búsqueda · 29 momentos en 16 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasdatos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubosSentinelSara RobiscoiSentineliCuboFrancis VillatoroSatélitesMillasKilómetros
Datos satelitales y herramientas específicas
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo el uso de herramientas específicas puede ahorrar tiempo al trabajar con datos satelitales, mencionando ejemplos concretos y la necesidad de gestionar cubos incompletos provenientes de fuentes como Sentinel.
…claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…
Significado #1 · Palabras #1
Sara Robisco explica las características esenciales de un cubo de datos o base de datos analítica, enfatizando la necesidad de rapidez en las consultas y la oferta de herramientas para el análisis estadístico.
Habla: Sara RobiscoPalabras #15cubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápidaanálisis de datos para físicosprogramación para biólogosgeólogos sin programacióncientíficos de datos preparan paquetesgeólogos analizan dato especializadoherramientas lab para análisis…un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una…
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
Habla: Sara RobiscoSignificado #12 · Palabras #8visualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensiones…el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #16satélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nulos…una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para…
Sara Robisco explica la complejidad de la reutilización de cubos de datos en ciencias de la tierra, debido a la naturaleza dinámica del planeta y la necesidad de actualizar constantemente los datos.
Habla: Sara RobiscoPalabras #5reutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivo…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando…
Sara Robisco explica cómo un paper ofrece ejemplos prácticos para el análisis de datos, sugiriendo herramientas específicas según la tarea a realizar e indicando los retos y soluciones disponibles en cuanto a almacenamiento y potencia de cálculo.
Habla: Sara RobiscoPalabras #6análisis de datos con paperherramientas para tareas específicasalmacenamiento y potencia de cálculo…que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden ayudar en cuanto a almacenamiento o potencia de cálculo. Puedes hacer tener un análisis de datos que puedes hacer desde tu portátil sí pero vas a tener otros que necesites soluciones online como un Kaggle como Google Collab, cosas así, pero bueno, a día de hoy no pasaría nada, pero claro, como yo digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no…
Francis Villatoro pregunta a Sara Robisco sobre la utilidad de las herramientas para geofísicos y expertos en ciencias de la tierra, expresando cierta confusión con el proceso.
Habla: Francis VillatoroSignificado #15herramientas para geofísicos y ciencias de la tierrasoftware para acceso a información jerarquizadacubos informáticos para expertos…si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio, creas tu cubo y luego eso ya se comparte una vez hecho y está listo para usar. Incluso ya puedes compartirlo en tablo y que la persona simplemente elija qué quiere ver Una preguntita, Sara: me he perdido un poco, pues claro, por un lado la idea es que los geofísicos, los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de software que les habiliten a acceder a este tipo de información jerarquizada en forma de cubos. Pero por otro lado, a veces comentas como que es muy fácil acceder a esa información con un pequeño código de Python, con un no sé qué, y dices, pero claro, el geofísico tiene que tener un consultor informático. Claro, la persona que elabora ese cubo para que…
Sara Robisco explica cómo el uso de herramientas específicas puede ahorrar tiempo al trabajar con datos satelitales, mencionando ejemplos concretos y la necesidad de gestionar cubos incompletos provenientes de fuentes como Sentinel.
Habla: Sara RobiscoSignificado #1 · Palabras #1datos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubos…claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…