Búsqueda · 24 momentos en 13 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasdatos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundodatos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubosSentinelSara RobiscoAPIiSentinelSQL ServerVisual StudioSatélitesMillasKilómetrosMachine LearningMinería de Datos
API para datos Sentinel procesados
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica la ventaja de contar con un pequeño equipo especializado en gestión de datos que pueda cubrir nuevas necesidades rápidamente. Menciona el ejemplo de datos de Sentinel provenientes de varios observatorios, agrupados y publicados a través de una API.
…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…
Significado #1 · Palabras #1
Sara Robisco explica cómo los 'cubos de datos' ofrecen una alternativa a las bases de datos relacionales tradicionales para el análisis de datos en geociencias.
Habla: Sara RobiscoSignificado #16cubos de datos para geocienciasbase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetos…las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #13satélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nulos…una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para…
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
Habla: Sara RobiscoSignificado #2 · Palabras #5machine learning para anomalíasminería de datos en cubosanomalías indican grandes sequíasvisualización de datos para decisionessara robisco y machine learningreutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…y tal, y sequedad de humedad de superficie, por ejemplo dices: vale, pero ¿cuáles son anómalos? ¿Cuáles responderían con una gran sequía? Imagínate que queremos saber cuántas sequías se han dado a lo largo de la historia, grandes procesos de sequía, pues. Lo que haces es hacer un algoritmo de Machine Learning, minería de datos, que te saque estas anomalías, situaciones anómalas y te las da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco explica su experiencia personal creando cubos de datos utilizando SQL Server, destacando su utilidad para manejar datos no relacionados con imágenes.
Habla: Sara RobiscoSignificado #9cubos de datos con sql serverbase de datos reaccional e imágenesvisual studio para crear cubostablo para compartir cubos…digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio, creas tu cubo y luego eso ya se comparte una vez hecho y está listo para usar. Incluso ya puedes compartirlo en tablo y que la persona simplemente elija qué quiere ver Una preguntita, Sara: me he perdido un poco, pues claro, por un lado la idea es que los geofísicos, los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de…
Sara Robisco explica la ventaja de contar con un pequeño equipo especializado en gestión de datos que pueda cubrir nuevas necesidades rápidamente. Menciona el ejemplo de datos de Sentinel provenientes de varios observatorios, agrupados y publicados a través de una API.
Habla: Sara RobiscoSignificado #1 · Palabras #1datos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundodatos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubos…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…