Búsqueda · 35 momentos en 25 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasreutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datosAPISara RobiscoiSentinelEuropaSuizaFrancis VillatoroSatélitesMillasKilómetrosDavid MonteroUniversidad de LeithpigLeipzig
Scrapping para nuevas versiones de datos
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Significado #1 · Palabras #1
Sara Robisco describe la complejidad de los orígenes de datos en un trabajo sobre geociencias, señalando la diversidad de escalas, tipos y formatos que dificultan su manejo.
Habla: Sara RobiscoSignificado #12datos geociencias escalas diferentesartículo robisco sobre orígenes datosbuenas prácticas para no informáticos…este artículo que tiene gente, hay gente española en él, o sea David Montero que es de la Universidad de Leithpig Son casi todos, vienen de Leipzig y tal, pero hay gente española en esta investigación. Bueno, realmente no es una investigación. ¿Qué proponen? Ante esta dificultad de orígenes de datos, este batiburrillo de datos de diferentes escalas, diferentes tipos, que cada uno pone los datos como quiere, diferentes medidas, datos incompletos, tenemos un batiburrillo que no veas, y claro, ellos dicen, oye, ¿hay alguna forma? de modelar estos datos y hacer unas buenas prácticas o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #9satélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nulos…una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para…
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
Habla: Sara RobiscoSignificado #1 · Palabras #1reutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco y Francis Villatoro discuten sobre la necesidad de unificar datos científicos y el coste asociado a esa tarea.
Habla: Sara RobiscoSignificado #6unificación datos científicoscoste infraestructura datosactualización datos iteracióninstalaciones europeas suiza…cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se hagan todos esos cálculos, una iteración y se genere de nuevo. Sí, es un mundo ideal, maravilloso; si todo fuera coste cero sería maravilloso, pero el coste de ese tipo de infraestructura es enorme y con los conflictos geopolíticos que tenemos, etc. Habrá instalaciones de ese tipo europeas, habrá una suiza, habrá Una estadounidense habrá una japonesa, habrá una australiana, habrá una china y ahí has dado, Francis, si tienes una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás…