Búsqueda · 29 momentos en 20 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasreutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datosAPISara RobiscoiSentinelSentinelUbuntuLinuxHéctor SocasMurphyEuropaSuizaFrancis VillatoroUniversidad de MálagaLa Ciencia de la MulaTwitterJuan Carlos GilWindows
Actualización automatizada con API isentinel
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Significado #1 · Palabras #1
Héctor Socas comenta sobre el comportamiento de sistemas operativos y cómo algunos realizan actualizaciones automáticas no deseadas, contrastándolo con su propia experiencia usando Ubuntu de Linux.
Habla: Héctor SocasSignificado #4francis villatoro blog la ciencia de la mulatemperatura agradable en malagaactualizaciones automáticas windows linux macleyes de murphy y grabaciones de podcastubuntu de linux y notificacionesactualizaciones automáticas en ubuntuhector socas y actualizaciones no deseadas…Carlos Gil, esto ya sí que digo su nombre porque han firmado el formulario de consentimiento o quizás no, porque se nos acaba de desaparecer de la pantalla, así que se puso nervioso cuando vio que lo iba a presentar Bueno, pues seguimos con Francis Villatoro, que es físico, informático, doctor en matemáticas, profesor en la Universidad de Málaga, es autor del blog La Ciencia de la Mula Francis y es arroba emulenews en Twitter. ¿Qué tal, Francis? ¿Cómo estás? Pues muy bien, aquí estamos en Málaga, hoy tenemos un día soleado, tendremos unos 20, 21 grados de temperatura, así que se está bastante agradable en la calle y nada, pues deseando disfrutar del programa hoy. A ver si aparece Juan Carlos, que lo mismo ha tenido un evento de estos de instalación automática del sistema operativo correspondiente, no sabemos si usará Windows, Linux o Mac. la verdad es que en la actualidad todos ellos realizan actualizaciones automáticas no deseadas y es casi imposible escaparlos para que no hagan lo que no queremos que hagan cuando, por las leyes de Murphy siempre ocurrirá cuando estemos grabando un podcast Bueno, yo debo decir que el mío no lo hace ¿eh? Yo uso un Ubuntu de Linux y se pone pesado con las notificaciones de por favor actualízame, por favor actualízame, pero no hace cosas sin pedirme permiso hasta donde yo sé. Tú le ordenaste que no lo hiciera, o sea, fuiste al menú oportuno para decirle: no te actualice automáticamente. No me acuerdo. Bueno, nada estamos esperando también a Juan Carlos Gil, que lo teníamos aquí hasta hace un momento, pero se nos ha desmaterializado. Ya podemos seguir adelante y en caso de que se vuelva a unir, pues ya lo presentamos como corresponde. Bien, vamos entonces…
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
Habla: Sara RobiscoSignificado #1 · Palabras #1reutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco explica la ventaja de contar con un pequeño equipo especializado en gestión de datos que pueda cubrir nuevas necesidades rápidamente. Menciona el ejemplo de datos de Sentinel provenientes de varios observatorios, agrupados y publicados a través de una API.
Habla: Sara RobiscoSignificado #3 · Palabras #6datos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundo…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay…
Sara Robisco y Francis Villatoro discuten sobre la necesidad de unificar datos científicos y el coste asociado a esa tarea.
Habla: Sara RobiscoSignificado #9unificación datos científicoscoste infraestructura datosactualización datos iteracióninstalaciones europeas suiza…cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se hagan todos esos cálculos, una iteración y se genere de nuevo. Sí, es un mundo ideal, maravilloso; si todo fuera coste cero sería maravilloso, pero el coste de ese tipo de infraestructura es enorme y con los conflictos geopolíticos que tenemos, etc. Habrá instalaciones de ese tipo europeas, habrá una suiza, habrá Una estadounidense habrá una japonesa, habrá una australiana, habrá una china y ahí has dado, Francis, si tienes una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás…