Búsqueda · 34 momentos en 21 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasreutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datosiSentinelSara RobiscoAPIEuropaSuizaFrancis VillatoroHéctor SocasUbuntuLinuxMurphy
Actualización constante de datos
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica la complejidad de la reutilización de cubos de datos en ciencias de la tierra, debido a la naturaleza dinámica del planeta y la necesidad de actualizar constantemente los datos.
…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Significado #1 · Palabras #1
Sara Robisco y Héctor Socas están verificando la calidad del audio y Sara está compartiendo información sobre su búsqueda de datos relacionados con bases de datos analíticas, destacando la importancia de los metadatos.
Habla: Sara RobiscoSignificado #13datos sobre bases de datos analíticasmetadatos en la búsqueda de datosimportancia de los metadatos para sara robiscoHola. ¿Cómo está la vida por ahí? No hemos comprobado los audios. ¿Cómo se me escucha? Bien. Vale. Bien, bien. Solo tenía la duda con Sara. A ver, Sara, cuéntanos algo. Saluda. Pues mira, aquí estoy buscando datos sobre bases de datos analíticas. Datos sobre bases de datos es metadatos. Efectivamente, los metadatos. Muy importantes. Si no fuera por ellos estaríamos muchas veces más perdidos que un patrón no garaje. ¿Qué tal se me escucha? Bien, suena a veces un ruidillo de fondo, que igual es un ventilador o aire acondicionado o algo así, pero... No tengo nada; espera, me muteo a ver si soy yo, que nunca se sabe, a ver si es mi... No, no, no, no es por eso, me pareció…
Héctor Socas comenta sobre el comportamiento de sistemas operativos y cómo algunos realizan actualizaciones automáticas no deseadas, contrastándolo con su propia experiencia usando Ubuntu de Linux.
Habla: Héctor SocasSignificado #15ubuntu de linux y notificacionesactualizaciones automáticas en ubuntuhector socas y actualizaciones no deseadas…la verdad es que en la actualidad todos ellos realizan actualizaciones automáticas no deseadas y es casi imposible escaparlos para que no hagan lo que no queremos que hagan cuando, por las leyes de Murphy siempre ocurrirá cuando estemos grabando un podcast Bueno, yo debo decir que el mío no lo hace ¿eh? Yo uso un Ubuntu de Linux y se pone pesado con las notificaciones de por favor actualízame, por favor actualízame, pero no hace cosas sin pedirme permiso hasta donde yo sé. Tú le ordenaste que no lo hiciera, o sea, fuiste al menú oportuno para decirle: no te actualice automáticamente. No me acuerdo. Bueno, nada estamos esperando también a Juan Carlos Gil, que lo teníamos aquí hasta hace un momento, pero se nos ha desmaterializado. Ya podemos seguir adelante y en caso de que se vuelva a unir, pues ya lo presentamos como corresponde. Bien, vamos entonces…
Sara Robisco explica las características esenciales de un cubo de datos o base de datos analítica, enfatizando la necesidad de rapidez en las consultas y la oferta de herramientas para el análisis estadístico.
Habla: Sara RobiscoSignificado #10cubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápida…un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un…
Sara Robisco explica la necesidad de un equipo de científicos de datos que preparen el paquete de datos para los geólogos, permitiéndoles enfocarse en el análisis con su conocimiento especializado.
Habla: Sara RobiscoPalabras #5científicos de datos preparan paquetesgeólogos analizan dato especializadoherramientas lab para análisis…persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una…
Sara Robisco explica cómo los 'cubos de datos' facilitan el intercambio de información entre científicos, permitiendo a los usuarios acceder a los datos y obtener respuestas sin necesidad de realizar consultas complejas.
Habla: Sara RobiscoSignificado #11cubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejas…¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se…
Sara Robisco explica que la implementación de pequeños repositorios con cubos orientados a cada grupo científico simplifica el acceso y análisis de datos, ya que los usuarios pueden obtener respuestas directamente sin necesidad de realizar consultas complejas.
Habla: Sara RobiscoSignificado #20cubos orientados a cada grupo científicociclo de vida de datos adaptadorepositorios con cubos científicos…ciencias de la Tierra, no; lo que ellos proponen también, el uso de cubos, lo que propone, lo esencial es no tener una base de datos global con todo un repositorio global, sino tener pequeños repositorios con pequeños cubos orientados a cada grupo científico. Esto simplifica mucho porque tú vas a tiro hecho. Entonces accedes, tienes tu cubo ya preparado y haces una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de…
Sara Robisco explica la complejidad de la reutilización de cubos de datos en ciencias de la tierra, debido a la naturaleza dinámica del planeta y la necesidad de actualizar constantemente los datos.
Habla: Sara RobiscoSignificado #1 · Palabras #1reutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco y Francis Villatoro discuten sobre la necesidad de unificar datos científicos y el coste asociado a esa tarea.
Habla: Sara RobiscoSignificado #3 · Palabras #9unificación datos científicoscoste infraestructura datosactualización datos iteracióninstalaciones europeas suiza…cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se hagan todos esos cálculos, una iteración y se genere de nuevo. Sí, es un mundo ideal, maravilloso; si todo fuera coste cero sería maravilloso, pero el coste de ese tipo de infraestructura es enorme y con los conflictos geopolíticos que tenemos, etc. Habrá instalaciones de ese tipo europeas, habrá una suiza, habrá Una estadounidense habrá una japonesa, habrá una australiana, habrá una china y ahí has dado, Francis, si tienes una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás…