Búsqueda · 29 momentos en 16 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasestandarización en datos astrofísicosfeeds formato de datosdesviaciones de estándares astrofísicosnuevo estándar con modificacionesorganización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismounificación datos científicoscoste infraestructura datosactualización datos iteracióninstalaciones europeas suizainfraestructuras para manejo datos científicosdatos vetados a paíseschina y acceso a datosfrancis villatoro y distribución globalFrancis VillatoroChinaSara RobiscoEstados UnidosHéctor SocasEuropaSuizaPythonVisa de EstudioFTPTierraDavid MonteroUniversidad de LeithpigLeipzigAPIiSentinelSQL ServerVisual StudioSentinel
Infraestructuras para manejo datos científicos
Con
0:000:301:001:302:002:303:003:21
Francis Villatoro y Sara Robisco discuten sobre la distribución global de infraestructuras para el manejo de datos científicos, mencionando la existencia potencial de instalaciones en países como Estados Unidos, Japón, Australia y China.
…incertidumbre y mucho dato sesgado, porque a lo mejor tienes datos de terremotos y no has recogido datos de no terremotos o datos de, o solo has cogido datos de zonas que afectan a una población. Y te faltan datos históricos de zonas donde no vivía nadie. entonces, o donde no has puesto, ahora ya está más monitorizado, pero a lo largo de la historia tenemos lagunas de información, claro. Tenemos mucho sesgo. Digo que me parece a mí que lo difícil en estos casos es la estandarización. También, o sea, el hecho de que todo el mundo lo adopte como estándar y lo mantenga como debe ser. Por ejemplo, en astrofísica están los feeds, que es un formato de datos con mucho metadato, una estructura con muchas dimensiones y tal, pero al final resulta que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se hagan todos esos cálculos, una iteración y se genere de nuevo. Sí, es un mundo ideal, maravilloso; si todo fuera coste cero sería maravilloso, pero el coste de ese tipo de infraestructura es enorme y con los conflictos geopolíticos que tenemos, etc. Habrá instalaciones de ese tipo europeas, habrá una suiza, habrá Una estadounidense habrá una japonesa, habrá una australiana, habrá una china y ahí has dado, Francis, si tienes una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás comparten pero no comparte todo lo suyo, solo parte de lo suyo, tema muy muy complejo. Pero es bonito, este tipo de Artículos están bien. Sobre todo eso, porque permite un poco contar a los oyentes que hay más formas de organizar el dato y más formas de jugar con él. Porque eso es lo bonito, ¿no? El explicar cómo... El problema de estudiar la Tierra es que está llena de…
Significado #1 · Palabras #1
Sara Robisco explica el concepto de 'cubos de datos' como una solución para mejorar el almacenamiento y visualización de datos en geociencias, contrastando con los métodos antiguos basados en FTP.
Habla: Sara RobiscoSignificado #9 · Palabras #20datos geociencias escalas diferentesartículo robisco sobre orígenes datosbuenas prácticas para no informáticoscubos de datos para geocienciasftp y almacenamiento antiguotablas de base de datos relacionalesrepositorio de imágenes sara robisco…este artículo que tiene gente, hay gente española en él, o sea David Montero que es de la Universidad de Leithpig Son casi todos, vienen de Leipzig y tal, pero hay gente española en esta investigación. Bueno, realmente no es una investigación. ¿Qué proponen? Ante esta dificultad de orígenes de datos, este batiburrillo de datos de diferentes escalas, diferentes tipos, que cada uno pone los datos como quiere, diferentes medidas, datos incompletos, tenemos un batiburrillo que no veas, y claro, ellos dicen, oye, ¿hay alguna forma? de modelar estos datos y hacer unas buenas prácticas o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que proponen es que antiguamente estos datos recopilados se guardaban en, accedíamos a ellos como por FTP y que ahora hay formas seguras de compartirlos; hemos evolucionado bastante. Pero no hemos evolucionado en cómo los almacenamos y cómo se visualizan, que eso es importante. Actualmente tenemos las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de…
Sara Robisco explica la necesidad de herramientas de análisis estadístico integradas en los cubos de datos para evitar que científicos como físicos o biólogos tengan que programar para analizar sus propios datos.
Habla: Sara RobiscoSignificado #2análisis de datos para físicosprogramación para biólogosgeólogos sin programacióncientíficos de datos preparan paquetesgeólogos analizan dato especializadoherramientas lab para análisis…muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una…
Sara Robisco explica cómo los 'cubos de datos' facilitan el intercambio de información entre científicos, permitiendo a los usuarios acceder a los datos y obtener respuestas sin necesidad de realizar consultas complejas.
Habla: Sara RobiscoSignificado #4cubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejas…¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se…
Sara Robisco explica cómo los cubos de datos permiten a los científicos evitar programar código innecesario para el análisis de datos, destacando la importancia de la multidimensionalidad en su estructura.
Habla: Sara RobiscoSignificado #11cubos de datos para científicosmultidimensionalidad en cubos de datossatélite y hechos climatológicos…cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Sara Robisco explica que la implementación de pequeños repositorios con cubos orientados a cada grupo científico simplifica el acceso y análisis de datos, ya que los usuarios pueden obtener respuestas directamente sin necesidad de realizar consultas complejas.
Habla: Sara RobiscoSignificado #15cubos orientados a cada grupo científicociclo de vida de datos adaptadorepositorios con cubos científicos…ciencias de la Tierra, no; lo que ellos proponen también, el uso de cubos, lo que propone, lo esencial es no tener una base de datos global con todo un repositorio global, sino tener pequeños repositorios con pequeños cubos orientados a cada grupo científico. Esto simplifica mucho porque tú vas a tiro hecho. Entonces accedes, tienes tu cubo ya preparado y haces una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de…
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
Habla: Sara RobiscoSignificado #16reutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivocientífico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco explica su experiencia personal creando cubos de datos utilizando SQL Server, destacando su utilidad para manejar datos no relacionados con imágenes.
Habla: Sara RobiscoPalabras #18cubos de datos con sql serverbase de datos reaccional e imágenesvisual studio para crear cubostablo para compartir cubos…digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio, creas tu cubo y luego eso ya se comparte una vez hecho y está listo para usar. Incluso ya puedes compartirlo en tablo y que la persona simplemente elija qué quiere ver Una preguntita, Sara: me he perdido un poco, pues claro, por un lado la idea es que los geofísicos, los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de…
Sara Robisco, junto con Francis Villatoro, discuten sobre la necesidad de un consultor informático para los geofísicos al acceder a información jerarquizada en cubos de datos.
Habla: Sara RobiscoSignificado #8geofísicos y consultor informáticocubos de datos para científicospython o visa de estudiodesarrollo del cubo por expertos…los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de software que les habiliten a acceder a este tipo de información jerarquizada en forma de cubos. Pero por otro lado, a veces comentas como que es muy fácil acceder a esa información con un pequeño código de Python, con un no sé qué, y dices, pero claro, el geofísico tiene que tener un consultor informático. Claro, la persona que elabora ese cubo para que la gente pueda beber de él, es la que te va a hacer el código o bien en Python o en Visa de Estudio, porque claro, aquí lo que te están hablando es tanto de aparte para la persona científico como para la persona que desarrolla el cubo. Entonces ellos te están diciendo cómo lo vas a desarrollar y cómo lo vas a publicar para que tu científico solo mueva datos y visualice. O sea, digamos que tenía que haber una comunidad mixta de informáticos y de científicos y geofísicos; y los geofísicos de vez en cuando plantean cuestiones que quieren resolver. Pues mira, con este tipo de información me gustaría poder hacer esto, pero yo no…
Sara Robisco explica la ventaja de centralizar el código para generar cubos de datos en un repositorio público, permitiendo a varios grupos de investigación acceder y utilizarlo sin tener que desarrollar sus propias soluciones.
Habla: Sara RobiscoSignificado #12repositorio público para cubos de datosgrupos de investigación comparten códigoeficiencia en la gestión de datosevitar duplicidad en bases de datosdatos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundo…que les resuelve ese problema y genera un código público que el geofísico puede utilizar: público o a nivel de su organización, pero la idea es trabajar solo una vez. Quiero decir, yo te hago el cubo, se actualiza periódicamente y ya no tengo que hacer más. En cambio, tú imagínate que hay varios grupos de investigación que quieren datos, entonces a lo mejor están todos haciendo el mismo código o código distinto para hacer lo mismo. Si tú lo tienes en un repositorio, oye, esto está aquí y todos pueden consultar; has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay…
Francis Villatoro y Sara Robisco discuten sobre la distribución global de infraestructuras para el manejo de datos científicos, mencionando la existencia potencial de instalaciones en países como Estados Unidos, Japón, Australia y China.
Habla: Francis VillatoroSignificado #1 · Palabras #1estandarización en datos astrofísicosfeeds formato de datosdesviaciones de estándares astrofísicosnuevo estándar con modificacionesorganización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismounificación datos científicoscoste infraestructura datosactualización datos iteracióninstalaciones europeas suizainfraestructuras para manejo datos científicosdatos vetados a paíseschina y acceso a datosfrancis villatoro y distribución global…incertidumbre y mucho dato sesgado, porque a lo mejor tienes datos de terremotos y no has recogido datos de no terremotos o datos de, o solo has cogido datos de zonas que afectan a una población. Y te faltan datos históricos de zonas donde no vivía nadie. entonces, o donde no has puesto, ahora ya está más monitorizado, pero a lo largo de la historia tenemos lagunas de información, claro. Tenemos mucho sesgo. Digo que me parece a mí que lo difícil en estos casos es la estandarización. También, o sea, el hecho de que todo el mundo lo adopte como estándar y lo mantenga como debe ser. Por ejemplo, en astrofísica están los feeds, que es un formato de datos con mucho metadato, una estructura con muchas dimensiones y tal, pero al final resulta que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se hagan todos esos cálculos, una iteración y se genere de nuevo. Sí, es un mundo ideal, maravilloso; si todo fuera coste cero sería maravilloso, pero el coste de ese tipo de infraestructura es enorme y con los conflictos geopolíticos que tenemos, etc. Habrá instalaciones de ese tipo europeas, habrá una suiza, habrá Una estadounidense habrá una japonesa, habrá una australiana, habrá una china y ahí has dado, Francis, si tienes una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás comparten pero no comparte todo lo suyo, solo parte de lo suyo, tema muy muy complejo. Pero es bonito, este tipo de Artículos están bien. Sobre todo eso, porque permite un poco contar a los oyentes que hay más formas de organizar el dato y más formas de jugar con él. Porque eso es lo bonito, ¿no? El explicar cómo... El problema de estudiar la Tierra es que está llena de…