Búsqueda · 31 momentos en 18 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasestandarización en datos astrofísicosfeeds formato de datosdesviaciones de estándares astrofísicosnuevo estándar con modificacionesorganización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismoHéctor SocasSara RobiscoDavid MonteroUniversidad de LeithpigLeipzigAPIiSentinelTierraExcelciencias de la TierraFTPSentinel
Feeds formato de datos
Con
0:000:301:001:302:002:303:003:21
Héctor Socas reflexiona sobre los desafíos de la estandarización en el manejo de datos científicos, especialmente en astrofísica, y cómo las desviaciones de los estándares pueden generar problemas.
…incertidumbre y mucho dato sesgado, porque a lo mejor tienes datos de terremotos y no has recogido datos de no terremotos o datos de, o solo has cogido datos de zonas que afectan a una población. Y te faltan datos históricos de zonas donde no vivía nadie. entonces, o donde no has puesto, ahora ya está más monitorizado, pero a lo largo de la historia tenemos lagunas de información, claro. Tenemos mucho sesgo. Digo que me parece a mí que lo difícil en estos casos es la estandarización. También, o sea, el hecho de que todo el mundo lo adopte como estándar y lo mantenga como debe ser. Por ejemplo, en astrofísica están los feeds, que es un formato de datos con mucho metadato, una estructura con muchas dimensiones y tal, pero al final resulta que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se…
Significado #1 · Palabras #1
Sara Robisco y Héctor Socas están verificando la calidad del audio y Sara está compartiendo información sobre su búsqueda de datos relacionados con bases de datos analíticas, destacando la importancia de los metadatos.
Habla: Sara RobiscoSignificado #20datos sobre bases de datos analíticasmetadatos en la búsqueda de datosimportancia de los metadatos para sara robiscoHola. ¿Cómo está la vida por ahí? No hemos comprobado los audios. ¿Cómo se me escucha? Bien. Vale. Bien, bien. Solo tenía la duda con Sara. A ver, Sara, cuéntanos algo. Saluda. Pues mira, aquí estoy buscando datos sobre bases de datos analíticas. Datos sobre bases de datos es metadatos. Efectivamente, los metadatos. Muy importantes. Si no fuera por ellos estaríamos muchas veces más perdidos que un patrón no garaje. ¿Qué tal se me escucha? Bien, suena a veces un ruidillo de fondo, que igual es un ventilador o aire acondicionado o algo así, pero... No tengo nada; espera, me muteo a ver si soy yo, que nunca se sabe, a ver si es mi... No, no, no, no es por eso, me pareció…
Sara Robisco describe la complejidad de los orígenes de datos en un trabajo sobre geociencias, señalando la diversidad de escalas, tipos y formatos que dificultan su manejo.
Habla: Sara RobiscoSignificado #8 · Palabras #3datos geociencias escalas diferentesartículo robisco sobre orígenes datosbuenas prácticas para no informáticoscubos de datos para geocienciasftp y almacenamiento antiguotablas de base de datos relacionalesrepositorio de imágenes sara robiscobase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetoscubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápida…este artículo que tiene gente, hay gente española en él, o sea David Montero que es de la Universidad de Leithpig Son casi todos, vienen de Leipzig y tal, pero hay gente española en esta investigación. Bueno, realmente no es una investigación. ¿Qué proponen? Ante esta dificultad de orígenes de datos, este batiburrillo de datos de diferentes escalas, diferentes tipos, que cada uno pone los datos como quiere, diferentes medidas, datos incompletos, tenemos un batiburrillo que no veas, y claro, ellos dicen, oye, ¿hay alguna forma? de modelar estos datos y hacer unas buenas prácticas o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que proponen es que antiguamente estos datos recopilados se guardaban en, accedíamos a ellos como por FTP y que ahora hay formas seguras de compartirlos; hemos evolucionado bastante. Pero no hemos evolucionado en cómo los almacenamos y cómo se visualizan, que eso es importante. Actualmente tenemos las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un…
Sara Robisco explica cómo los cubos de datos difieren de las hojas de cálculo como Excel, destacando que cada columna aporta información específica sobre el fenómeno observado.
Habla: Sara RobiscoSignificado #11cubos de datos versus excelcolumna aporta valor en cuboslugar intensidad y tiempo en tormentasrepositorios pequeños para grupos científicos…las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está aportando es: ¿Qué está pasando? El lugar, por ejemplo, imagínate una tormenta, el lugar, la intensidad y la franja de tiempo, por ejemplo. Entonces todo nos está aportando información; entonces, por eso es tan potente; entonces, esto dices, vale, pero esto se hace con todos los datos de ciencias de la Tierra, no; lo que ellos proponen también, el uso de cubos, lo que propone, lo esencial es no tener una base de datos global con todo un repositorio global, sino tener pequeños repositorios con pequeños cubos orientados a cada grupo científico. Esto simplifica mucho porque tú vas a tiro hecho. Entonces accedes, tienes tu cubo ya preparado y haces una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué?…
Sara Robisco explica cómo los científicos de datos pueden desarrollar sistemas automatizados para actualizar cubos de datos, utilizando APIs o técnicas de scrapping para capturar nuevas versiones de datos como los proporcionados por iSentinel.
Habla: Sara RobiscoSignificado #3científico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datos…release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya…
Sara Robisco explica la ventaja de contar con un pequeño equipo especializado en gestión de datos que pueda cubrir nuevas necesidades rápidamente. Menciona el ejemplo de datos de Sentinel provenientes de varios observatorios, agrupados y publicados a través de una API.
Habla: Sara RobiscoSignificado #18datos sentinel de varios observatoriosequipo especializado en gestión de datosapi para datos sentinel procesadospublicación de datos para todo el mundo…has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen, una de las cosas que se proponen es, jolín, si tú tienes datos de Sentinel, por ejemplo, pero claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay…
Héctor Socas reflexiona sobre los desafíos de la estandarización en el manejo de datos científicos, especialmente en astrofísica, y cómo las desviaciones de los estándares pueden generar problemas.
Habla: Héctor SocasSignificado #1 · Palabras #1estandarización en datos astrofísicosfeeds formato de datosdesviaciones de estándares astrofísicosnuevo estándar con modificacionesorganización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismo…incertidumbre y mucho dato sesgado, porque a lo mejor tienes datos de terremotos y no has recogido datos de no terremotos o datos de, o solo has cogido datos de zonas que afectan a una población. Y te faltan datos históricos de zonas donde no vivía nadie. entonces, o donde no has puesto, ahora ya está más monitorizado, pero a lo largo de la historia tenemos lagunas de información, claro. Tenemos mucho sesgo. Digo que me parece a mí que lo difícil en estos casos es la estandarización. También, o sea, el hecho de que todo el mundo lo adopte como estándar y lo mantenga como debe ser. Por ejemplo, en astrofísica están los feeds, que es un formato de datos con mucho metadato, una estructura con muchas dimensiones y tal, pero al final resulta que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se…
Sara Robisco comenta sobre la utilidad de los artículos para informar a la audiencia sobre las diversas formas de organizar y manipular datos científicos.
Habla: Sara RobiscoSignificado #4organizar datos científicosmanipular dato científicoexplicar formas de organizar dato…una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás comparten pero no comparte todo lo suyo, solo parte de lo suyo, tema muy muy complejo. Pero es bonito, este tipo de Artículos están bien. Sobre todo eso, porque permite un poco contar a los oyentes que hay más formas de organizar el dato y más formas de jugar con él. Porque eso es lo bonito, ¿no? El explicar cómo... El problema de estudiar la Tierra es que está llena de gente. Ah, también. Y que cada uno hace lo que le dé la gana, pero yo, por ejemplo, me encontré con datos de volcanes. Era, estudiando, me hice un cubo para estudiar, hacer una visualización de volcanes. Y claro, tienes ahí problemón de que la información sobre los daños que…