Búsqueda · 29 momentos en 14 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasvisualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionescubos de datos para científicosmultidimensionalidad en cubos de datossatélite y hechos climatológicosiCuboSara RobiscoiSentinelSatélitesMillasKilómetrosHéctor SocasTierraMachine Learning
Metadatos asociados dimensiones
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
…el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Significado #1 · Palabras #1
Sara Robisco y Héctor Socas están verificando la calidad del audio y Sara está compartiendo información sobre su búsqueda de datos relacionados con bases de datos analíticas, destacando la importancia de los metadatos.
Habla: Sara RobiscoSignificado #14 · Palabras #4datos sobre bases de datos analíticasmetadatos en la búsqueda de datosimportancia de los metadatos para sara robiscoHola. ¿Cómo está la vida por ahí? No hemos comprobado los audios. ¿Cómo se me escucha? Bien. Vale. Bien, bien. Solo tenía la duda con Sara. A ver, Sara, cuéntanos algo. Saluda. Pues mira, aquí estoy buscando datos sobre bases de datos analíticas. Datos sobre bases de datos es metadatos. Efectivamente, los metadatos. Muy importantes. Si no fuera por ellos estaríamos muchas veces más perdidos que un patrón no garaje. ¿Qué tal se me escucha? Bien, suena a veces un ruidillo de fondo, que igual es un ventilador o aire acondicionado o algo así, pero... No tengo nada; espera, me muteo a ver si soy yo, que nunca se sabe, a ver si es mi... No, no, no, no es por eso, me pareció…
Sara Robisco explica cómo los 'cubos de datos' ofrecen una alternativa a las bases de datos relacionales tradicionales para el análisis de datos en geociencias.
Habla: Sara RobiscoSignificado #10cubos de datos para geocienciasbase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetos…las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene…
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
Habla: Sara RobiscoSignificado #1 · Palabras #1visualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionescubos de datos para científicosmultidimensionalidad en cubos de datossatélite y hechos climatológicos…el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #3satélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nuloscubos de datos y sara robiscomachine learning en cubos de datosredes neuronales para anomalíasestudio climático con machine learning…una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para hacer transformación de los datos, por ejemplo, podemos aplicar redes neuronales o cualquier sistema para detectar anomalías. Imagínate: estamos haciendo un estudio climático, un Estudio de las temperaturas de la Tierra, tenemos nuestros sistemas captando, captando, captando y de repente dices: vale, pero ¿cuál es de todo esto que estoy captando? Imagínate, datos de temperatura y tal, y sequedad de humedad de superficie, por ejemplo…
Sara Robisco continúa discutiendo sobre los desafíos relacionados con el almacenamiento de datos, especialmente cuando se trata de imágenes y metadatos asociados.
Habla: Sara RobiscoPalabras #2almacenamiento de datos imágenescubos de datos muy pequeñossoluciones en la nube bases datos…eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden…
Héctor Socas reflexiona sobre los desafíos de la estandarización en el manejo de datos científicos, especialmente en astrofísica, y cómo las desviaciones de los estándares pueden generar problemas.
Habla: Héctor SocasPalabras #10estandarización en datos astrofísicosfeeds formato de datosdesviaciones de estándares astrofísicosnuevo estándar con modificaciones…incertidumbre y mucho dato sesgado, porque a lo mejor tienes datos de terremotos y no has recogido datos de no terremotos o datos de, o solo has cogido datos de zonas que afectan a una población. Y te faltan datos históricos de zonas donde no vivía nadie. entonces, o donde no has puesto, ahora ya está más monitorizado, pero a lo largo de la historia tenemos lagunas de información, claro. Tenemos mucho sesgo. Digo que me parece a mí que lo difícil en estos casos es la estandarización. También, o sea, el hecho de que todo el mundo lo adopte como estándar y lo mantenga como debe ser. Por ejemplo, en astrofísica están los feeds, que es un formato de datos con mucho metadato, una estructura con muchas dimensiones y tal, pero al final resulta que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te…