Búsqueda · 20 momentos en 8 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socascubos de datos para series temporalesmachine learning en cubos de datosextrapolación con machine learninganálisis de distribución climática robiscocubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejasvisualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionesmultidimensionalidad en cubos de datossatélite y hechos climatológicosiCuboSara RobiscoSentinelSatélitesMillasKilómetrosiSentinelFTPSQL ServerVisual StudioStar TrekBorgHéctor SocasSETITierraMachine LearningMinería de DatosPentágonoObservatorio Vera RubinAtacamaEstados Unidos
Cubos datos imágenes satelitales
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
…esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una compra, ¿qué? ¿Qué se ha comprado y a quién? Vale, pero es que en un cubo de datos podemos preguntar: ¿por qué? ¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Significado #1 · Palabras #1
Héctor Socas bromea sobre haber revelado información sobre un artículo relacionado con SETI, anticipando que esto podría disuadir a algunos oyentes de sintonizar el próximo episodio. Luego introduce el tema de los 'cubos de datos' en relación con la Tierra, haciendo una comparación humorística con elementos de Star Trek.
Habla: Héctor SocasSignificado #6 · Palabras #9seti y próximos episodioshipercubos de la tierra borgdatos en cubos científicos…sin tiempo Entonces el otro paper que había de SETI, que era más normal, lo vamos a dejar para la semana que viene No se preocupen que no han detectado ninguna civilización extraterrestre todavía, así que no pasa nada si lo contamos la semana que viene Ya hice el spoiler, no debería haber dicho eso porque ahora ya nadie va a escuchar la semana que viene. Van a decir: “Mierda, si no hay extraterrestres, no escucho”. Yo espero al siguiente, a ver si ya han encontrado alguno. Y vamos entonces, Sara, con los hipercubos de la Tierra, que suena un poco a cosas de Borg y Star Trek, pero no, cubos de datos. Es cubos de datos. Cubos de datos, no que traigas un montón de datos así en cubos, ¿no? Ya sabéis que a los científicos de datos siempre nos ha gustado el cubo y la pala. La pala, exacto. El cubo y la pala, somos el cubo y pala. Pues cuéntanos este trabajo que nos proponías, que hablaban del análisis de datos de geosciencias en este caso Exacto, en el tema de las geosciencias tenemos un problemilla y es que tenemos múltiples datos, una enorme cantidad de datos, tenemos una enorme…
Sara Robisco explica el concepto de 'cubos de datos' como una solución para mejorar el almacenamiento y visualización de datos en geociencias, contrastando con los métodos antiguos basados en FTP.
Habla: Sara RobiscoSignificado #5 · Palabras #4cubos de datos para geocienciasftp y almacenamiento antiguotablas de base de datos relacionalesrepositorio de imágenes sara robiscobase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetoscubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápida…o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que proponen es que antiguamente estos datos recopilados se guardaban en, accedíamos a ellos como por FTP y que ahora hay formas seguras de compartirlos; hemos evolucionado bastante. Pero no hemos evolucionado en cómo los almacenamos y cómo se visualizan, que eso es importante. Actualmente tenemos las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un…
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
Habla: Sara RobiscoSignificado #1 · Palabras #1cubos de datos para series temporalesmachine learning en cubos de datosextrapolación con machine learninganálisis de distribución climática robiscocubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejasvisualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionesmultidimensionalidad en cubos de datossatélite y hechos climatológicos…esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una compra, ¿qué? ¿Qué se ha comprado y a quién? Vale, pero es que en un cubo de datos podemos preguntar: ¿por qué? ¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Sara Robisco discute sobre el proceso de creación de cubos de datos, específicamente abordando la propuesta de curación y tratamiento inicial de los datos para unificar unidades de medida como millas y kilómetros.
Habla: Sara RobiscoSignificado #3 · Palabras #13cubos orientados a cada grupo científicociclo de vida de datos adaptadorepositorios con cubos científicossatélites miden en millas kilómetroscuración tratamiento inicial datoscubo de datos dimensionesarmonización elimina valores nuloscubos de datos y sara robiscomachine learning en cubos de datosredes neuronales para anomalíasestudio climático con machine learning…ciencias de la Tierra, no; lo que ellos proponen también, el uso de cubos, lo que propone, lo esencial es no tener una base de datos global con todo un repositorio global, sino tener pequeños repositorios con pequeños cubos orientados a cada grupo científico. Esto simplifica mucho porque tú vas a tiro hecho. Entonces accedes, tienes tu cubo ya preparado y haces una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué? Porque nosotros el ciclo de vida de estos cubos es el ciclo de vida de datos un poquito adaptado, ¿no? La recopilación de datos, ellos proponen una curación, un tratamiento de datos para unificar porque puedes tener satélites que midan en millas, otros en kilómetros; tienes que hacer ese tratamiento de unificación, crear un cubo, luego otro tratamiento de armonización y yo por ejemplo no estoy de acuerdo con esto. Yo digo primero cura el dato, luego armoniza, elimina valores nulos, rellena huecos, etc., y luego hace el cubo. Ya preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para hacer transformación de los datos, por ejemplo, podemos aplicar redes neuronales o cualquier sistema para detectar anomalías. Imagínate: estamos haciendo un estudio climático, un Estudio de las temperaturas de la Tierra, tenemos nuestros sistemas captando, captando, captando y de repente dices: vale, pero ¿cuál es de todo esto que estoy captando? Imagínate, datos de temperatura y tal, y sequedad de humedad de superficie, por ejemplo…
Sara Robisco explica la complejidad de la reutilización de cubos de datos en ciencias de la tierra, debido a la naturaleza dinámica del planeta y la necesidad de actualizar constantemente los datos.
Habla: Sara RobiscoSignificado #14 · Palabras #3machine learning para anomalíasminería de datos en cubosanomalías indican grandes sequíasvisualización de datos para decisionessara robisco y machine learningreutilización de cubos de datosactualización constante de datosisentinel y nuevas versionesciencia de la tierra mecanismo vivo…y tal, y sequedad de humedad de superficie, por ejemplo dices: vale, pero ¿cuáles son anómalos? ¿Cuáles responderían con una gran sequía? Imagínate que queremos saber cuántas sequías se han dado a lo largo de la historia, grandes procesos de sequía, pues. Lo que haces es hacer un algoritmo de Machine Learning, minería de datos, que te saque estas anomalías, situaciones anómalas y te las da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va evolucionando, entonces lo que tienes que hacer es volver a ir generando datos; entonces lo que tienes que hacer es desarrollar herramientas que cuando haya nuevas release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando…
Sara Robisco continúa discutiendo sobre los desafíos relacionados con el almacenamiento de datos, especialmente cuando se trata de imágenes y metadatos asociados.
Habla: Sara RobiscoPalabras #7almacenamiento de datos imágenescubos de datos muy pequeñossoluciones en la nube bases datos…eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden…
Sara Robisco explica su experiencia personal creando cubos de datos utilizando SQL Server, destacando su utilidad para manejar datos no relacionados con imágenes.
Habla: Sara RobiscoPalabras #5cubos de datos con sql serverbase de datos reaccional e imágenesvisual studio para crear cubostablo para compartir cubos…digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio, creas tu cubo y luego eso ya se comparte una vez hecho y está listo para usar. Incluso ya puedes compartirlo en tablo y que la persona simplemente elija qué quiere ver Una preguntita, Sara: me he perdido un poco, pues claro, por un lado la idea es que los geofísicos, los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de…
Sara Robisco explica cómo el uso de herramientas específicas puede ahorrar tiempo al trabajar con datos satelitales, mencionando ejemplos concretos y la necesidad de gestionar cubos incompletos provenientes de fuentes como Sentinel.
Habla: Sara RobiscoSignificado #2 · Palabras #2datos satelitales y herramientas específicascubos incompletos sentinel y órbitasgestión de cubos con valores vacíosorígenes de datos distintos y mezcla de cubos…claro, de varios observatorios, agruparlos, de un equipo que los agrupe y te los publique para todo el mundo que quiera consultar a tu equipo, tener una API, pues, por ejemplo, que Sentinel tenga una API que te dé datos ya procesadito y listo para trabajar o sea sí es que se ahorraría mucho tiempo y la verdad es que articula malo montón por eso porque te está explicando ejemplos de datos satelitales que ya usan este tipo de herramientas que son muy buenos ellos le dan también una vuelta descubren pues eso que hay hay cubos incompletos por ejemplo tenemos los datos de Sentinel sobre todo trabajan mucho con él que claro te cubren una fracción de la tierra pero su cubo no es perfecto tiene huecos porque hay zonas de la Tierra que no ve debido a su a su órbita entonces claro que haces ahí no entonces tienes los cubos tienen que ser en este caso un poquito raros porque tienen que tener permitir huecos pues eso valores vacíos y ya está entonces tienes que tener muchas cosas en cuenta dependiendo de tus orígenes de datos orígenes de datos distintos mezclarlos para un cubo es un trabajo pero solo se hace una vez La idea es currar una vez para que todo el mundo ya pueda trabajar. Esa es la filosofía esencial de las 31 páginas, pero la verdad es que plantea eso muchísimos problemas, ¿no? Sí, claro que esto sobre el papel y así contado parece una maravilla porque si…
Héctor Socas responde a una pregunta sobre si los datos del observatorio Vera Rubin deben pasar por un filtro militar de Estados Unidos para ocultar satélites militares.
Habla: Héctor SocasSignificado #20pentágono financia observatorio vera rubindatos vera rubin y satélites militaresencriptación de imágenes por el pentágonoretraso de tres días en datos vera rubin…misma Cristina, así le cambiamos una por otra, esta sí me la sé. Pregunta: ¿es cierto ese rumor de que con el nuevo gran telescopio en Atacama se deberá pasar por un filtro de militares de Estados Unidos para no revelar satélites militares usanos o es fake? Es cierto, se refiere al observatorio Vera Rubin; efectivamente, el Vera Rubin. Los datos, hay un sistema del Pentágono que financia el Pentágono: son 5 millones de dólares o algo así, que es parte de la pipeline que reciben los datos. Le quitan las imágenes de los satélites, va encriptado, o sea, las imágenes se encriptan, se mandan al Pentágono, allí las desencriptan, le borran los satélites militares y luego se publican para datos, para uso científico. Eso implica un retraso de tres días y pico sobre las imágenes que se publiquen en el Vera Rubin. Pero yo pensaba que eso se hacía con todos. No, esto es la primera vez que se va a hacer. Porque es que el ver a Rubin va a observar todo el cielo con una sensibilidad tremenda y va a ver todo. O sea, va a ver todos los satélites que pasen por ahí. No tenemos constancia de que nadie vaya a borrar los…