Búsqueda · 28 momentos en 8 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socascálculos de servilleta y publicaciónfalta de datos en estudiomanipulación de datos por sara robiscoSara RobiscoiSentineliCuboTierraFTPMachine LearningMinería de DatosExcelciencias de la TierraHéctor SocasDavid MonteroUniversidad de LeithpigLeipzig
Importancia De los metadatos para Sara Robisco
Con
0:000:301:001:302:002:303:003:21
Sara Robisco comenta sobre un autor que parece estar manipulando datos para generar resultados y publicaciones científicas.
…los... y llega una situación en la que yo creo que él se ha convencido de decir: ostras, pues no, pues esto no tiene sentido. Este artículo es irrelevante, ni está convencido ni deja de estar convencido, es una cosa más que saca él va echando fuera cosas. Yo es que creo que lo que ha hecho es, simplemente ha jugado con los datos, está haciendo cálculos de servilleta y le ha salido eso y bueno, te da para publicar un paper y está Ojalá hubiera datos, es que no hay datos Es que no tenemos datos Juega con los no datos Al final el tema SETI es especular, pero si no lo hiciera nadie, no se investigaría, no se dedicaría a dinero Yo creo que son especulaciones, sí, pero hay que hacerlas Bueno, nos vamos quedando sin tiempo Entonces el otro paper que había de SETI, que era más…
Significado #1
Sara Robisco comenta sobre un autor que parece estar manipulando datos para generar resultados y publicaciones científicas.
Habla: Sara RobiscoSignificado #1cálculos de servilleta y publicaciónfalta de datos en estudiomanipulación de datos por sara robisco…los... y llega una situación en la que yo creo que él se ha convencido de decir: ostras, pues no, pues esto no tiene sentido. Este artículo es irrelevante, ni está convencido ni deja de estar convencido, es una cosa más que saca él va echando fuera cosas. Yo es que creo que lo que ha hecho es, simplemente ha jugado con los datos, está haciendo cálculos de servilleta y le ha salido eso y bueno, te da para publicar un paper y está Ojalá hubiera datos, es que no hay datos Es que no tenemos datos Juega con los no datos Al final el tema SETI es especular, pero si no lo hiciera nadie, no se investigaría, no se dedicaría a dinero Yo creo que son especulaciones, sí, pero hay que hacerlas Bueno, nos vamos quedando sin tiempo Entonces el otro paper que había de SETI, que era más…
Sara Robisco introduce un trabajo sobre el análisis de datos de geociencias, destacando la gran cantidad de fuentes de datos disponibles, incluyendo sensores, satélites y datos generados por humanos como los climáticos y meteorológicos.
Habla: Sara RobiscoPalabras #18datos climáticos meteorológicos humanosdavid montero universidad leipziginvestigación española geosciencias…Trek, pero no, cubos de datos. Es cubos de datos. Cubos de datos, no que traigas un montón de datos así en cubos, ¿no? Ya sabéis que a los científicos de datos siempre nos ha gustado el cubo y la pala. La pala, exacto. El cubo y la pala, somos el cubo y pala. Pues cuéntanos este trabajo que nos proponías, que hablaban del análisis de datos de geosciencias en este caso Exacto, en el tema de las geosciencias tenemos un problemilla y es que tenemos múltiples datos, una enorme cantidad de datos, tenemos una enorme cantidad de fuentes de datos Algunos de ellos recogidos por sensores que tenemos, satélites, recogidos in situ, pero también tenemos datos que han sido generados por los humanos como los datos climáticos y datos meteorológicos que esas previsiones y esos estudios han sido generados pero también son importantes Todos estos datos y modelos pues están ahí y lo que propone este artículo que tiene gente, hay gente española en él, o sea David Montero que es de la Universidad de Leithpig Son casi todos, vienen de Leipzig y tal, pero hay gente española en esta investigación. Bueno, realmente no es una investigación. ¿Qué proponen? Ante esta dificultad de orígenes de datos, este batiburrillo de datos de diferentes escalas, diferentes tipos, que cada uno pone los datos como quiere, diferentes medidas, datos incompletos, tenemos un batiburrillo que no veas, y claro, ellos dicen, oye, ¿hay…
Sara Robisco explica el concepto de 'cubos de datos' como una solución para mejorar el almacenamiento y visualización de datos en geociencias, contrastando con los métodos antiguos basados en FTP.
Habla: Sara RobiscoSignificado #8 · Palabras #15cubos de datos para geocienciasftp y almacenamiento antiguotablas de base de datos relacionalesrepositorio de imágenes sara robiscobase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetoscubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápida…o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que proponen es que antiguamente estos datos recopilados se guardaban en, accedíamos a ellos como por FTP y que ahora hay formas seguras de compartirlos; hemos evolucionado bastante. Pero no hemos evolucionado en cómo los almacenamos y cómo se visualizan, que eso es importante. Actualmente tenemos las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un…
Sara Robisco explica la necesidad de un equipo de científicos de datos que preparen el paquete de datos para los geólogos, permitiéndoles enfocarse en el análisis con su conocimiento especializado.
Habla: Sara RobiscoSignificado #18 · Palabras #8científicos de datos preparan paquetesgeólogos analizan dato especializadoherramientas lab para análisis…persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos, que es analizar su dato con sus conocimientos. Las herramientas o lab, que son los cubos, pues se Les ayuda un montón. ¿A qué? A estudiar series temporales, a adjudicar costes, a ver cambios en la distribución climática, todo lo que quieras. Porque tú piensas que cuando tienes una tabla de datos, tú preguntas: bueno, ¿qué y a quién? Por ejemplo, una…
Sara Robisco explica cómo las visualizaciones atractivas de datos, como modelos climáticos y mapas coloreados, se generan a partir de 'cubos de datos'. También describe cómo esta información puede almacenarse en cubos que incluyen imágenes satelitales escaneadas junto con sus metadatos asociados.
Habla: Sara RobiscoSignificado #2 · Palabras #2cubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejasvisualizaciones datos modelos climáticoscubos datos imágenes satelitalesmetadatos asociados dimensionesmultidimensionalidad en cubos de datossatélite y hechos climatológicoscubos de datos versus excelcolumna aporta valor en cuboslugar intensidad y tiempo en tormentasrepositorios pequeños para grupos científicos…¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se guarda de una forma ala, repositorio con imágenes, no, se hace un cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está aportando es: ¿Qué está pasando? El lugar, por ejemplo, imagínate una tormenta, el lugar, la intensidad y la franja de tiempo, por ejemplo. Entonces todo nos está aportando información; entonces, por eso es tan potente; entonces, esto dices, vale, pero esto se hace con todos los datos de ciencias de la Tierra, no; lo que ellos proponen también, el uso de cubos, lo que propone, lo esencial es no tener una base de datos global con todo un repositorio global, sino tener pequeños repositorios con pequeños cubos orientados a cada grupo científico. Esto simplifica mucho porque tú vas a tiro hecho. Entonces accedes, tienes tu cubo ya preparado y haces una pregunta y ya te lo da. Pero claro, dices: “Ostras, lo ves muy bonito, pero ¿qué problemas tenemos?”. Pues lo primero es el ciclo de vida. ¿Por qué?…
Sara Robisco explica la flexibilidad de los cubos de datos, destacando su capacidad para responder preguntas sobre todo el cubo o segmentos específicos, permitiendo eliminar o agregar dimensiones y aplicar Machine Learning.
Habla: Sara RobiscoSignificado #14cubos de datos y sara robiscomachine learning en cubos de datosredes neuronales para anomalíasestudio climático con machine learning…preparas tus dimensiones y qué quieres preguntar; tú configuras porque el cubo me vas a decir: bueno, ¿y qué quieres preguntar? Pues tú las dimensiones; bueno que tiene el cubo es que le puedes girar, puedes cambiar preguntas y luego además puedes cambiar la Resolución. Podemos hacer preguntas sobre todo el cubo o sobre pequeños segmentos del cubo; podemos quitar dimensiones, podemos agregar dimensiones, podemos hacer lo que queramos, súper versátil. Una vez hacemos esto, podemos aplicar Machine Learning para hacer transformación de los datos, por ejemplo, podemos aplicar redes neuronales o cualquier sistema para detectar anomalías. Imagínate: estamos haciendo un estudio climático, un Estudio de las temperaturas de la Tierra, tenemos nuestros sistemas captando, captando, captando y de repente dices: vale, pero ¿cuál es de todo esto que estoy captando? Imagínate, datos de temperatura y tal, y sequedad de humedad de superficie, por ejemplo…
Sara Robisco explica cómo el Machine Learning y la minería de datos pueden utilizarse para identificar anomalías en cubos de datos, como situaciones que indican grandes sequías.
Habla: Sara RobiscoSignificado #9machine learning para anomalíasminería de datos en cubosanomalías indican grandes sequíasvisualización de datos para decisionessara robisco y machine learning…y tal, y sequedad de humedad de superficie, por ejemplo dices: vale, pero ¿cuáles son anómalos? ¿Cuáles responderían con una gran sequía? Imagínate que queremos saber cuántas sequías se han dado a lo largo de la historia, grandes procesos de sequía, pues. Lo que haces es hacer un algoritmo de Machine Learning, minería de datos, que te saque estas anomalías, situaciones anómalas y te las da. Entonces tú ya tendrías tu pequeño cubo con esas situaciones que a ti te interesan. Una vez tienes esto, pues tú ya haces tus análisis, tu visualización de datos si quieres mostrarlo al mundo, mostrarlo a alguien o tomar decisiones y luego está una parte. Que quizás es la más complicada cuando hablamos de cubos, que es la reutilización, porque aquí tenemos dos opciones: dejar este cubo ya estático, se quedó ahí, o en ciencias de la tierra esto no vale ¿Por qué? Porque la Tierra es un mecanismo, está viva, va…
Sara Robisco continúa discutiendo sobre los desafíos relacionados con el almacenamiento de datos, especialmente cuando se trata de imágenes y metadatos asociados.
Habla: Sara RobiscoSignificado #15 · Palabras #1almacenamiento de datos imágenescubos de datos muy pequeñossoluciones en la nube bases datos…eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden…
Sara Robisco explica la ventaja de centralizar el código para generar cubos de datos en un repositorio público, permitiendo a varios grupos de investigación acceder y utilizarlo sin tener que desarrollar sus propias soluciones.
Habla: Sara RobiscoPalabras #3repositorio público para cubos de datosgrupos de investigación comparten códigoeficiencia en la gestión de datosevitar duplicidad en bases de datos…que les resuelve ese problema y genera un código público que el geofísico puede utilizar: público o a nivel de su organización, pero la idea es trabajar solo una vez. Quiero decir, yo te hago el cubo, se actualiza periódicamente y ya no tengo que hacer más. En cambio, tú imagínate que hay varios grupos de investigación que quieren datos, entonces a lo mejor están todos haciendo el mismo código o código distinto para hacer lo mismo. Si tú lo tienes en un repositorio, oye, esto está aquí y todos pueden consultar; has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen,…
Sara Robisco, con la participación de Héctor Socas, argumenta sobre la necesidad de un organismo centralizado para estandarizar el manejo de datos científicos.
Habla: Sara RobiscoSignificado #16organización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismo…que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se…
Sara Robisco comenta sobre la utilidad de los artículos para informar a la audiencia sobre las diversas formas de organizar y manipular datos científicos.
Habla: Sara RobiscoSignificado #6organizar datos científicosmanipular dato científicoexplicar formas de organizar datodatos de volcanes y sara robiscoimpacto volcánico en zonas despobladassatélites y estudio del impacto volcánicoépoca romana y documentación volcánica…una China que no comparte o si tienes un país que no tiene acceso a los datos porque le han vetado. Sí, o China aprovecha lo que los demás comparten pero no comparte todo lo suyo, solo parte de lo suyo, tema muy muy complejo. Pero es bonito, este tipo de Artículos están bien. Sobre todo eso, porque permite un poco contar a los oyentes que hay más formas de organizar el dato y más formas de jugar con él. Porque eso es lo bonito, ¿no? El explicar cómo... El problema de estudiar la Tierra es que está llena de gente. Ah, también. Y que cada uno hace lo que le dé la gana, pero yo, por ejemplo, me encontré con datos de volcanes. Era, estudiando, me hice un cubo para estudiar, hacer una visualización de volcanes. Y claro, tienes ahí problemón de que la información sobre los daños que provoca el volcán a lo largo de la historia, pues depende de si había alguien o no en esa zona y si alguien te lo ha contado, pero ¿y si no había población ahí? En zonas despobladas no te enteras de qué ha hecho ese volcán, cuánto duró, o sea, hablando de ahora es porque tenemos satélites, pero hablando de cuando no los había, porque claro, de la época romana tienes los volcanes que documentó quién estaba ahí en ese momento, pero ya está. Bueno, vamos a coger un par de preguntitas de oyentes, ¿les parece? Venga, creo que tú mandes. Vamos terminando. Hay varias interesantes las que he visto por aquí. Les recuerdo, por cierto, que esta musiquita es de Xiao Fernández; siempre nos gusta…