Búsqueda · 30 momentos en 18 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasrepositorio público para cubos de datosgrupos de investigación comparten códigoeficiencia en la gestión de datosevitar duplicidad en bases de datosSara RobiscoFTPiSentinelHéctor SocasSQL ServerVisual StudioAPI
Evitar duplicidad en bases de datos
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica la ventaja de centralizar el código para generar cubos de datos en un repositorio público, permitiendo a varios grupos de investigación acceder y utilizarlo sin tener que desarrollar sus propias soluciones.
…que les resuelve ese problema y genera un código público que el geofísico puede utilizar: público o a nivel de su organización, pero la idea es trabajar solo una vez. Quiero decir, yo te hago el cubo, se actualiza periódicamente y ya no tengo que hacer más. En cambio, tú imagínate que hay varios grupos de investigación que quieren datos, entonces a lo mejor están todos haciendo el mismo código o código distinto para hacer lo mismo. Si tú lo tienes en un repositorio, oye, esto está aquí y todos pueden consultar; has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen,…
Significado #1
Sara Robisco y Héctor Socas están verificando la calidad del audio y Sara está compartiendo información sobre su búsqueda de datos relacionados con bases de datos analíticas, destacando la importancia de los metadatos.
Habla: Sara RobiscoSignificado #12 · Palabras #7datos sobre bases de datos analíticasmetadatos en la búsqueda de datosimportancia de los metadatos para sara robiscoHola. ¿Cómo está la vida por ahí? No hemos comprobado los audios. ¿Cómo se me escucha? Bien. Vale. Bien, bien. Solo tenía la duda con Sara. A ver, Sara, cuéntanos algo. Saluda. Pues mira, aquí estoy buscando datos sobre bases de datos analíticas. Datos sobre bases de datos es metadatos. Efectivamente, los metadatos. Muy importantes. Si no fuera por ellos estaríamos muchas veces más perdidos que un patrón no garaje. ¿Qué tal se me escucha? Bien, suena a veces un ruidillo de fondo, que igual es un ventilador o aire acondicionado o algo así, pero... No tengo nada; espera, me muteo a ver si soy yo, que nunca se sabe, a ver si es mi... No, no, no, no es por eso, me pareció…
Sara Robisco explica cómo los 'cubos de datos' ofrecen una alternativa a las bases de datos relacionales tradicionales para el análisis de datos en geociencias.
Habla: Sara RobiscoSignificado #5 · Palabras #3cubos de datos para geocienciasftp y almacenamiento antiguotablas de base de datos relacionalesrepositorio de imágenes sara robiscobase de datos relacional y hechoshechos y dimensiones en análisis de datosventa como hecho con objetoscubo de datos rapidez en consultasbase de datos analítica herramientas estadisticasquery respuesta rápidaanálisis de datos para físicosprogramación para biólogosgeólogos sin programación…o hacer un muñeco, algo que alguien que no tiene ni idea de programación, que no tiene ni idea de bases de datos, alguien que no es informático pueda tratar y este artículo de 31 páginas es eso, son buenas prácticas y es una propuesta muy interesante, Pero vamos a empezar un poco explicando lo que son los cubos de datos porque ellos proponen tomar, hacer una recopilación de datos y usar cubos, lo que viene siendo bases de datos analíticas, cubos de datos. Así que antes de tener estos cubos de datos lo que proponen es que antiguamente estos datos recopilados se guardaban en, accedíamos a ellos como por FTP y que ahora hay formas seguras de compartirlos; hemos evolucionado bastante. Pero no hemos evolucionado en cómo los almacenamos y cómo se visualizan, que eso es importante. Actualmente tenemos las tablas, siguen siendo las tablas de base de datos relacionales que se usaban y se siguen usando. Las imágenes, pues pum, imágenes todas en un repositorio. Entonces esto no, a la hora de hacer un análisis de datos, no es efectivo, no es fácil de manejar. Y claro ellos buscan una forma sencilla y el cubo de datos es, consiste en cambiar un poco la visión del dato. Y nosotros en una base de datos relacional, una base de datos normal que tenemos datos y relaciones entre datos, en un cubo de datos, en una base de datos analítica lo que nosotros estudiamos son hechos y esto es un hecho y las dimensiones que describen ese hecho. Entonces, un hecho puede ser una venta, una venta puede ser, tiene como dimensiones el objeto o los objetos. ¿Qué se han vendido?, la persona que los ha comprado, la tienda donde los ha comprado, la persona que ha atendido a esa persona. Puedes tener tantas dimensiones como tú quieras analizar porque al final esto, un cubo de datos, una base de datos analítica tiene que tener unas características muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos,…
Sara Robisco explica cómo los 'cubos de datos' facilitan el intercambio de información entre científicos, permitiendo a los usuarios acceder a los datos y obtener respuestas sin necesidad de realizar consultas complejas.
Habla: Sara RobiscoSignificado #9cubos de datos para científicosintercambio de información sara robiscoacceso a datos sin queryrespuestas sin consultas complejas…¿Qué pasa si podemos hacer cálculos de datos y añadir nuevos elementos y preguntar qué pasaría si podemos extrapolar si aplicamos herramientas como son Machine Learning a nuestro cubo? Entonces da una potencia muy buena sin tener que estar perdiendo tiempo. Estos cubos también, una vez los tenemos construidos, se comparten muy fácilmente porque tú no compartes el dato en crudo, tú compartes, cuelgas en internet y la persona pues tiene su cubo y dice: no quiero hacer esta pregunta de dato y sin tener que lanzar una query, pregunta y obtiene su respuesta. Muchas veces os veréis los cubos que los compartimos en forma de visualización de datos, esas visualizaciones de datos que veis tan bonitas que pues sobre modelos climáticos, sobre los mapas coloreados, todo eso viene de estos cubos, o sea se está haciendo ya y luego esta información se puede guardar y no se…
Sara Robisco continúa discutiendo sobre los desafíos relacionados con el almacenamiento de datos, especialmente cuando se trata de imágenes y metadatos asociados.
Habla: Sara RobiscoSignificado #6científico de datos y cubos de datosactualización automatizada con api isentinelscrapping para nuevas versiones de datosalmacenamiento de datos imágenescubos de datos muy pequeñossoluciones en la nube bases datos…release de datos, de satelitales o de tu origen, por ejemplo, iSentinel, cuando iSentinel envíe una nueva versión de sus datos, pues tener sistemas automáticos que lo capten, actualicen iQ, y al científico que está estudiando ese dato ya le llegue hecho. Pues esto lo podríamos hacer mediante APIs, mediante se me iba a decir un scrapping, pues eso, el científico de datos lo que te hace es que te lo desarrolla, mira, se va a actualizar así, puedes hacer lo que se actualice cada X tiempo directamente cuando salte la API, está escuchando y cuando vea un cambio, ¡fun! Y hasta aquí un pie. ¿Qué pasa? Que esto también tiene retos de almacenamiento de datos porque estamos hablando de que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden…
Sara Robisco explica su experiencia personal creando cubos de datos utilizando SQL Server, destacando su utilidad para manejar datos no relacionados con imágenes.
Habla: Sara RobiscoSignificado #7cubos de datos con sql serverbase de datos reaccional e imágenesvisual studio para crear cubostablo para compartir cubos…digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio, creas tu cubo y luego eso ya se comparte una vez hecho y está listo para usar. Incluso ya puedes compartirlo en tablo y que la persona simplemente elija qué quiere ver Una preguntita, Sara: me he perdido un poco, pues claro, por un lado la idea es que los geofísicos, los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de…
Sara Robisco explica la ventaja de centralizar el código para generar cubos de datos en un repositorio público, permitiendo a varios grupos de investigación acceder y utilizarlo sin tener que desarrollar sus propias soluciones.
Habla: Sara RobiscoSignificado #1repositorio público para cubos de datosgrupos de investigación comparten códigoeficiencia en la gestión de datosevitar duplicidad en bases de datos…que les resuelve ese problema y genera un código público que el geofísico puede utilizar: público o a nivel de su organización, pero la idea es trabajar solo una vez. Quiero decir, yo te hago el cubo, se actualiza periódicamente y ya no tengo que hacer más. En cambio, tú imagínate que hay varios grupos de investigación que quieren datos, entonces a lo mejor están todos haciendo el mismo código o código distinto para hacer lo mismo. Si tú lo tienes en un repositorio, oye, esto está aquí y todos pueden consultar; has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen,…
Sara Robisco, con la participación de Héctor Socas, argumenta sobre la necesidad de un organismo centralizado para estandarizar el manejo de datos científicos.
Habla: Sara RobiscoSignificado #8organización centralizada para datos científicosdatos científicos de diferentes fuentesreglas para el manejo de datosunificación de datos por un organismo…que no todo el mundo se adhiere al estándar estricto o hay quien empieza a desarrollar un nuevo estándar, pero le voy a añadir no sé qué cosa y ya empezamos a liarla, porque todo eso siempre con muy buena voluntad, pero al final acaba generando un caos. Al final tiene que haber una organización central dictatorial que diga: estas son las reglas y lo que no sea esto no cumple o alguien que unifique, porque claro, tiene que haber un organismo que unifique esos datos porque claro, si tienes una fuente que te hace unas cosas de una manera, otra que te hace los datos de otra, otra que te los hace de otra y tienes que unir sus Datos, pues tienes que hacer un trabajo de unificación y todo y decir: bueno, señores, trabajamos a partir de aquí con esto ya, pero claro, eso implica mucho cálculo, muchas horas y tal. Y claro, significa que cuando te viene una actualización de datos, se…