Búsqueda · 18 momentos en 12 episodios
Sara RobiscoJuan Carlos GilFrancis VillatoroHéctor Socasanálisis de datos con paperherramientas para tareas específicasalmacenamiento y potencia de cálculocódigo para análisis de datos pythoncientíficos de datos y preparación códigokaggle como herramienta onlinePythonKaggleGoogle ColabSara RobiscoVisa de EstudioFrancis VillatoroTierra
Código para análisis de datos Python
Con
0:000:301:001:302:002:303:003:21
Sara Robisco explica que los científicos de datos deberían encargarse de preparar el código necesario para el análisis de datos, utilizando lenguajes como Python.
…que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden ayudar en cuanto a almacenamiento o potencia de cálculo. Puedes hacer tener un análisis de datos que puedes hacer desde tu portátil sí pero vas a tener otros que necesites soluciones online como un Kaggle como Google Collab, cosas así, pero bueno, a día de hoy no pasaría nada, pero claro, como yo digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio,…
Significado #1 · Palabras #1
Sara Robisco explica la necesidad de herramientas de análisis estadístico integradas en los cubos de datos para evitar que científicos como físicos o biólogos tengan que programar para analizar sus propios datos.
Habla: Sara RobiscoSignificado #17análisis de datos para físicosprogramación para biólogosgeólogos sin programación…muy claras: tienen que ser rápidas de consultar, o sea, te tienen que dar esa respuesta muy rápido. No puedo tener algo que para lanzo una query y a los minutos me responde, no; y te tiene que ofrecer herramientas de análisis estadístico, generación. De informes, pero sin que la persona que trabaja con ellos tenga que programar. ¿Por qué? Porque un físico o un biólogo va a tener que saber programar para analizar sus datos. ¿Por qué un geólogo va a tener que perder tiempo en programar? Deja que haya un equipo de análisis de datos, de Diseño de datos: un grupo de científicos de datos que le preparen el paquete que vas a usar, toma, esto es lo que vas a usar y cómo se va a actualizar y todas estas cosas para que ellos simplemente dediquen su esfuerzo en lo que realmente importa para ellos,…
Sara Robisco explica cómo los cubos de datos permiten a los científicos evitar programar código innecesario para el análisis de datos, destacando la importancia de la multidimensionalidad en su estructura.
Habla: Sara RobiscoPalabras #13cubos de datos para científicosmultidimensionalidad en cubos de datossatélite y hechos climatológicos…cubo en el que obtienes tus imágenes escaneadas de satelitales por ejemplo y sus metadatos asociados como dimensiones, entonces que te da mucha más información para la persona que tiene que trabajar con ese dato. Al final la idea de iCubo como que pega, para Hacer ciencia viene muy bien sobre todo si queremos que la gente que hace ciencia no esté picando código que para ellos sinceramente no les aporta valor añadido. Entonces, otra, aparte de estas características que he anunciado, pues la multidimensionalidad nos viene, es la más principal, ¿no? Y es que puedes hacer, pues eso, preguntas ad hoc, o sea, en el momento; ¿y cómo organizas el cubo? Pues muy fácil, imagínate tú tienes en cada eje una dimensión. Me vas a decir, bueno, entonces, ¿es tridimensional? No. La visualización nosotros lo llamamos cubo por simplificar, pero puede tener muchísimas dimensiones y una forma muy extraña. Pero vamos a situarnos en tres dimensiones. Tendrías las dimensiones en los ejes y te quedaría un cubo. Cada celda de ese cubo se corresponde con un hecho en concreto. Imaginaos que tenemos un satélite pasando por la Tierra que está viendo hechos climatológicos, de tiempo, metrológicos y los va almacenando. Entonces esto, a diferencia de las hojas de cálculo, por ejemplo una tabla o un Excel en el que cada columna está numerada y nos da igual la columna; aquí cada columna aporta un valor, porque cada eje, creo que sería la columna o la fila, lo que nos está…
Sara Robisco explica que los científicos de datos deberían encargarse de preparar el código necesario para el análisis de datos, utilizando lenguajes como Python.
Habla: Sara RobiscoSignificado #1 · Palabras #1análisis de datos con paperherramientas para tareas específicasalmacenamiento y potencia de cálculocódigo para análisis de datos pythoncientíficos de datos y preparación códigokaggle como herramienta online…que, por ejemplo, en datos de imágenes, imágenes más metadatos, estamos hablando de que puede que tengamos cubos de datos muy pequeños pero puede que a cosas se desmadre. Ya tenemos soluciones en la nube adaptadas para este tipo de bases de datos analíticas. entonces ellos te muestran ejemplos que se podrían usar, digamos que el paper lo que te está dando es: oye, si quieres hacer esto usa esta herramienta; si quieres hacer aquello usa esta herramienta, y te va poniendo qué retos hay y qué herramientas te pueden ayudar en cuanto a almacenamiento o potencia de cálculo. Puedes hacer tener un análisis de datos que puedes hacer desde tu portátil sí pero vas a tener otros que necesites soluciones online como un Kaggle como Google Collab, cosas así, pero bueno, a día de hoy no pasaría nada, pero claro, como yo digo, al final, esa herramienta de análisis, ese picara el código, la idea es que no lo tenga que hacer el científico dárselo, entonces tendría su conjunto de científicos de datos que diría, vale, pues yo te lo preparo, normalmente lo más usado que es Python, pero yo por ejemplo los que he usado, Los que he hecho han sido con SQL Server porque una base de datos reaccional normal te lo traga si no estás tratando con imágenes, si son datos normales pues te lo traga y luego hacer el cubo lo haces en Visual Studio,…
Sara Robisco, junto con Francis Villatoro, discuten sobre la necesidad de un consultor informático para los geofísicos al acceder a información jerarquizada en cubos de datos.
Habla: Sara RobiscoSignificado #20 · Palabras #2geofísicos y consultor informáticocubos de datos para científicospython o visa de estudiodesarrollo del cubo por expertos…los expertos en ciencias de la tierra usen este tipo de herramientas sin tener un conocimiento informático de programación, etcétera, de que haya una serie de software que les habiliten a acceder a este tipo de información jerarquizada en forma de cubos. Pero por otro lado, a veces comentas como que es muy fácil acceder a esa información con un pequeño código de Python, con un no sé qué, y dices, pero claro, el geofísico tiene que tener un consultor informático. Claro, la persona que elabora ese cubo para que la gente pueda beber de él, es la que te va a hacer el código o bien en Python o en Visa de Estudio, porque claro, aquí lo que te están hablando es tanto de aparte para la persona científico como para la persona que desarrolla el cubo. Entonces ellos te están diciendo cómo lo vas a desarrollar y cómo lo vas a publicar para que tu científico solo mueva datos y visualice. O sea, digamos que tenía que haber una comunidad mixta de informáticos y de científicos y geofísicos; y los geofísicos de vez en cuando plantean cuestiones que quieren resolver. Pues mira, con este tipo de información me gustaría poder hacer esto, pero yo no…
Sara Robisco explica la ventaja de centralizar el código para generar cubos de datos en un repositorio público, permitiendo a varios grupos de investigación acceder y utilizarlo sin tener que desarrollar sus propias soluciones.
Habla: Sara RobiscoPalabras #11repositorio público para cubos de datosgrupos de investigación comparten códigoeficiencia en la gestión de datosevitar duplicidad en bases de datos…que les resuelve ese problema y genera un código público que el geofísico puede utilizar: público o a nivel de su organización, pero la idea es trabajar solo una vez. Quiero decir, yo te hago el cubo, se actualiza periódicamente y ya no tengo que hacer más. En cambio, tú imagínate que hay varios grupos de investigación que quieren datos, entonces a lo mejor están todos haciendo el mismo código o código distinto para hacer lo mismo. Si tú lo tienes en un repositorio, oye, esto está aquí y todos pueden consultar; has trabajado una vez. Entonces, lo que habla es eso de hacer todo un poquito más eficiente, ser un poquito más eficientes y no tener N grupos de personas que tienen que conocer bases de datos, que conocer metadatos, que conocer programación. ¿Por qué? Cuando puedes tener un pequeño equipo que depende de cuando surge una nueva necesidad, te lo cubre, te lo hace y ¡pum! Y ese trabajo te puede valer pues o bien para todo un centro de investigación o para varios, porque es el mismo De hecho, ellos proponen,…