Búsqueda · 34 momentos en 18 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelo especializado supera modelo generalistafenómeno emergente inteligencia artificialpatrones de otro tipo en modelostamaño del modelo y complejidadmodelos especializados teledetección satelitaladaptación modelos satélite calidad datosdatos teledetección satelital complicadosCecilia GarraffoChatGPTNeurIPSICMLmodelos de IAGoogle DeepmindBostonBull SkyArgentinaFrancis Villatoroastronomía de rayos X
Teledetección satelital paper garraffo
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20257 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo reflexiona sobre un fenómeno emergente en inteligencia artificial y presenta un estudio que explora la adaptación de modelos especializados para teledetección satelital.
…de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para eso y funcionan bien, pero no se pueden adaptar a otro satélite o a otra calidad de datos, ¿no? no lo hace especificamente para una tarea, es difícil adaptarlo. Entonces, probemos... Dame 20 segundos, Cecilia. En mi empresa, que trabajamos fundamentalmente en espacio, hay una gran división específica para hacer exactamente eso que estás diciendo.…
Significado #1 · Palabras #1
Francis Villatoro presenta a la nueva tertulia del programa, Cecilia Garraffo, una física teórica con doctorado que reside en Boston y participa por primera vez.
Habla: Francis VillatoroPalabras #9cecelia garraffo física teóricadoctorado cecilia garraffo bostoncecelia garraffo argentina bull sky…si así lo desean. También están las iniciativas de micromecenazgo en iVoox, Patreon y Paypal, con las que nos pueden apoyar con un euro al mes, un café mensual, tres euros al mes, un desayuno mensual y diez euros al mes, un almuerzo mensual y tras estos. Preliminares, me toca presentar a nuestros tertulianos de hoy. Voy a empezar por la novedad en este programa: Cecilia Garraffo, arroba cecigarrafo, con doble R y doble F, tanto en X como en Bull Sky, Argentina, física, doctora en física teórica, afincada en Boston. Cecilia, esta es tu primera intervención en el podcast como tertuliana, ¿no es así? Sí, sí, es mi primera, no como, lo miro, pero no, es la primera vez que soy parte. Ah, muy bien, pues esperemos que disfrutes mucho con nosotros y que se repita. Sí, sí, ojalá que sí, gracias. En el Frente Argentino también tenemos a otro argentino, Gastón…
Tras la intervención de Juan Carlos Gil sobre espeleología y estalactitas, Cecilia Garraffo introduce un tema relacionado con el aprendizaje multiespectral sin ejemplos, presentado por investigadores de Google Deepmind.
Habla: Francis VillatoroPalabras #8aprendizaje multiespectral sin ejemplosinvestigadores google deepmindzero shot inteligencia artificial…es que una expedición de tres horas solía acabar convirtiéndose en doce, y la verdad es que cuando pasan más de diez horas dentro de una cueva oscura ya hay que reconocer que bastante cansado, por decirlo así. Pues muchas gracias, Juan Carlos, pero vamos. a tener que dar paso a Cecilia con el tema que nos va a comentar, un tema muy interesante sobre aprendizaje multiespectral sin ejemplos de investigadores de la empresa Google Deepmind, que es la empresa que está revolucionando la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy…
Cecilia Garraffo explica cómo, aunque la inteligencia artificial ha avanzado significativamente, su utilidad en aplicaciones científicas específicas ha sido limitada debido al entrenamiento generalizado de los modelos.
Habla: Cecilia GarraffoSignificado #3 · Palabras #2inteligencia artificial aplicaciones científicasmodelos generales datos científicos astronomíateledetección satelital paper garraffo…qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto que me dedico ahora, que es que están entrenados en temas muy generales pero no aplican bien a los datos científicos, en particular en astronomía que es lo que yo me dedico pero aplica también para teledetección satelital que es sobre el paper que les voy a contar un poco. Los datos son escasos de alguna manera, escasos en el sentido en que no podemos tomar muestras muy cercanas la una a la otra, tenemos lo que tenemos, aunque sean muchos son escasos comparados, por ejemplo en astronomía, con el espacio que estamos observando,…
Cecilia Garraffo reflexiona sobre un fenómeno emergente en inteligencia artificial y presenta un estudio que explora la adaptación de modelos especializados para teledetección satelital.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelo especializado supera modelo generalistafenómeno emergente inteligencia artificialpatrones de otro tipo en modelostamaño del modelo y complejidadmodelos especializados teledetección satelitaladaptación modelos satélite calidad datosdatos teledetección satelital complicados…de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para eso y funcionan bien, pero no se pueden adaptar a otro satélite o a otra calidad de datos, ¿no? no lo hace especificamente para una tarea, es difícil adaptarlo. Entonces, probemos... Dame 20 segundos, Cecilia. En mi empresa, que trabajamos fundamentalmente en espacio, hay una gran división específica para hacer exactamente eso que estás diciendo.…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #5 · Palabras #3modelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internetimágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffo…está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo…
Cecilia Garraffo explica el proceso de publicación de artículos científicos en conferencias importantes como NeurIPS o ICML, destacando la limitación de páginas y cuestionando si los resultados obtenidos son tan sorprendentes.
Habla: Cecilia GarraffoPalabras #5artículos proceedings machine learningrate aceptación papers conferencias machine learningabstract charlas física conferenciaspaper en conferencias neurips icmllimitación de páginas neurips icmlformato específico neurips icmlresultados obvios con contexto…claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física. Entonces el rate de aceptación de esos papers es menos del 24% creo en general; es muy difícil que te acepten un paper ahí, en vez de mandar un abstract para dar una charla como uno hace en física en una conferencia. Si aceptan el paper, uno va y da una charla o presenta un póster y te publican ese paper en esa conferencia. Que las conferencias buenas como esta, que es NeurIPS o ICML, hay dos que son las mejores; esta está en una de ellas. Son como lo máximo y tienen un formato muy específico y son compactos. Hay una fuerte limitación en el número de páginas. Claro, hay una fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes…
Cecilia Garraffo describe un hallazgo propio relacionado con el análisis de datos de astronomía de rayos X, los cuales son complejos y requieren una formación especializada para su interpretación.
Habla: Cecilia GarraffoPalabras #12astronomía rayos x eventos fotonesanálisis datos astronomía rayos xfotón llegó al detector energíacecilia garraffo hallazgo propio…los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se llaman, es la lista de el tiempo en el que el fotón llegó al detector, el lugar en el detector y la energía del fotón y para interpretar esos datos es bastante, un astrónomo de rayos X, tenés que estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de…