Búsqueda · 29 momentos en 19 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarimágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffocanales para cubos espectralesimágenes colores fuera rango visiblefrecuencias sensibles vegetaciónreflexión agua desde órbitaespectro electromagnético garraffoCecilia GarraffoGemini 2.5ChatGPTGoogle Deepmindastronomía de rayos XBostonBull SkyArgentinaFrancis Villatoro
Espectro electromagnético garraffo
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo explica cómo se están añadiendo canales a los cubos espectrales para obtener imágenes con colores fuera del rango visible y detectar características específicas desde la órbita.
…vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos…
Significado #1 · Palabras #1
Francis Villatoro presenta a la nueva tertulia del programa, Cecilia Garraffo, una física teórica con doctorado que reside en Boston y participa por primera vez.
Habla: Francis VillatoroPalabras #14cecelia garraffo física teóricadoctorado cecilia garraffo bostoncecelia garraffo argentina bull sky…si así lo desean. También están las iniciativas de micromecenazgo en iVoox, Patreon y Paypal, con las que nos pueden apoyar con un euro al mes, un café mensual, tres euros al mes, un desayuno mensual y diez euros al mes, un almuerzo mensual y tras estos. Preliminares, me toca presentar a nuestros tertulianos de hoy. Voy a empezar por la novedad en este programa: Cecilia Garraffo, arroba cecigarrafo, con doble R y doble F, tanto en X como en Bull Sky, Argentina, física, doctora en física teórica, afincada en Boston. Cecilia, esta es tu primera intervención en el podcast como tertuliana, ¿no es así? Sí, sí, es mi primera, no como, lo miro, pero no, es la primera vez que soy parte. Ah, muy bien, pues esperemos que disfrutes mucho con nosotros y que se repita. Sí, sí, ojalá que sí, gracias. En el Frente Argentino también tenemos a otro argentino, Gastón…
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
Habla: Cecilia GarraffoPalabras #8zero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplos…la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Cecilia Garraffo explica las limitaciones actuales de la inteligencia artificial en aplicaciones científicas específicas, particularmente en astronomía y teledetección satelital.
Habla: Cecilia GarraffoPalabras #7datos escasos astronomíaobservaciones pocas espacioespectros datos no aceptados chatgptcecilia garraffo inteligencia artificial…ahora, que es que están entrenados en temas muy generales pero no aplican bien a los datos científicos, en particular en astronomía que es lo que yo me dedico pero aplica también para teledetección satelital que es sobre el paper que les voy a contar un poco. Los datos son escasos de alguna manera, escasos en el sentido en que no podemos tomar muestras muy cercanas la una a la otra, tenemos lo que tenemos, aunque sean muchos son escasos comparados, por ejemplo en astronomía, con el espacio que estamos observando, las observaciones son pocas Y también son de otro tipo, no son solo imágenes y no son nunca texto, sino que son espectros o distintos tipos de datos que no son los que estos modelos aceptan Bueno, entonces un montón de gente como yo se empezó a dedicar a diseñar estos modelos de inteligencia artificial específicamente para ciencia Bueno, otra de las razones por las que no nos sirven los modelos comunes, no solo que no aceptan los datos que les damos, porque son distintos datos, de los…
Cecilia Garraffo explica cómo se están añadiendo canales a los cubos espectrales para obtener imágenes con colores fuera del rango visible y detectar características específicas desde la órbita.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1imágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffocanales para cubos espectralesimágenes colores fuera rango visiblefrecuencias sensibles vegetaciónreflexión agua desde órbitaespectro electromagnético garraffo…vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos…
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
Habla: Cecilia GarraffoPalabras #4imágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguaje…o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Cecilia Garraffo describe un hallazgo propio relacionado con el análisis de datos de astronomía de rayos X, los cuales son complejos y requieren una formación especializada para su interpretación.
Habla: Cecilia GarraffoPalabras #12astronomía rayos x eventos fotonesanálisis datos astronomía rayos xfotón llegó al detector energíacecilia garraffo hallazgo propio…los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se llaman, es la lista de el tiempo en el que el fotón llegó al detector, el lugar en el detector y la energía del fotón y para interpretar esos datos es bastante, un astrónomo de rayos X, tenés que estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de…