Búsqueda · 29 momentos en 14 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosaraprendizaje multiespectral sin ejemplosinvestigadores google deepmindzero shot inteligencia artificialzero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplosChatGPTCecilia GarraffoGoogle DeepmindRGBJuan Carlos GilTransfer LearningContrastive LearningGemini 2.5Gastón GiribetEinsteinMachine LearningCausa Géminis 2.5Inteligencia ArtificialMaxwellFrancis VillatoroBostonBull SkyArgentinaLIGONatureHalloween
Zero shot multispectral learning garraffo
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
…es que una expedición de tres horas solía acabar convirtiéndose en doce, y la verdad es que cuando pasan más de diez horas dentro de una cueva oscura ya hay que reconocer que bastante cansado, por decirlo así. Pues muchas gracias, Juan Carlos, pero vamos. a tener que dar paso a Cecilia con el tema que nos va a comentar, un tema muy interesante sobre aprendizaje multiespectral sin ejemplos de investigadores de la empresa Google Deepmind, que es la empresa que está revolucionando la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Significado #1 · Palabras #1
Francis Villatoro anuncia que el programa abordará temas diversos, incluyendo la formación de estalagmitas y estalactitas, avances en aprendizaje computacional de Google Deepmind, entrelazamiento cuántico mediado por gravitación y cómo celebrar Halloween en un planetario.
Habla: Francis VillatoroSignificado #19estalagmitas estalactitas universidad zaragozaaprendizaje computacional multiespectral deepmindentrelazamiento cuántico gravitación canal clásicoabsorción gravitones fotones ligoshalloween planetario observación astronómica…aprovechan muchísimas facultades de física para organizar actividades divulgativas. Por ejemplo, la Gincana a la Caza de la Materia Oscura, que mañana viernes 31 de octubre, a partir de las 5.30 pm peninsulares congregará a niñas, a niños y a mayores en la Facultad de Ciencias de la Universidad de Zaragoza. Además, habrá una observación astronómica con telescopios a partir de las 8.30 pm; eso sí, si el cielo lo permite. Hoy hablaremos de cómo se forma la forma de las estalagmitas y las estalactitas. De los últimos avances en el aprendizaje computacional multiespectral de la compañía Google Deepmind, del entrelazamiento cuántico entre masas mediado por gravitación tanto en un canal clásico como en un canal cuántico, de la posible absorción de gravitones por fotones en interferómetros de ondas gravitacionales como LIGO y de cómo disfrutar de Halloween en un planetario. Y solo si da tiempo, de los últimos artículos de Google Quantum AI en la revista Nature. Les recuerdo que tenemos una página web señalerruido.com con ñ todo junto, donde pueden encontrar todos los episodios anteriores, todas las referencias a los artículos que comentamos en cada programa y recuerde que nosotras nos leemos los papers para que…
Francis Villatoro presenta a la nueva tertulia del programa, Cecilia Garraffo, una física teórica con doctorado que reside en Boston y participa por primera vez.
Habla: Francis VillatoroPalabras #18cecelia garraffo física teóricadoctorado cecilia garraffo bostoncecelia garraffo argentina bull sky…si así lo desean. También están las iniciativas de micromecenazgo en iVoox, Patreon y Paypal, con las que nos pueden apoyar con un euro al mes, un café mensual, tres euros al mes, un desayuno mensual y diez euros al mes, un almuerzo mensual y tras estos. Preliminares, me toca presentar a nuestros tertulianos de hoy. Voy a empezar por la novedad en este programa: Cecilia Garraffo, arroba cecigarrafo, con doble R y doble F, tanto en X como en Bull Sky, Argentina, física, doctora en física teórica, afincada en Boston. Cecilia, esta es tu primera intervención en el podcast como tertuliana, ¿no es así? Sí, sí, es mi primera, no como, lo miro, pero no, es la primera vez que soy parte. Ah, muy bien, pues esperemos que disfrutes mucho con nosotros y que se repita. Sí, sí, ojalá que sí, gracias. En el Frente Argentino también tenemos a otro argentino, Gastón…
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1aprendizaje multiespectral sin ejemplosinvestigadores google deepmindzero shot inteligencia artificialzero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplos…es que una expedición de tres horas solía acabar convirtiéndose en doce, y la verdad es que cuando pasan más de diez horas dentro de una cueva oscura ya hay que reconocer que bastante cansado, por decirlo así. Pues muchas gracias, Juan Carlos, pero vamos. a tener que dar paso a Cecilia con el tema que nos va a comentar, un tema muy interesante sobre aprendizaje multiespectral sin ejemplos de investigadores de la empresa Google Deepmind, que es la empresa que está revolucionando la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Cecilia Garraffo explica la naturaleza de los artículos científicos con impacto en inteligencia artificial y machine learning, contrastándolos con el proceso de publicación en física.
Habla: Cecilia GarraffoPalabras #4imágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffocanales para cubos espectralesimágenes colores fuera rango visiblefrecuencias sensibles vegetaciónreflexión agua desde órbitaespectro electromagnético garraffogemini 2 5 analiza imágenes satelitalescientífico necesita imágenes relevantes preguntaimágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguajeartículos proceedings machine learningrate aceptación papers conferencias machine learningabstract charlas física conferencias…vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos que son representativas; o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física. Entonces el rate de aceptación de esos papers es menos del 24% creo en general; es muy difícil que te acepten un paper ahí, en vez de mandar un abstract para dar una charla como uno hace en física en una conferencia. Si aceptan el paper, uno va y da una charla o presenta un póster y te publican ese paper en esa conferencia. Que las conferencias buenas como esta, que es NeurIPS o ICML, hay dos que son las mejores; esta está en una de ellas. Son como lo máximo y tienen un…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoPalabras #5modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo explica cómo se utilizan modelos de lenguaje para analizar datos y realizar cálculos como determinar la temperatura de eventos astrofísicos.
Habla: Cecilia GarraffoPalabras #6modelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y texto…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Juan Carlos Gil comenta sobre un artículo en el que se generan imágenes falsas a color mediante modelos multimodales, combinando diferentes bandas de frecuencias y añadiendo una descripción textual.
Habla: Juan Carlos GilSignificado #3imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al aguamaxwell infrarrojos reflexión aguageneración imágenes falsas modelos multimodalespiscina representación imagen multimodal…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del…
Cecilia Garraffo describe un proyecto en curso con Gastón Giribet que busca desarrollar un modelo de inteligencia artificial para encontrar agujeros negros en teorías de gravedad alternativas a la de Einstein.
Habla: Cecilia GarraffoPalabras #7inteligencia artificial gastón giribetagujeros negros teorías einsteinmachine learning gravedad alternativa…que es lo sorprendente es lo contraintuitivo yo hasta hace poquito he estado completamente de acuerdo con lo que estás diciendo sin embargo ahora lo dudo porque estamos viendo que aunque Wolfram está diseñado para eso quizás el modelo de lenguaje sea mejor. A ver, por ejemplo, con Gastón estamos trabajando en un proyecto que me parece muy interesante: que es desarrollar un modelo de inteligencia artificial, de Machine Learning, para encontrar soluciones, agujeros negros en teorías de gravedad diferentes a las de Einstein, y funciona súper bien. Y ahora me pregunto: si estamos haciendo todo este trabajo. Y vamos y le preguntamos a Yachipiti. Y nos da la solución. Es muy poco satisfactorio. Yo siempre digo que no me importa; que me lo digan y ya está. Pero en realidad, Gastón, ahora estoy repensando eso porque es muy poco satisfactorio que no me diga cómo supo…