Búsqueda · 21 momentos en 9 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximoCecilia GarraffoChatGPTRGBJuan Carlos GilCLIPContrastive LearningIA (Inteligencia Artificial)Gemini 2.5astronomía de rayos XFrancis VillatoroGastón GiribetCausa Géminis 2.5Machine LearningInteligencia ArtificialMaxwell
Modelos bimodales texto imágenes
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 202510 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe…
Significado #1 · Palabras #1
Cecilia Garraffo explica un avance importante en inteligencia artificial: la conexión de tecnologías que permiten entender una modalidad (como lenguaje) a partir de otra (como imágenes), lo que posibilita el uso de modelos como DALL-E y la integración de imágenes en ChatGPT.
Habla: Cecilia GarraffoSignificado #5 · Palabras #3modelos generativos técnicas difusióninteligencia artificial modelos procesan imágenesimágenes realistas modelos de difusióncecilia garraffo avances inteligencia artificialmodelos clip lenguaje e imágenesdalí texto imagenchatgpt español acepta imágenesmodelos lenguaje multimodal…uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes Eso es lo que nos permite usar modelos como Dalí y decir en texto qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto…
Cecilia Garraffo explica las limitaciones actuales de la inteligencia artificial en aplicaciones científicas específicas, particularmente en astronomía y teledetección satelital.
Habla: Cecilia GarraffoPalabras #6datos escasos astronomíaobservaciones pocas espacioespectros datos no aceptados chatgptcecilia garraffo inteligencia artificial…ahora, que es que están entrenados en temas muy generales pero no aplican bien a los datos científicos, en particular en astronomía que es lo que yo me dedico pero aplica también para teledetección satelital que es sobre el paper que les voy a contar un poco. Los datos son escasos de alguna manera, escasos en el sentido en que no podemos tomar muestras muy cercanas la una a la otra, tenemos lo que tenemos, aunque sean muchos son escasos comparados, por ejemplo en astronomía, con el espacio que estamos observando, las observaciones son pocas Y también son de otro tipo, no son solo imágenes y no son nunca texto, sino que son espectros o distintos tipos de datos que no son los que estos modelos aceptan Bueno, entonces un montón de gente como yo se empezó a dedicar a diseñar estos modelos de inteligencia artificial específicamente para ciencia Bueno, otra de las razones por las que no nos sirven los modelos comunes, no solo que no aceptan los datos que les damos, porque son distintos datos, de los…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximo…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #18modelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internet…está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores,…
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
Habla: Cecilia GarraffoSignificado #9 · Palabras #16gemini 2 5 analiza imágenes satelitalescientífico necesita imágenes relevantes preguntaimágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguaje…que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos que son representativas; o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
Habla: Cecilia GarraffoSignificado #3 · Palabras #5astronomía rayos x eventos fotonesanálisis datos astronomía rayos xfotón llegó al detector energíacecilia garraffo hallazgo propiomodelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y texto…los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se llaman, es la lista de el tiempo en el que el fotón llegó al detector, el lugar en el detector y la energía del fotón y para interpretar esos datos es bastante, un astrónomo de rayos X, tenés que estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Cecilia Garraffo explica la diferencia entre entrenar modelos y proporcionarles contexto, destacando su preferencia por no alimentar modelos de lenguaje con datos estructurados.
Habla: Cecilia GarraffoSignificado #7modelo genera contexto para otro modeloartículo aprovecha modelos entrenados con imágenespesos del modelo ya vienen dadoscecilía garraffo no alimenta datos estructuradospensamiento humano texto matemáticamodelo matemático física datosalineación modelo lenguaje datoschatgpt pensamiento matemático…en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que utiliza grandes modelos que ya han sido entrenados con mi multitud de imágenes, eso es lo que te ahorras, los pesos, el modelo ya viene dado y tú ahora con contexto, sí, todavía con esto porque a mí me parece, no sé, un gusto personal es, no me gusta para nada dar datos en forma a un modelo de lenguaje porque no es pensando, capaz que esto nos lleva quizás a algo un poco Más filosófico, por suerte hay un filósofo en la sala, que es: pensamos, ¿cómo pensamos nosotros? En texto, en matemática. Yo siempre pensé: ok, hagamos un modelo matemático que use física y matemática para analizar los datos y después conectémoslo con un modelo de lenguaje. De alguna manera alineémoslo, pero no le demos los datos a un modelo de lenguaje directamente, porque ¿cómo va a pensar tan bien en matemática un modelo de lenguaje? Y esto es como que está probando lo opuesto, no sé si lo está probando igual, porque las comparaciones ya les digo son un poco injustas, encontré, pero es una buena pregunta, porque hablando en serio, más allá de lo filosófico, nosotros Somos educados con lenguaje ordinario. Somos educados con él o viene de fábrica, volvámonos chomskyanos por un momento; no importa qué, ese es el lenguaje el que tenemos, lenguaje natural. No sé con el tiempo aprendemos la matemática montado sobre ese,…
Francis Villatoro explica que los modelos de lenguaje no están diseñados para pensar o razonar, sino para almacenar información y procesarla a partir del contexto proporcionado.
Habla: Francis VillatoroSignificado #10 · Palabras #18modelos lenguaje información contextoaprendizaje astrofísica modelos gigante lenguajeimágenes nuevas contexto conexión lecturaprocesos complicados mecanismos implícitos…de aprender todas las operaciones, por ejemplo todas las tablas, una manera de poder reproducirlo sin tener que guardar tanta información. Bueno, nos fuimos por las ramas; no sé. Sí, nos fuimos por la rama. Sí, este es un artículo muy interesante y un tema. Claro, porque estos son modelos de lenguaje a los que no se les enseña a pensar ni a razonar, solamente se le da información; solo se mete información y se almacena en un formato súper exótico y ahora le pides, le ofreces unas imágenes que quizás nunca ha visto, pero es posible que sí haya tenido en su aprendizaje ese modelo gigante del lenguaje haya tenido información parecida. Es decir, puede que haya leído libros en el aprendizaje de astrofísica en lo que estudien ese tipo de procesos; entonces tú le das unas nuevas imágenes, le das un cierto contexto y el gracias al contexto conecta con lo que leyó y a partir de lo que leyó se pone a funcionar y a procesar esas imágenes y puede hacer procesos mucho más complicados porque al ser más grande tiene implícitos una serie de mecanismos que no tiene un modelo más pequeño. Que no tiene ese tipo de... Yo no lo veo como algo tan extraño que los modelos, los grandes modelos de lenguaje, estos como el Gemini 2.5, no sé cuántos parámetros tiene, pero tiene que ser una barbaridad, una billonada, puedan con información que a priori…
Juan Carlos Gil comenta sobre un artículo en el que se generan imágenes falsas a color mediante modelos multimodales, combinando diferentes bandas de frecuencias y añadiendo una descripción textual.
Habla: Juan Carlos GilSignificado #2imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al aguamaxwell infrarrojos reflexión aguageneración imágenes falsas modelos multimodalespiscina representación imagen multimodal…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del…
Francis Villatoro interrumpe a Gastón Giribet para comentar sobre la dificultad de los modelos de imagen y cómo estos no han sido entrenados en operaciones matemáticas básicas como suma, resta o cálculo integral.
Habla: Francis VillatoroSignificado #12modelos imagen sin cálculo integralfrancis villatoro modelos de imagenoperaciones matemáticas básicas modelos…pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo de conocimiento. Conocimiento, se te rompió el hueso de la tercera mano. Claro, bueno, que de hecho, ¿no? Los modelos de imagen son las cosas más difíciles, pero por ejemplo, sí, perdón, ¿qué ibas a decir, Francis? No iba a decir, Gastón, que lo que te ocurre es que estos modelos nadie les ha enseñado a sumar, ni a restar, ni a dividir, ni a calcular una integral. Solo le han enseñado libros llenos de integrales y de operaciones. Entonces, cuando tú le pides que haga algo con ese tipo de matemática muy avanzada, mientras va copiando lo difícil del libro, lo va haciendo muy bien, porque va copiando lo que aprendió. Pero en el momento en el que tiene que hacer una pequeña modificación…