Búsqueda · 28 momentos en 22 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y textochatgpt cálculos humanosmodelo lenguaje grande contextoprompts chat chipiti informaciónContrastive LearningCecilia GarraffoGastón Giribetmodelos de IATransfer LearningChatGPTCeciliaJuan Carlos GilCausa Géminis 2.5Machine LearningInteligencia Artificial
Espacio latente modelos especializados
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20254 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y educar? Si yo quiero una definición, ¿qué es dar contexto? Darle un, lo que se llama prompts es cuando uno le pide algo al chat chipiti, le da como información. Si vos le das contexto, a lo que uno se refiere en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el…
Significado #1 · Palabras #1
Cecilia Garraffo explica que el problema no radica en la forma de entrenar los modelos de inteligencia artificial, sino que se puede mejorar su rendimiento especializándolos en una tarea específica.
Habla: Cecilia GarraffoPalabras #2modelos inteligencia artificial cienciainterpretación física datos científicosvideo realista escena playamodelos específicos astronomía ciencias atmósferamodelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximofine tuning modelos inteligencia artificialespecialización tareas modelo garraffomodelo grande sin conocimiento tareamodelo especializado supera modelo generalistafenómeno emergente inteligencia artificialpatrones de otro tipo en modelostamaño del modelo y complejidadmodelos especializados teledetección satelitaladaptación modelos satélite calidad datosdatos teledetección satelital complicadosempresa espacio algoritmos datos satelitalesdata processors instrumentos rango espectralinteligencia artificial desarrollo algoritmos específicosmodelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internet…que estamos observando, las observaciones son pocas Y también son de otro tipo, no son solo imágenes y no son nunca texto, sino que son espectros o distintos tipos de datos que no son los que estos modelos aceptan Bueno, entonces un montón de gente como yo se empezó a dedicar a diseñar estos modelos de inteligencia artificial específicamente para ciencia Bueno, otra de las razones por las que no nos sirven los modelos comunes, no solo que no aceptan los datos que les damos, porque son distintos datos, de los que tienen la capacidad de aceptar y procesar, sino que también lo que necesitamos que nos devuelvan es una interpretación física o científica de los datos y no una reproducción Estos modelos se especializan a reproducir, por ejemplo, podemos hacer un video muy realista de una escena en la playa Lo podemos reproducir, pero no en entender por qué las olas se mueven de esa manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para eso y funcionan bien, pero no se pueden adaptar a otro satélite o a otra calidad de datos, ¿no? no lo hace especificamente para una tarea, es difícil adaptarlo. Entonces, probemos... Dame 20 segundos, Cecilia. En mi empresa, que trabajamos fundamentalmente en espacio, hay una gran división específica para hacer exactamente eso que estás diciendo. Clásicamente no se ha utilizado inteligencia artificial, sino algoritmos específicos. Claro que se está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores,…
Cecilia Garraffo explica un experimento en el que se utiliza el modelo de lenguaje Gemini 2.5 para analizar imágenes satelitales, proporcionándole información detallada sobre las frecuencias y su origen.
Habla: Cecilia GarraffoPalabras #14gemini 2 5 analiza imágenes satelitalescientífico necesita imágenes relevantes pregunta…que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos que son representativas; o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoSignificado #3modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y textochatgpt cálculos humanosmodelo lenguaje grande contextoprompts chat chipiti información…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y educar? Si yo quiero una definición, ¿qué es dar contexto? Darle un, lo que se llama prompts es cuando uno le pide algo al chat chipiti, le da como información. Si vos le das contexto, a lo que uno se refiere en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el…