Búsqueda · 30 momentos en 16 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y textoContrastive LearningCecilia GarraffoRGBJuan Carlos GilChatGPTCLIPGoogle DeepmindTransfer LearningGastón Giribet
Contrastive Learning alineación multimodal
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Significado #1 · Palabras #1
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
Habla: Cecilia GarraffoSignificado #12 · Palabras #19aprendizaje multiespectral sin ejemplosinvestigadores google deepmindzero shot inteligencia artificialzero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplos…es que una expedición de tres horas solía acabar convirtiéndose en doce, y la verdad es que cuando pasan más de diez horas dentro de una cueva oscura ya hay que reconocer que bastante cansado, por decirlo así. Pues muchas gracias, Juan Carlos, pero vamos. a tener que dar paso a Cecilia con el tema que nos va a comentar, un tema muy interesante sobre aprendizaje multiespectral sin ejemplos de investigadores de la empresa Google Deepmind, que es la empresa que está revolucionando la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Cecilia Garraffo explica un avance importante en inteligencia artificial: la conexión de tecnologías que permiten entender una modalidad (como lenguaje) a partir de otra (como imágenes), lo que posibilita el uso de modelos como DALL-E y la integración de imágenes en ChatGPT.
Habla: Cecilia GarraffoSignificado #6 · Palabras #8modelos clip lenguaje e imágenesdalí texto imagenchatgpt español acepta imágenesmodelos lenguaje multimodal…de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes Eso es lo que nos permite usar modelos como Dalí y decir en texto qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
Habla: Cecilia GarraffoSignificado #11modelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximofine tuning modelos inteligencia artificialespecialización tareas modelo garraffomodelo grande sin conocimiento tarea…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #18modelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internet…está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores,…
Cecilia Garraffo explica la naturaleza de los artículos científicos con impacto en inteligencia artificial y machine learning, contrastándolos con el proceso de publicación en física.
Habla: Cecilia GarraffoPalabras #5artículos proceedings machine learningrate aceptación papers conferencias machine learningabstract charlas física conferencias…claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física. Entonces el rate de aceptación de esos papers es menos del 24% creo en general; es muy difícil que te acepten un paper ahí, en vez de mandar un abstract para dar una charla como uno hace en física en una conferencia. Si aceptan el paper, uno va y da una charla o presenta un póster y te publican ese paper en esa conferencia. Que las conferencias buenas como esta, que es NeurIPS o ICML, hay dos que son las mejores; esta está en una de ellas. Son como lo máximo y tienen un…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoPalabras #13modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y texto…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Juan Carlos Gil comenta sobre un artículo en el que se generan imágenes falsas a color mediante modelos multimodales, combinando diferentes bandas de frecuencias y añadiendo una descripción textual.
Habla: Juan Carlos GilSignificado #8 · Palabras #4imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al agua…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y…
Cecilia Garraffo reflexiona sobre la posibilidad de mejorar el rendimiento de los modelos de lenguaje mediante el ajuste fino o fine-tuning en temas específicos.
Habla: Cecilia GarraffoSignificado #16fine tuning modelos lenguajerendimiento modelo lenguaje específicocontexto entrenamiento fine tuning…uno dice, ok, no, no hay nada mágico, le haces un prompt, va al lugar, sabe todo lo que tiene cerca, entiende de qué estás hablando. Entonces, si no sabe mucho de un tema, lo que tenemos que hacer es entrenarlo más densamente en esa área. Pero sin embargo, Puede que no, claro. No, no, es interesante y da miedo. Aunque no sé, porque en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios…