Búsqueda · 29 momentos en 22 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarimágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al aguamaxwell infrarrojos reflexión aguageneración imágenes falsas modelos multimodalespiscina representación imagen multimodalMaxwellJuan Carlos GilFrancis VillatoroRGBContrastive LearningCecilia GarraffoChatGPTCLIP
Piscina representación imagen multimodal
Con
0:000:301:001:302:002:303:003:16
Juan Carlos Gil, tras mencionar un artículo sobre la generación de imágenes falsas a color mediante modelos multimodales, imagina una figura metafórica de Maxwell escuchando cómo se mezclan infrarrojos con la reflexión del agua para crear una imagen que representa una piscina.
…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del…
Significado #1 · Palabras #1
Cecilia Garraffo explica un avance importante en inteligencia artificial: la conexión de tecnologías que permiten entender una modalidad (como lenguaje) a partir de otra (como imágenes), lo que posibilita el uso de modelos como DALL-E y la integración de imágenes en ChatGPT.
Habla: Cecilia GarraffoSignificado #12 · Palabras #7modelos clip lenguaje e imágenesdalí texto imagenchatgpt español acepta imágenesmodelos lenguaje multimodal…de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes Eso es lo que nos permite usar modelos como Dalí y decir en texto qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
Habla: Cecilia GarraffoSignificado #13modelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximo…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe…
Cecilia Garraffo explica la relación entre modelos especializados y modelos de lenguaje, destacando que ambos comparten un 'espacio latente' o espacio de representación compacta.
Habla: Cecilia GarraffoPalabras #4espacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y texto…Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Juan Carlos Gil, tras mencionar un artículo sobre la generación de imágenes falsas a color mediante modelos multimodales, imagina una figura metafórica de Maxwell escuchando cómo se mezclan infrarrojos con la reflexión del agua para crear una imagen que representa una piscina.
Habla: Juan Carlos GilSignificado #1 · Palabras #1imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al aguamaxwell infrarrojos reflexión aguageneración imágenes falsas modelos multimodalespiscina representación imagen multimodal…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del…