Búsqueda · 23 momentos en 12 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos especializados teledetección satelitaladaptación modelos satélite calidad datosdatos teledetección satelital complicadosempresa espacio algoritmos datos satelitalesdata processors instrumentos rango espectralinteligencia artificial desarrollo algoritmos específicosmodelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internetimágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffoCecilia GarraffoChatGPTContrastive LearningGastón GiribetEinsteinMachine LearningJuan Carlos GilCeciliaastronomía de rayos X
Proyecto garraffo supera datos satelitales
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
…Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para eso y funcionan bien, pero no se pueden adaptar a otro satélite o a otra calidad de datos, ¿no? no lo hace especificamente para una tarea, es difícil adaptarlo. Entonces, probemos... Dame 20 segundos, Cecilia. En mi empresa, que trabajamos fundamentalmente en espacio, hay una gran división específica para hacer exactamente eso que estás diciendo. Clásicamente no se ha utilizado inteligencia artificial, sino algoritmos específicos. Claro que se está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo…
Significado #1 · Palabras #1
Cecilia Garraffo explica las limitaciones actuales de la inteligencia artificial en aplicaciones científicas específicas, particularmente en astronomía y teledetección satelital.
Habla: Cecilia GarraffoPalabras #4inteligencia artificial aplicaciones científicasmodelos generales datos científicos astronomíateledetección satelital paper garraffodatos escasos astronomíaobservaciones pocas espacioespectros datos no aceptados chatgptcecilia garraffo inteligencia artificialmodelos inteligencia artificial cienciainterpretación física datos científicosvideo realista escena playamodelos específicos astronomía ciencias atmósfera…qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto que me dedico ahora, que es que están entrenados en temas muy generales pero no aplican bien a los datos científicos, en particular en astronomía que es lo que yo me dedico pero aplica también para teledetección satelital que es sobre el paper que les voy a contar un poco. Los datos son escasos de alguna manera, escasos en el sentido en que no podemos tomar muestras muy cercanas la una a la otra, tenemos lo que tenemos, aunque sean muchos son escasos comparados, por ejemplo en astronomía, con el espacio que estamos observando, las observaciones son pocas Y también son de otro tipo, no son solo imágenes y no son nunca texto, sino que son espectros o distintos tipos de datos que no son los que estos modelos aceptan Bueno, entonces un montón de gente como yo se empezó a dedicar a diseñar estos modelos de inteligencia artificial específicamente para ciencia Bueno, otra de las razones por las que no nos sirven los modelos comunes, no solo que no aceptan los datos que les damos, porque son distintos datos, de los que tienen la capacidad de aceptar y procesar, sino que también lo que necesitamos que nos devuelvan es una interpretación física o científica de los datos y no una reproducción Estos modelos se especializan a reproducir, por ejemplo, podemos hacer un video muy realista de una escena en la playa Lo podemos reproducir, pero no en entender por qué las olas se mueven de esa manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelos especializados teledetección satelitaladaptación modelos satélite calidad datosdatos teledetección satelital complicadosempresa espacio algoritmos datos satelitalesdata processors instrumentos rango espectralinteligencia artificial desarrollo algoritmos específicosmodelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internetimágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffo…Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para eso y funcionan bien, pero no se pueden adaptar a otro satélite o a otra calidad de datos, ¿no? no lo hace especificamente para una tarea, es difícil adaptarlo. Entonces, probemos... Dame 20 segundos, Cecilia. En mi empresa, que trabajamos fundamentalmente en espacio, hay una gran división específica para hacer exactamente eso que estás diciendo. Clásicamente no se ha utilizado inteligencia artificial, sino algoritmos específicos. Claro que se está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo…
Cecilia Garraffo explica cómo el uso de modelos de lenguaje grandes con contexto puede superar a los modelos especializados en datos para ciertas tareas.
Habla: Cecilia GarraffoPalabras #5astronomía rayos x eventos fotonesanálisis datos astronomía rayos xfotón llegó al detector energíacecilia garraffo hallazgo propiomodelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y textochatgpt cálculos humanosmodelo lenguaje grande contextoprompts chat chipiti informacióncontexto en prompts modelos lenguajeentrenamiento modifica pesos modelosdatos como contexto promptmodelo genera contexto para otro modeloartículo aprovecha modelos entrenados con imágenespesos del modelo ya vienen dadoscecilía garraffo no alimenta datos estructurados…los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se llaman, es la lista de el tiempo en el que el fotón llegó al detector, el lugar en el detector y la energía del fotón y para interpretar esos datos es bastante, un astrónomo de rayos X, tenés que estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y educar? Si yo quiero una definición, ¿qué es dar contexto? Darle un, lo que se llama prompts es cuando uno le pide algo al chat chipiti, le da como información. Si vos le das contexto, a lo que uno se refiere en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que utiliza grandes modelos que ya han sido entrenados con mi multitud de imágenes, eso es lo que te ahorras, los pesos, el modelo ya viene dado y tú ahora con contexto, sí, todavía con esto porque a mí me parece, no sé, un gusto personal es, no me gusta para nada dar datos en forma a un modelo de lenguaje porque no es pensando, capaz que esto nos lleva quizás a algo un poco Más filosófico, por suerte hay un filósofo en la sala, que es: pensamos, ¿cómo pensamos nosotros? En texto, en matemática. Yo siempre pensé: ok, hagamos un modelo matemático que use física y matemática para analizar los datos y después conectémoslo con un…
Cecilia Garraffo describe un proyecto en curso con Gastón Giribet que busca desarrollar un modelo de inteligencia artificial para encontrar agujeros negros en teorías de gravedad alternativas a la de Einstein.
Habla: Cecilia GarraffoPalabras #10inteligencia artificial gastón giribetagujeros negros teorías einsteinmachine learning gravedad alternativa…que es lo sorprendente es lo contraintuitivo yo hasta hace poquito he estado completamente de acuerdo con lo que estás diciendo sin embargo ahora lo dudo porque estamos viendo que aunque Wolfram está diseñado para eso quizás el modelo de lenguaje sea mejor. A ver, por ejemplo, con Gastón estamos trabajando en un proyecto que me parece muy interesante: que es desarrollar un modelo de inteligencia artificial, de Machine Learning, para encontrar soluciones, agujeros negros en teorías de gravedad diferentes a las de Einstein, y funciona súper bien. Y ahora me pregunto: si estamos haciendo todo este trabajo. Y vamos y le preguntamos a Yachipiti. Y nos da la solución. Es muy poco satisfactorio. Yo siempre digo que no me importa; que me lo digan y ya está. Pero en realidad, Gastón, ahora estoy repensando eso porque es muy poco satisfactorio que no me diga cómo supo…