Búsqueda · 27 momentos en 13 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizajeTransfer LearningCecilia GarraffoGastón GiribetContrastive LearningChatGPTGoogle DeepmindFrancis Villatoro
Transfer Learning tareas específicas modelos generales
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Significado #1 · Palabras #1
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
Habla: Cecilia GarraffoSignificado #11 · Palabras #3zero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplos…la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Cecilia Garraffo explica que el problema no radica en la forma de entrenar los modelos de inteligencia artificial, sino que se puede mejorar su rendimiento especializándolos en una tarea específica.
Habla: Cecilia GarraffoSignificado #2modelos inteligencia artificial cienciainterpretación física datos científicosvideo realista escena playamodelos específicos astronomía ciencias atmósferamodelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximofine tuning modelos inteligencia artificialespecialización tareas modelo garraffomodelo grande sin conocimiento tarea…que estamos observando, las observaciones son pocas Y también son de otro tipo, no son solo imágenes y no son nunca texto, sino que son espectros o distintos tipos de datos que no son los que estos modelos aceptan Bueno, entonces un montón de gente como yo se empezó a dedicar a diseñar estos modelos de inteligencia artificial específicamente para ciencia Bueno, otra de las razones por las que no nos sirven los modelos comunes, no solo que no aceptan los datos que les damos, porque son distintos datos, de los que tienen la capacidad de aceptar y procesar, sino que también lo que necesitamos que nos devuelvan es una interpretación física o científica de los datos y no una reproducción Estos modelos se especializan a reproducir, por ejemplo, podemos hacer un video muy realista de una escena en la playa Lo podemos reproducir, pero no en entender por qué las olas se mueven de esa manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #18modelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internet…está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores,…
Cecilia Garraffo explica la naturaleza de los artículos científicos con impacto en inteligencia artificial y machine learning, contrastándolos con el proceso de publicación en física.
Habla: Cecilia GarraffoPalabras #8artículos proceedings machine learningrate aceptación papers conferencias machine learningabstract charlas física conferencias…claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física. Entonces el rate de aceptación de esos papers es menos del 24% creo en general; es muy difícil que te acepten un paper ahí, en vez de mandar un abstract para dar una charla como uno hace en física en una conferencia. Si aceptan el paper, uno va y da una charla o presenta un póster y te publican ese paper en esa conferencia. Que las conferencias buenas como esta, que es NeurIPS o ICML, hay dos que son las mejores; esta está en una de ellas. Son como lo máximo y tienen un…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo explica cómo se utilizan modelos de lenguaje para analizar datos y realizar cálculos como determinar la temperatura de eventos astrofísicos.
Habla: Cecilia GarraffoSignificado #12 · Palabras #2modelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datosespacio latente modelos especializadoscontrastive learning alineación multimodalmodelo multimodal datos y texto…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y…
Cecilia Garraffo explica la diferencia entre entrenar modelos y proporcionarles contexto, destacando su preferencia por no alimentar modelos de lenguaje con datos estructurados.
Habla: Cecilia GarraffoSignificado #13modelo genera contexto para otro modeloartículo aprovecha modelos entrenados con imágenespesos del modelo ya vienen dadoscecilía garraffo no alimenta datos estructurados…en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que utiliza grandes modelos que ya han sido entrenados con mi multitud de imágenes, eso es lo que te ahorras, los pesos, el modelo ya viene dado y tú ahora con contexto, sí, todavía con esto porque a mí me parece, no sé, un gusto personal es, no me gusta para nada dar datos en forma a un modelo de lenguaje porque no es pensando, capaz que esto nos lleva quizás a algo un poco Más filosófico, por suerte hay un filósofo en la sala, que es: pensamos, ¿cómo pensamos nosotros? En texto, en matemática. Yo siempre pensé: ok, hagamos un modelo matemático que use física y matemática para analizar los datos y después conectémoslo con un…
Francis Villatoro explica que los modelos de lenguaje no están diseñados para pensar o razonar, sino para almacenar información y procesarla a partir del contexto proporcionado.
Habla: Francis VillatoroSignificado #16modelos lenguaje información contextoaprendizaje astrofísica modelos gigante lenguajeimágenes nuevas contexto conexión lecturaprocesos complicados mecanismos implícitos…de aprender todas las operaciones, por ejemplo todas las tablas, una manera de poder reproducirlo sin tener que guardar tanta información. Bueno, nos fuimos por las ramas; no sé. Sí, nos fuimos por la rama. Sí, este es un artículo muy interesante y un tema. Claro, porque estos son modelos de lenguaje a los que no se les enseña a pensar ni a razonar, solamente se le da información; solo se mete información y se almacena en un formato súper exótico y ahora le pides, le ofreces unas imágenes que quizás nunca ha visto, pero es posible que sí haya tenido en su aprendizaje ese modelo gigante del lenguaje haya tenido información parecida. Es decir, puede que haya leído libros en el aprendizaje de astrofísica en lo que estudien ese tipo de procesos; entonces tú le das unas nuevas imágenes, le das un cierto contexto y el gracias al contexto conecta con lo que leyó y a partir de lo que leyó se pone a funcionar y a procesar esas imágenes y puede hacer procesos mucho más complicados porque al ser más grande tiene implícitos una serie de mecanismos que no tiene un modelo más pequeño. Que no tiene ese tipo de... Yo no lo veo como algo tan extraño que los modelos, los grandes modelos de lenguaje, estos como el Gemini 2.5, no sé cuántos parámetros tiene, pero tiene que ser una barbaridad, una billonada, puedan con información que a priori…
Cecilia Garraffo reflexiona sobre cómo los modelos de lenguaje a veces superan a los humanos en tareas básicas como sumas y multiplicaciones, a pesar de no haber sido entrenados explícitamente para ello.
Habla: Cecilia GarraffoSignificado #10chatgpt cálculos humanosmodelos lenguaje superan humanossumas multiplicaciones modelos lenguaje…enseñado que 2 más 2 es igual a 4; ha visto, he escrito muchos libros que 2 más 2 es igual a 4, pero ha visto muy pocos libros que 1523 más 5 es 1528 y por tanto esa operación puede que acierte o puede que no. Sin embargo, esto que decís es contrario a lo que Estamos encontrando de alguna manera, porque eso es lo que uno pensaría y por lo que yo quiero generar y desarrollar modelos físicos que voy a alinear con los de lenguaje. Sin embargo, estamos viendo que no, que los de lenguaje hacen mejor esa tarea de suma, multiplicación que no aprendieron explícitamente, aunque sí la aprendieron porque también tienen los. libros de texto que enseñan eso, ¿no? Pero digo, no es que repitan las operaciones que ya vieron pueden hacer operaciones nuevas porque aprendieron de alguna manera aprendieron a reproducir eso no es que se lo acuerdan de memoria no es así y estamos viendo…