Búsqueda · 28 momentos en 17 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizajeTransfer LearningCecilia GarraffoChatGPTGastón GiribetGoogle Deepmindmodelos de IA
Modelos generales superan fine-tuneados transferencia aprendizaje
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20255 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Significado #1 · Palabras #1
Cecilia Garraffo explica el concepto de 'Zero Shot Multispectral Learning', introducido en un paper reciente sobre aprendizaje multiespectral.
Habla: Cecilia GarraffoPalabras #7zero shot multispectral learning garraffoaprendizaje espectros múltiples paper recienteinteligencia artificial avances recientesmodelos lenguaje chatgpt ejemplos…la inteligencia artificial desde hace prácticamente 10 años, ¿no? Cecilia Sí, les quería contar este paper que se llama Zero Shot Multispectral Learning, así que Zero Shot se llama en inteligencia artificial cuando uno prueba un modelo que ya está entrenado Para tareas generales, cómo funciona para una tarea particular sin haberlo adaptado ni reentrenado. Eso es un Zero Shot en este contexto y acá es Multispectral Learning, aprendizaje de espectros múltiples y a lo que se refiere con eso es que, a ver, les doy un poco de contexto: uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la…
Cecilia Garraffo explica que el problema no radica en la forma de entrenar los modelos de inteligencia artificial, sino que se puede mejorar su rendimiento especializándolos en una tarea específica.
Habla: Cecilia GarraffoSignificado #3fine tuning modelos inteligencia artificialespecialización tareas modelo garraffomodelo grande sin conocimiento tareamodelo especializado supera modelo generalistafenómeno emergente inteligencia artificialpatrones de otro tipo en modelostamaño del modelo y complejidad…Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para…
Cecilia Garraffo describe un fenómeno observado tanto en un proyecto propio como en un estudio reciente: la capacidad de modelos de lenguaje generalistas, al recibir contexto específico, para superar a los modelos entrenados con datos satelitales más extensos.
Habla: Cecilia GarraffoSignificado #13 · Palabras #10modelo lenguaje generalistas contexto específicoproyecto garraffo supera datos satelitalesdatos satelitales despreciables internet…está empezando a utilizar inteligencia artificial, pero vamos, se llaman los data processors, son específicos, se hacen del instrumento, del rango espectral hasta de la órbita, Dependen de forma específica, son muy específicos efectivamente Sí, claro Bueno, Lo que estamos viendo y lo que muestra este paper es que de hecho lo vimos en un proyecto nuestro, lo estamos viendo ahora que es, si vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores,…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo reflexiona sobre la posibilidad de mejorar el rendimiento de los modelos de lenguaje mediante el ajuste fino o fine-tuning en temas específicos.
Habla: Cecilia GarraffoSignificado #4 · Palabras #2fine tuning modelos lenguajerendimiento modelo lenguaje específicocontexto entrenamiento fine tuning…uno dice, ok, no, no hay nada mágico, le haces un prompt, va al lugar, sabe todo lo que tiene cerca, entiende de qué estás hablando. Entonces, si no sabe mucho de un tema, lo que tenemos que hacer es entrenarlo más densamente en esa área. Pero sin embargo, Puede que no, claro. No, no, es interesante y da miedo. Aunque no sé, porque en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios…