Búsqueda · 25 momentos en 10 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarimágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguajeCecilia GarraffoGemini 2.5ChatGPTFrancis VillatoroTransfer LearningGastón GiribetWolframEstados Unidos
Más información mejor funcionamiento modelos lenguaje
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 202510 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
…o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Significado #1 · Palabras #4
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
Habla: Cecilia GarraffoSignificado #15 · Palabras #12modelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximo…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe…
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
Habla: Cecilia GarraffoSignificado #1 · Palabras #4imágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguaje…o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje generalistas superan a aquellos entrenados específicamente para tareas satelitales, incluso a los ajustados mediante Transfer Learning.
Habla: Cecilia GarraffoPalabras #3modelos lenguaje superan satelitales transfer learningtransfer learning tareas específicas modelos generalesmodelos generales superan fine-tuneados transferencia aprendizaje…fuerte limitación, sí, en el número de páginas. Pero bueno, la idea es que funcionan mejor, arguyen, de una manera que no me queda tan claro. Porque ese primer resultado es obvio, si le das más contexto es obvio. Pero creo que esto va más allá a decir, estos. Modelos funcionan mejores que los modelos específicamente creados, entrenados incluso que los modelos fine-tuneados, o sea, ajustados usando Transfer Learning a tareas específicas. Y esto ya lo sabíamos hace poco: que los modelos más generales y más grandes funcionan mejor en tareas específicas que los modelos específicos o ajustados a una tarea. y es lo que encontramos nosotros también en un paper que todavía no publicamos pero con datos de astronomía rayos X que son datos complicados porque no son imágenes ni texto ni espectros, lo que tiene uno de los rayos X son una lista de eventos de fotones se…
Cecilia Garraffo explica cómo el uso de modelos de lenguaje grandes con contexto puede superar a los modelos especializados en datos para ciertas tareas.
Habla: Cecilia GarraffoSignificado #10 · Palabras #1chatgpt cálculos humanosmodelo lenguaje grande contextoprompts chat chipiti información…una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y educar? Si yo quiero una definición, ¿qué es dar contexto? Darle un, lo que se llama prompts es cuando uno le pide algo al chat chipiti, le da como información. Si vos le das contexto, a lo que uno se refiere en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el…
Cecilia Garraffo explica la diferencia entre entrenar modelos y proporcionarles contexto, destacando su preferencia por no alimentar modelos de lenguaje con datos estructurados.
Habla: Cecilia GarraffoSignificado #14modelo genera contexto para otro modeloartículo aprovecha modelos entrenados con imágenespesos del modelo ya vienen dadoscecilía garraffo no alimenta datos estructurados…en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que utiliza grandes modelos que ya han sido entrenados con mi multitud de imágenes, eso es lo que te ahorras, los pesos, el modelo ya viene dado y tú ahora con contexto, sí, todavía con esto porque a mí me parece, no sé, un gusto personal es, no me gusta para nada dar datos en forma a un modelo de lenguaje porque no es pensando, capaz que esto nos lleva quizás a algo un poco Más filosófico, por suerte hay un filósofo en la sala, que es: pensamos, ¿cómo pensamos nosotros? En texto, en matemática. Yo siempre pensé: ok, hagamos un modelo matemático que use física y matemática para analizar los datos y después conectémoslo con un…
Francis Villatoro explica que los modelos de lenguaje no están diseñados para pensar o razonar, sino para almacenar información y procesarla a partir del contexto proporcionado.
Habla: Francis VillatoroSignificado #2 · Palabras #5modelos lenguaje información contextoaprendizaje astrofísica modelos gigante lenguajeimágenes nuevas contexto conexión lecturaprocesos complicados mecanismos implícitosgemini 2 5 procesa información nuevamodelos grandes lenguaje billonada parámetrosfrancis villatoro modelos de lenguajegemini 2 5 procesa información científicaastrofísica en modelos grandes lenguajeconocimiento astrofísico libros gemini 2 5…de aprender todas las operaciones, por ejemplo todas las tablas, una manera de poder reproducirlo sin tener que guardar tanta información. Bueno, nos fuimos por las ramas; no sé. Sí, nos fuimos por la rama. Sí, este es un artículo muy interesante y un tema. Claro, porque estos son modelos de lenguaje a los que no se les enseña a pensar ni a razonar, solamente se le da información; solo se mete información y se almacena en un formato súper exótico y ahora le pides, le ofreces unas imágenes que quizás nunca ha visto, pero es posible que sí haya tenido en su aprendizaje ese modelo gigante del lenguaje haya tenido información parecida. Es decir, puede que haya leído libros en el aprendizaje de astrofísica en lo que estudien ese tipo de procesos; entonces tú le das unas nuevas imágenes, le das un cierto contexto y el gracias al contexto conecta con lo que leyó y a partir de lo que leyó se pone a funcionar y a procesar esas imágenes y puede hacer procesos mucho más complicados porque al ser más grande tiene implícitos una serie de mecanismos que no tiene un modelo más pequeño. Que no tiene ese tipo de... Yo no lo veo como algo tan extraño que los modelos, los grandes modelos de lenguaje, estos como el Gemini 2.5, no sé cuántos parámetros tiene, pero tiene que ser una barbaridad, una billonada, puedan con información que a priori nunca han visto sobre Todo porque es información científica novedosa que se acaba de publicar y con seguridad no está en el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen…
Cecilia Garraffo comenta la evolución de los modelos de lenguaje, contrastando su capacidad para responder preguntas complejas con la persistencia de errores básicos.
Habla: Cecilia GarraffoSignificado #11modelos lenguaje errores naifrazonamiento modelos lenguaje cecilia garraffocomprensión modelos lenguaje…¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los…
Cecilia Garraffo reflexiona sobre cómo los modelos de lenguaje a veces superan a los humanos en tareas básicas como sumas y multiplicaciones, a pesar de no haber sido entrenados explícitamente para ello.
Habla: Cecilia GarraffoSignificado #7chatgpt cálculos humanosmodelos lenguaje superan humanossumas multiplicaciones modelos lenguajewolfram y modelos lenguaje matemáticasoperaciones nuevas modelos lenguajececilia garraffo duda wolfram…enseñado que 2 más 2 es igual a 4; ha visto, he escrito muchos libros que 2 más 2 es igual a 4, pero ha visto muy pocos libros que 1523 más 5 es 1528 y por tanto esa operación puede que acierte o puede que no. Sin embargo, esto que decís es contrario a lo que Estamos encontrando de alguna manera, porque eso es lo que uno pensaría y por lo que yo quiero generar y desarrollar modelos físicos que voy a alinear con los de lenguaje. Sin embargo, estamos viendo que no, que los de lenguaje hacen mejor esa tarea de suma, multiplicación que no aprendieron explícitamente, aunque sí la aprendieron porque también tienen los. libros de texto que enseñan eso, ¿no? Pero digo, no es que repitan las operaciones que ya vieron pueden hacer operaciones nuevas porque aprendieron de alguna manera aprendieron a reproducir eso no es que se lo acuerdan de memoria no es así y estamos viendo esto que es lo sorprendente es lo contraintuitivo yo hasta hace poquito he estado completamente de acuerdo con lo que estás diciendo sin embargo ahora lo dudo porque estamos viendo que aunque Wolfram está diseñado para eso quizás el modelo de lenguaje sea mejor. A ver, por ejemplo, con Gastón estamos trabajando en un proyecto que me parece muy interesante: que es desarrollar un modelo de inteligencia artificial, de Machine Learning, para encontrar soluciones, agujeros negros en teorías de gravedad diferentes a las de…
Gastón Giribet reflexiona sobre la insatisfacción de no comprender cómo los modelos de lenguaje llegan a sus respuestas y sugiere que esto puede generar nuevas preguntas e intereses.
Habla: Gastón GiribetSignificado #6modelos lenguaje respuestas gastón giribetnueva pregunta interés modelos lenguajerazón modelo lenguaje pasa…a Yachipiti. Y nos da la solución. Es muy poco satisfactorio. Yo siempre digo que no me importa; que me lo digan y ya está. Pero en realidad, Gastón, ahora estoy repensando eso porque es muy poco satisfactorio que no me diga cómo supo hacerlo; como que te Lo puede decir también. Yo creo que lo que pasa es que se abre un nuevo interés: qué es qué está pasando, por qué pasa. Hay una razón por la que esto pasa, ¿no? La respuesta ingenua será, bueno, qué sé yo; a veces hay una forma más amplia de pensar, como uno se lo aplicaría a los humanos. Qué bueno estudiar muchas cosas porque te dan un parón a más amplio, no sé si es eso lo que está pasando o no. Pero yo creo que no es que no sea satisfactorio, sino que te abre una nueva pregunta; eso me parece. O sea, a mí se vuelve acuciante saber qué es. Lo que está pasando y cómo manejarlo. Porque, por ejemplo, también puede pasar que esto no sea uniformemente distribuida en el espacio de tópicos. Es decir, que capaz que para resolver un problema A está bueno agarrar una máquina que esté entrenada para…
Cecilia Garraffo reflexiona sobre la posibilidad de mejorar el rendimiento de los modelos de lenguaje mediante el ajuste fino o fine-tuning en temas específicos.
Habla: Cecilia GarraffoSignificado #13 · Palabras #6fine tuning modelos lenguajerendimiento modelo lenguaje específicocontexto entrenamiento fine tuning…uno dice, ok, no, no hay nada mágico, le haces un prompt, va al lugar, sabe todo lo que tiene cerca, entiende de qué estás hablando. Entonces, si no sabe mucho de un tema, lo que tenemos que hacer es entrenarlo más densamente en esa área. Pero sin embargo, Puede que no, claro. No, no, es interesante y da miedo. Aunque no sé, porque en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios…