Búsqueda · 30 momentos en 18 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos lenguaje información contextoaprendizaje astrofísica modelos gigante lenguajeimágenes nuevas contexto conexión lecturaprocesos complicados mecanismos implícitosFrancis VillatoroCecilia GarraffoGemini 2.5RGBJuan Carlos GilChatGPTCLIPCausa Géminis 2.5Machine LearningInteligencia Artificial
Imágenes nuevas contexto conexión lectura
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20256 momentos
Con
0:000:301:001:302:002:303:003:16
Francis Villatoro explica que los modelos de lenguaje no están diseñados para pensar o razonar, sino para almacenar información y procesarla a partir del contexto proporcionado.
…de aprender todas las operaciones, por ejemplo todas las tablas, una manera de poder reproducirlo sin tener que guardar tanta información. Bueno, nos fuimos por las ramas; no sé. Sí, nos fuimos por la rama. Sí, este es un artículo muy interesante y un tema. Claro, porque estos son modelos de lenguaje a los que no se les enseña a pensar ni a razonar, solamente se le da información; solo se mete información y se almacena en un formato súper exótico y ahora le pides, le ofreces unas imágenes que quizás nunca ha visto, pero es posible que sí haya tenido en su aprendizaje ese modelo gigante del lenguaje haya tenido información parecida. Es decir, puede que haya leído libros en el aprendizaje de astrofísica en lo que estudien ese tipo de procesos; entonces tú le das unas nuevas imágenes, le das un cierto contexto y el gracias al contexto conecta con lo que leyó y a partir de lo que leyó se pone a funcionar y a procesar esas imágenes y puede hacer procesos mucho más complicados porque al ser más grande tiene implícitos una serie de mecanismos que no tiene un modelo más pequeño. Que no tiene ese tipo de... Yo no lo veo como algo tan extraño que los modelos, los grandes modelos de lenguaje, estos como el Gemini 2.5, no sé cuántos parámetros tiene, pero tiene que ser una barbaridad, una billonada, puedan con información que a priori…
Significado #1 · Palabras #1
Cecilia Garraffo explica un avance importante en inteligencia artificial: la conexión de tecnologías que permiten entender una modalidad (como lenguaje) a partir de otra (como imágenes), lo que posibilita el uso de modelos como DALL-E y la integración de imágenes en ChatGPT.
Habla: Cecilia GarraffoSignificado #11 · Palabras #15modelos clip lenguaje e imágenesdalí texto imagenchatgpt español acepta imágenesmodelos lenguaje multimodal…de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes Eso es lo que nos permite usar modelos como Dalí y decir en texto qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto…
Cecilia Garraffo explica cómo la adición de contexto a modelos de lenguaje permite superar a aquellos entrenados con grandes volúmenes de datos satelitales.
Habla: Cecilia GarraffoPalabras #5imágenes satelitales tres canalescolores rojo verde azulmodelos lenguaje contexto garraffo…vos tomas un modelo de lenguaje entrenado con ninguna imagen satelital más que las que uno encuentra en internet que son despreciables comparadas con el volumen de datos en los que se entrenan estos modelos y le das contexto, lo importante acá es el contexto. Si le das contexto, si le decís: tengo estas imágenes satelitales que en realidad son, tienen, en vez de tener como todos los modelos de estos entrenados que uno usa de imágenes, tienen tres canales, se llaman rojo, verde y azul. Que con esos tres colores, por más que nunca entendí por qué no son los colores primarios, pero bueno, uno puede hacer todos los colores entonces es todo lo que necesitas para una imagen en espectro visible de alguna manera. entonces la gente empezó a agregar canales para estos cubos espectrales, lo que quiere decir tener un cubo espectral y este tipo de observaciones es tener una imagen pero en un montón de colores, no solo esos tres, sino colores fuera del rango visible de lo…
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
Habla: Cecilia GarraffoSignificado #13 · Palabras #4gemini 2 5 analiza imágenes satelitalescientífico necesita imágenes relevantes preguntaimágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguaje…que podemos ver con nuestros ojos, sino en otras partes del espectro electromagnético. Porque buscas frecuencias que sean sensibles a la vegetación, a la reflexión por el agua, buscas esas frecuencias que te van a permitir identificar cositas desde la órbita. Claro, entonces lo que hicieron acá es decir: ok, tomemos todos esos modelos que son bien especializados en esto, pero que son de Machine Learning, de Inteligencia Artificial y después tomamos un modelo, la Causa Géminis 2.5, y démosle imágenes que sabemos que son representativas; o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Cecilia Garraffo explica la diferencia entre entrenar modelos y proporcionarles contexto, destacando su preferencia por no alimentar modelos de lenguaje con datos estructurados.
Habla: Cecilia GarraffoPalabras #18modelo genera contexto para otro modeloartículo aprovecha modelos entrenados con imágenespesos del modelo ya vienen dadoscecilía garraffo no alimenta datos estructurados…en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que utiliza grandes modelos que ya han sido entrenados con mi multitud de imágenes, eso es lo que te ahorras, los pesos, el modelo ya viene dado y tú ahora con contexto, sí, todavía con esto porque a mí me parece, no sé, un gusto personal es, no me gusta para nada dar datos en forma a un modelo de lenguaje porque no es pensando, capaz que esto nos lleva quizás a algo un poco Más filosófico, por suerte hay un filósofo en la sala, que es: pensamos, ¿cómo pensamos nosotros? En texto, en matemática. Yo siempre pensé: ok, hagamos un modelo matemático que use física y matemática para analizar los datos y después conectémoslo con un…
Francis Villatoro explica que los modelos de lenguaje no están diseñados para pensar o razonar, sino para almacenar información y procesarla a partir del contexto proporcionado.
Habla: Francis VillatoroSignificado #1 · Palabras #1modelos lenguaje información contextoaprendizaje astrofísica modelos gigante lenguajeimágenes nuevas contexto conexión lecturaprocesos complicados mecanismos implícitos…de aprender todas las operaciones, por ejemplo todas las tablas, una manera de poder reproducirlo sin tener que guardar tanta información. Bueno, nos fuimos por las ramas; no sé. Sí, nos fuimos por la rama. Sí, este es un artículo muy interesante y un tema. Claro, porque estos son modelos de lenguaje a los que no se les enseña a pensar ni a razonar, solamente se le da información; solo se mete información y se almacena en un formato súper exótico y ahora le pides, le ofreces unas imágenes que quizás nunca ha visto, pero es posible que sí haya tenido en su aprendizaje ese modelo gigante del lenguaje haya tenido información parecida. Es decir, puede que haya leído libros en el aprendizaje de astrofísica en lo que estudien ese tipo de procesos; entonces tú le das unas nuevas imágenes, le das un cierto contexto y el gracias al contexto conecta con lo que leyó y a partir de lo que leyó se pone a funcionar y a procesar esas imágenes y puede hacer procesos mucho más complicados porque al ser más grande tiene implícitos una serie de mecanismos que no tiene un modelo más pequeño. Que no tiene ese tipo de... Yo no lo veo como algo tan extraño que los modelos, los grandes modelos de lenguaje, estos como el Gemini 2.5, no sé cuántos parámetros tiene, pero tiene que ser una barbaridad, una billonada, puedan con información que a priori…
Juan Carlos Gil comenta sobre un artículo en el que se generan imágenes falsas a color mediante modelos multimodales, combinando diferentes bandas de frecuencias y añadiendo una descripción textual.
Habla: Juan Carlos GilPalabras #10imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al agua…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y…