Búsqueda · 36 momentos en 22 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos imagen sin cálculo integralfrancis villatoro modelos de imagenoperaciones matemáticas básicas modeloschatgpt cálculos humanosmodelos lenguaje modificaciones problemas matemáticosfrancis villatoro entrenamiento operaciones matemáticasFrancis VillatoroGastón GiribetContrastive LearningCecilia GarraffoRGBJuan Carlos GilIA (Inteligencia Artificial)ChatGPTGemini 2.5Quijote
Modelos imagen sin cálculo integral
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20257 momentos
Con
0:000:301:001:302:002:303:003:16
Francis Villatoro interrumpe a Gastón Giribet para comentar sobre la dificultad de los modelos de imagen y cómo estos no han sido entrenados en operaciones matemáticas básicas como suma, resta o cálculo integral.
…pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo de conocimiento. Conocimiento, se te rompió el hueso de la tercera mano. Claro, bueno, que de hecho, ¿no? Los modelos de imagen son las cosas más difíciles, pero por ejemplo, sí, perdón, ¿qué ibas a decir, Francis? No iba a decir, Gastón, que lo que te ocurre es que estos modelos nadie les ha enseñado a sumar, ni a restar, ni a dividir, ni a calcular una integral. Solo le han enseñado libros llenos de integrales y de operaciones. Entonces, cuando tú le pides que haga algo con ese tipo de matemática muy avanzada, mientras va copiando lo difícil del libro, lo va haciendo muy bien, porque va copiando lo que aprendió. Pero en el momento en el que tiene que hacer una pequeña modificación en lo que viene en el libro y es cambiar el 2 que viene en el libro porque hay que poner un 3 porque tú has modificado ligeramente el enunciado y ya no es exactamente el del libro, ya no te puede recitar el Quijote los primeros párrafos del Quijote y dártelo literal ahora tiene que operar; en ese momento ya no sabe qué hacer y entonces probabilísticamente elige un número porque nadie le ha enseñado a calcular. Si tú quieres que este tipo de modelos de Lenguaje calculen, conéctalo a Wolfram, a una herramienta de matemática o conéctalo a una herramienta numérica; hay varios. Estos chats GPT se pueden conectar a ese tipo de herramientas y entonces tú le dices: cuando vayas a calcular algo, cálculalo bien con…
Significado #1 · Palabras #1
Cecilia Garraffo continúa hablando sobre los avances recientes en inteligencia artificial, específicamente en modelos que procesan imágenes y utilizan técnicas de difusión.
Habla: Cecilia GarraffoSignificado #9modelos generativos técnicas difusióninteligencia artificial modelos procesan imágenesimágenes realistas modelos de difusióncecilia garraffo avances inteligencia artificial…uno cuando todos sabemos que la inteligencia artificial avanzó un montón en los últimos años, revolucionó todo lo que conocemos y que los modelos son cada vez mejores. Es impresionante interactuar con los modelos de lenguaje, como el ChatGPT, por ejemplo. Y también hubo una revolución no solo en modelos de lenguaje, sino en modelos que procesan imágenes. Ahora, con los modelos generativos, creo que el gran salto fue con los modelos de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes…
Cecilia Garraffo continúa explicando cómo los modelos de lenguaje más recientes y bimodales (que aceptan tanto texto como imágenes) están sorprendiendo al funcionar mejor en tareas específicas que aquellos diseñados específicamente para ello.
Habla: Cecilia GarraffoSignificado #14modelos bimodales texto imágenesmodelos grandes tareas específicasentrenamiento modelos lenguaje máximo…manera, es muy difícil interpretarlos Entonces empezamos a desarrollar modelos mucho más específicos, fuimos de esto tan grande a modelos específicamente para astronomía, para ciencias de la atmósfera Bueno, pero ahora con los modelos más nuevos del lenguaje que además, como decía antes, son multimodales, al menos son bimodales, aceptan también imágenes, texto de imágenes, estamos viendo algo que nos sorprende un montón, que es que los modelos más grandes funcionan mejor para tareas específicas que los modelos que fueron construidos específicamente para esa tarea. A ver, uno podría decir, ok, porque los estás armando mal los modelos, ¿no? El que construyó quién puede ser el problema de la gente que los construye Claro, uno podría decir, bueno, es que vos sos el que entrena esto como el culo, digamos, ¿no? Claro, no me lo pongas como esta es la capacidad máxima de la que podemos llegar Bueno, pero uno podría decir, bueno, pero como estoy entrenando de la misma manera Algo para otra cosa, el problema no es en la forma de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe…
Cecilia Garraffo describe cómo proporcionar contexto adicional a un modelo de lenguaje, incluyendo imágenes de diferentes partes del espectro coloreadas, mejora su rendimiento en el análisis de imágenes satelitales.
Habla: Cecilia GarraffoSignificado #11imágenes espectro coloreadas análisis satelitalmodelo lenguaje contexto imágenes satelitalesimagen rojo verde azul modelo desventajamás información mejor funcionamiento modelos lenguaje…o sea, uno necesita igual como necesita un científico: démosle las imágenes más relevantes para la pregunta que vamos a hacer y digámosle qué imágenes le estamos dando, qué frecuencia, cómo se obtuvieron, para qué sirven, démosle cuanto más contexto mejor. Pero démosle estas imágenes de otras partes del espectro pintadas con colores, no importa; démosle todas estas imágenes y el contexto y resulta que funciona bastante bien. Una cosa que es rara es que lo comparan con cómo funcionaría ese mismo modelo si solo le diéramos la imagen en rojo, verde y azul, bueno eso es un poco, me parece, está en desventaja, claro. Por eso es obvio que, claro, cuanta más información le des, mejor va a funcionar. Me parece un poco críptico en ese sentido: que no explica, habla de los otros modelos, pero no los muestra, no compara tan explícitamente. El artículo es ultra compacto. Sí, porque esos son los artículos; esto es un artículo, en inteligencia artificial y machine learning. Los artículos que más impacto tienen son los artículos que son proceedings de conferencias de machine learning importantes; es al revés que en física.…
Cecilia Garraffo explica cómo se utilizan modelos de lenguaje para analizar datos y realizar cálculos como determinar la temperatura de eventos astrofísicos.
Habla: Cecilia GarraffoSignificado #7 · Palabras #20modelo lenguaje contrastive learningtemperatura evento astrofísico observacióncálculos modelos lenguaje datos…estar muy entrenado en rayos X y te lleva mucho tiempo y bueno, probamos un modelo que te ayuda a hacer eso, modelos que te ayudan a analizar datos, hay varios, hicimos varios porque estamos muy dedicados a eso, pero lo nuevo es que probamos de unirlo a un Modelo de lenguaje. Y lo más usual en general es hacer algo que se llama Contrastive Learning. Uno tiene un modelo para los datos que te da resultados en tareas de datos, por ejemplo, cuál es la temperatura de esta observación, de este evento astrofísico de esta observación. Bueno, esos son cálculos que uno hace; puede entrenar un Modelo y por otro lado tiene un modelo de lenguaje. Los dos modelos tienen algo que se llama el espacio latente, el espacio de representación. Simplemente es un espacio en donde los datos y el texto están representados de una manera diferente y más compacta.…
Juan Carlos Gil comenta sobre un artículo en el que se generan imágenes falsas a color mediante modelos multimodales, combinando diferentes bandas de frecuencias y añadiendo una descripción textual.
Habla: Juan Carlos GilSignificado #8imágenes falsas color modelo multimodalfrecuencias infrarrojo rgb entrenamientobandas frecuencias descripción textualpseudoimagen sensible al agua…el conjunto de entrenamiento. Pero a pesar de ello, este modelo de lenguaje probablemente ha recibido cantidad de libros de astrofísica y conoce una serie de cosas de astrofísica que probablemente la mayoría de los que estamos aquí no tenemos ni idea. Lo más Divertido del artículo en mi opinión es que se generan estas imágenes en falso color, porque es lo que el modelo multimodal ha sido entrenado: RGB a partir de frecuencias de infrarrojo o lo que sea, combinando varias bandas y se le suplementa la pseudoimagen con una descripción textual en el contexto de: te voy a dar una imagen que no es una imagen real, es una combinación de la banda no sé qué que es sensible al agua, se le describe con el contexto, eso mola un montón. Me imagino ahí a un diablillo de Maxwell, ¿no? Oyendo, así que me has hecho esto mezclando el infrarrojo con la reflexión del agua Pues esto de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y…
Francis Villatoro interrumpe a Gastón Giribet para comentar sobre la dificultad de los modelos de imagen y cómo estos no han sido entrenados en operaciones matemáticas básicas como suma, resta o cálculo integral.
Habla: Francis VillatoroSignificado #1 · Palabras #1modelos imagen sin cálculo integralfrancis villatoro modelos de imagenoperaciones matemáticas básicas modeloschatgpt cálculos humanosmodelos lenguaje modificaciones problemas matemáticosfrancis villatoro entrenamiento operaciones matemáticas…pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo de conocimiento. Conocimiento, se te rompió el hueso de la tercera mano. Claro, bueno, que de hecho, ¿no? Los modelos de imagen son las cosas más difíciles, pero por ejemplo, sí, perdón, ¿qué ibas a decir, Francis? No iba a decir, Gastón, que lo que te ocurre es que estos modelos nadie les ha enseñado a sumar, ni a restar, ni a dividir, ni a calcular una integral. Solo le han enseñado libros llenos de integrales y de operaciones. Entonces, cuando tú le pides que haga algo con ese tipo de matemática muy avanzada, mientras va copiando lo difícil del libro, lo va haciendo muy bien, porque va copiando lo que aprendió. Pero en el momento en el que tiene que hacer una pequeña modificación en lo que viene en el libro y es cambiar el 2 que viene en el libro porque hay que poner un 3 porque tú has modificado ligeramente el enunciado y ya no es exactamente el del libro, ya no te puede recitar el Quijote los primeros párrafos del Quijote y dártelo literal ahora tiene que operar; en ese momento ya no sabe qué hacer y entonces probabilísticamente elige un número porque nadie le ha enseñado a calcular. Si tú quieres que este tipo de modelos de Lenguaje calculen, conéctalo a Wolfram, a una herramienta de matemática o conéctalo a una herramienta numérica; hay varios. Estos chats GPT se pueden conectar a ese tipo de herramientas y entonces tú le dices: cuando vayas a calcular algo, cálculalo bien con…
Cecilia Garraffo reflexiona sobre cómo los modelos de lenguaje a veces superan a los humanos en tareas básicas como sumas y multiplicaciones, a pesar de no haber sido entrenados explícitamente para ello.
Habla: Cecilia GarraffoSignificado #10chatgpt cálculos humanosmodelos lenguaje superan humanossumas multiplicaciones modelos lenguaje…enseñado que 2 más 2 es igual a 4; ha visto, he escrito muchos libros que 2 más 2 es igual a 4, pero ha visto muy pocos libros que 1523 más 5 es 1528 y por tanto esa operación puede que acierte o puede que no. Sin embargo, esto que decís es contrario a lo que Estamos encontrando de alguna manera, porque eso es lo que uno pensaría y por lo que yo quiero generar y desarrollar modelos físicos que voy a alinear con los de lenguaje. Sin embargo, estamos viendo que no, que los de lenguaje hacen mejor esa tarea de suma, multiplicación que no aprendieron explícitamente, aunque sí la aprendieron porque también tienen los. libros de texto que enseñan eso, ¿no? Pero digo, no es que repitan las operaciones que ya vieron pueden hacer operaciones nuevas porque aprendieron de alguna manera aprendieron a reproducir eso no es que se lo acuerdan de memoria no es así y estamos viendo…