Búsqueda · 25 momentos en 15 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarchatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgptchatgpt cálculos humanos gastón giribetexperimento examen médico chatchpití diciembreerrores de lenguaje cálculo chatgptGastón GiribetChatGPTEstados UnidosJulio OlivaMariano ChernikovWolframFrancis Villatorosímbolo de ChristoffelCecilia GarraffoCLIPQuijote
Errores de lenguaje cálculo ChatGPT
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20254 momentos
Con
0:000:301:001:302:002:303:003:16
Gastón Giribet continúa reflexionando sobre los errores cometidos por modelos de lenguaje como ChatGPT, comparándolos con errores humanos al olvidar factores o sesgos en el proceso de cálculo y la formulación de contra-prompts.
…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos…
Significado #5 · Palabras #1
Cecilia Garraffo explica un avance importante en inteligencia artificial: la conexión de tecnologías que permiten entender una modalidad (como lenguaje) a partir de otra (como imágenes), lo que posibilita el uso de modelos como DALL-E y la integración de imágenes en ChatGPT.
Habla: Cecilia GarraffoPalabras #12modelos clip lenguaje e imágenesdalí texto imagenchatgpt español acepta imágenesmodelos lenguaje multimodal…de difusión, que no son de difusión como en física, pero viene de ahí la palabra; que uno puede generar imágenes muy realistas, son muy difíciles distinguir de las imágenes reales. Entonces, en estas dos áreas la inteligencia artificial avanzó un montón. Y después hubo otro avance importante, otro como paso grande, que fue conectar estas dos tecnologías, ¿no? Hacer modelos que se llaman de tipo clip, que quiere decir, podemos dado alguna modalidad entender la otra o predecir la otra entre lenguaje e imágenes Eso es lo que nos permite usar modelos como Dalí y decir en texto qué imagen queremos Y ahora los modelos de lenguaje como ChatGPT, o ChatGPT en español se dice, aceptan imágenes también Entonces ahora están comunicados los dos modelos y a eso se refiere uno cuando dice multimodal, por ejemplo, modelo multimodal Ahora, la inteligencia artificial avanzó un montón, pero por otro lado, para aplicaciones científicas no fue en general muy útil Estos modelos que usamos todos los días no son lo más útil para ciencia por muchas razones que es lo que hizo que yo me dedicara a esto…
Gastón Giribet continúa reflexionando sobre los errores cometidos por modelos de lenguaje como ChatGPT, comparándolos con errores humanos al olvidar factores o sesgos en el proceso de cálculo y la formulación de contra-prompts.
Habla: Gastón GiribetSignificado #5 · Palabras #1chatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgptchatgpt cálculos humanos gastón giribetexperimento examen médico chatchpití diciembreerrores de lenguaje cálculo chatgpt…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos…
Gastón Giribet continúa reflexionando sobre los errores que cometen los modelos de lenguaje y los compara con los errores humanos en cálculos matemáticos avanzados.
Habla: Gastón GiribetSignificado #12 · Palabras #6errores matemáticos humanos ingenuoscálculos humanos factores olvidadosgastón giribet modelos lenguaje erroresmatemática avanzada cálculos ingenuoscálculos christoffel errores humanosgeometrías no lineales teoría relatividadcargas conservadas generalizaciones relatividadmultiplicidad de permutar gastón giribet…cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los errores humanos son bastante ingenuos. Los más frecuentes son olvidarme un factor, un medio, no darme cuenta de aquel factor que no lo tuve en cuenta No dejan de ser aquellos que son errores humanos de cálculo, no dejan de ser cosas ingenuas Fijate, cuando uno calcula, hace matemática muy avanzada, cada vez más Avanzada, en topología diferencial, en geometría algebraica. Los errores que cometés cuando calculás a mano, en calcular símbolo de Christoffel, son errores que identificaría un niño y unos son esos los que cometen. Digo, lo que quiero decir con esto no es incompatible una cosa con la otra, en matemática, en particular. Pero no sé, jugando un poco con eso, incluso le dábamos a calcular cargas conservadas, cosas así, en geometrías, en teorías no lineales, en generalizaciones de teoría de relatividad, cosas así, y encontramos que hacía la parte muy difícil bien, pero cometía errores, por ejemplo, cuando contaba mal la multiplicidad de permutar cosas, que son errores que yo cometo cuando hago eso a mano. Sin embargo, creo, no vi los resultados de este experimento que te cuento, pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo…
Francis Villatoro explica cómo conectar los modelos de lenguaje como ChatGPT a herramientas matemáticas como Wolfram para evitar errores básicos en cálculos.
Habla: Francis VillatoroSignificado #4 · Palabras #2chatgpt cálculos humanosmodelos lenguaje modificaciones problemas matemáticosfrancis villatoro entrenamiento operaciones matemáticaschatgpt conectado a wolframerrores conceptuales chatgptcálculos básicos chatgptmodelos lenguaje superan humanossumas multiplicaciones modelos lenguaje…sí, perdón, ¿qué ibas a decir, Francis? No iba a decir, Gastón, que lo que te ocurre es que estos modelos nadie les ha enseñado a sumar, ni a restar, ni a dividir, ni a calcular una integral. Solo le han enseñado libros llenos de integrales y de operaciones. Entonces, cuando tú le pides que haga algo con ese tipo de matemática muy avanzada, mientras va copiando lo difícil del libro, lo va haciendo muy bien, porque va copiando lo que aprendió. Pero en el momento en el que tiene que hacer una pequeña modificación en lo que viene en el libro y es cambiar el 2 que viene en el libro porque hay que poner un 3 porque tú has modificado ligeramente el enunciado y ya no es exactamente el del libro, ya no te puede recitar el Quijote los primeros párrafos del Quijote y dártelo literal ahora tiene que operar; en ese momento ya no sabe qué hacer y entonces probabilísticamente elige un número porque nadie le ha enseñado a calcular. Si tú quieres que este tipo de modelos de Lenguaje calculen, conéctalo a Wolfram, a una herramienta de matemática o conéctalo a una herramienta numérica; hay varios. Estos chats GPT se pueden conectar a ese tipo de herramientas y entonces tú le dices: cuando vayas a calcular algo, cálculalo bien con esta herramienta y entonces llamará a la herramienta, recibe el resultado de la herramienta y te lo va presentando; y entonces ya no comete errores, ya no comete ese tipo de errores tan tontos, ya comete errores más conceptuales, más de razonamiento; son los errores ya de alto nivel, pero los errores triviales los comete porque nadie le ha enseñado que 2 más 2 es igual a 4; ha visto, he escrito muchos libros que 2 más 2 es igual a 4, pero ha visto muy pocos libros que 1523 más 5 es 1528 y por tanto esa operación puede que acierte o puede que no. Sin embargo, esto que decís es contrario a lo que Estamos encontrando de alguna manera, porque eso es lo que uno pensaría y por lo que yo quiero generar y desarrollar modelos físicos que voy a alinear con los de lenguaje. Sin embargo, estamos viendo que no, que los de lenguaje hacen mejor esa tarea de suma, multiplicación que no aprendieron explícitamente, aunque sí la aprendieron porque también tienen los. libros de texto que enseñan eso, ¿no? Pero digo, no es que repitan las operaciones que ya vieron pueden hacer operaciones nuevas porque aprendieron de alguna manera aprendieron a reproducir eso no es que se lo acuerdan de memoria no es así y estamos viendo…