Búsqueda · 27 momentos en 13 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarchatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgptchatgpt cálculos humanos gastón giribetexperimento examen médico chatchpití diciembreerrores de lenguaje cálculo chatgptJulio OlivaMariano ChernikovChatGPTGastón GiribetEstados UnidosCecilia GarraffoWolframFrancis Villatorosímbolo de Christoffel
Errores Humanos en ChatGPT
Con
0:000:301:001:302:002:303:003:16
Gastón Giribet relata una experiencia reciente con Julio Oliva y Mariano Chernikov, donde evaluaron la capacidad de cálculo de ChatGPT en su versión paga y gratuita.
…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos…
Significado #3 · Palabras #1
Gastón Giribet relata una experiencia reciente con Julio Oliva y Mariano Chernikov, donde evaluaron la capacidad de cálculo de ChatGPT en su versión paga y gratuita.
Habla: Gastón GiribetSignificado #3 · Palabras #1chatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgptchatgpt cálculos humanos gastón giribetexperimento examen médico chatchpití diciembreerrores de lenguaje cálculo chatgpt…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos…
Gastón Giribet aclara que los errores cometidos por modelos de lenguaje no son incompatibles con experiencias previas y compara estos errores con aquellos comunes en cálculos matemáticos humanos.
Habla: Gastón GiribetPalabras #8errores matemáticos humanos ingenuoscálculos humanos factores olvidadosgastón giribet modelos lenguaje erroresmatemática avanzada cálculos ingenuoscálculos christoffel errores humanosgeometrías no lineales teoría relatividadcargas conservadas generalizaciones relatividadmultiplicidad de permutar gastón giribet…cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los errores humanos son bastante ingenuos. Los más frecuentes son olvidarme un factor, un medio, no darme cuenta de aquel factor que no lo tuve en cuenta No dejan de ser aquellos que son errores humanos de cálculo, no dejan de ser cosas ingenuas Fijate, cuando uno calcula, hace matemática muy avanzada, cada vez más Avanzada, en topología diferencial, en geometría algebraica. Los errores que cometés cuando calculás a mano, en calcular símbolo de Christoffel, son errores que identificaría un niño y unos son esos los que cometen. Digo, lo que quiero decir con esto no es incompatible una cosa con la otra, en matemática, en particular. Pero no sé, jugando un poco con eso, incluso le dábamos a calcular cargas conservadas, cosas así, en geometrías, en teorías no lineales, en generalizaciones de teoría de relatividad, cosas así, y encontramos que hacía la parte muy difícil bien, pero cometía errores, por ejemplo, cuando contaba mal la multiplicidad de permutar cosas, que son errores que yo cometo cuando hago eso a mano. Sin embargo, creo, no vi los resultados de este experimento que te cuento, pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo…
Francis Villatoro explica cómo conectar los modelos de lenguaje como ChatGPT a herramientas matemáticas como Wolfram para evitar errores básicos en cálculos.
Habla: Francis VillatoroPalabras #10chatgpt conectado a wolframerrores conceptuales chatgptcálculos básicos chatgpt…recitar el Quijote los primeros párrafos del Quijote y dártelo literal ahora tiene que operar; en ese momento ya no sabe qué hacer y entonces probabilísticamente elige un número porque nadie le ha enseñado a calcular. Si tú quieres que este tipo de modelos de Lenguaje calculen, conéctalo a Wolfram, a una herramienta de matemática o conéctalo a una herramienta numérica; hay varios. Estos chats GPT se pueden conectar a ese tipo de herramientas y entonces tú le dices: cuando vayas a calcular algo, cálculalo bien con esta herramienta y entonces llamará a la herramienta, recibe el resultado de la herramienta y te lo va presentando; y entonces ya no comete errores, ya no comete ese tipo de errores tan tontos, ya comete errores más conceptuales, más de razonamiento; son los errores ya de alto nivel, pero los errores triviales los comete porque nadie le ha enseñado que 2 más 2 es igual a 4; ha visto, he escrito muchos libros que 2 más 2 es igual a 4, pero ha visto muy pocos libros que 1523 más 5 es 1528 y por tanto esa operación puede que acierte o puede que no. Sin embargo, esto que decís es contrario a lo que Estamos encontrando de alguna manera, porque eso es lo que uno pensaría y por lo que yo quiero generar y desarrollar modelos físicos que voy a alinear con los de lenguaje. Sin embargo, estamos viendo que no, que los de lenguaje hacen mejor esa tarea de suma,…