Búsqueda · 35 momentos en 21 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarchatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadosJulio OlivaMariano ChernikovChatGPTGastón Giribetsímbolo de ChristoffelEstados UnidosCecilia GarraffoQuijoteFrancis Villatoro
Mariano Chernikov cálculos avanzados
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20254 momentos
Con
0:000:301:001:302:002:303:003:16
Gastón Giribet relata una experiencia reciente con Julio Oliva y Mariano Chernikov, donde evaluaron la capacidad de cálculo de ChatGPT en su versión paga y gratuita.
…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me…
Significado #1 · Palabras #1
Gastón Giribet relata una experiencia reciente con Julio Oliva y Mariano Chernikov, donde evaluaron la capacidad de cálculo de ChatGPT en su versión paga y gratuita.
Habla: Gastón GiribetSignificado #1 · Palabras #1chatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzados…de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me…
Gastón Giribet reflexiona sobre los errores que cometen los modelos de lenguaje al pasar del lenguaje al cálculo, comparándolos con errores humanos.
Habla: Cecilia GarraffoPalabras #13chatgpt cálculos humanos gastón giribetexperimento examen médico chatchpití diciembreerrores de lenguaje cálculo chatgpt…podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos…
Gastón Giribet continúa reflexionando sobre los errores que cometen los modelos de lenguaje y los compara con los errores humanos en cálculos matemáticos avanzados.
Habla: Gastón GiribetPalabras #11errores matemáticos humanos ingenuoscálculos humanos factores olvidadosgastón giribet modelos lenguaje erroresmatemática avanzada cálculos ingenuoscálculos christoffel errores humanosgeometrías no lineales teoría relatividadcargas conservadas generalizaciones relatividadmultiplicidad de permutar gastón giribet…cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los errores humanos son bastante ingenuos. Los más frecuentes son olvidarme un factor, un medio, no darme cuenta de aquel factor que no lo tuve en cuenta No dejan de ser aquellos que son errores humanos de cálculo, no dejan de ser cosas ingenuas Fijate, cuando uno calcula, hace matemática muy avanzada, cada vez más Avanzada, en topología diferencial, en geometría algebraica. Los errores que cometés cuando calculás a mano, en calcular símbolo de Christoffel, son errores que identificaría un niño y unos son esos los que cometen. Digo, lo que quiero decir con esto no es incompatible una cosa con la otra, en matemática, en particular. Pero no sé, jugando un poco con eso, incluso le dábamos a calcular cargas conservadas, cosas así, en geometrías, en teorías no lineales, en generalizaciones de teoría de relatividad, cosas así, y encontramos que hacía la parte muy difícil bien, pero cometía errores, por ejemplo, cuando contaba mal la multiplicidad de permutar cosas, que son errores que yo cometo cuando hago eso a mano. Sin embargo, creo, no vi los resultados de este experimento que te cuento, pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo…
Francis Villatoro explica cómo los modelos de lenguaje, al enfrentarse a modificaciones mínimas en problemas matemáticos avanzados, fallan debido a la falta de entrenamiento básico en operaciones matemáticas.
Habla: Francis VillatoroPalabras #16chatgpt cálculos humanosmodelos lenguaje modificaciones problemas matemáticosfrancis villatoro entrenamiento operaciones matemáticas…sí, perdón, ¿qué ibas a decir, Francis? No iba a decir, Gastón, que lo que te ocurre es que estos modelos nadie les ha enseñado a sumar, ni a restar, ni a dividir, ni a calcular una integral. Solo le han enseñado libros llenos de integrales y de operaciones. Entonces, cuando tú le pides que haga algo con ese tipo de matemática muy avanzada, mientras va copiando lo difícil del libro, lo va haciendo muy bien, porque va copiando lo que aprendió. Pero en el momento en el que tiene que hacer una pequeña modificación en lo que viene en el libro y es cambiar el 2 que viene en el libro porque hay que poner un 3 porque tú has modificado ligeramente el enunciado y ya no es exactamente el del libro, ya no te puede recitar el Quijote los primeros párrafos del Quijote y dártelo literal ahora tiene que operar; en ese momento ya no sabe qué hacer y entonces probabilísticamente elige un número porque nadie le ha enseñado a calcular. Si tú quieres que este tipo de modelos de Lenguaje calculen, conéctalo a Wolfram, a una herramienta de matemática o conéctalo a una herramienta numérica; hay varios. Estos chats GPT se pueden conectar a ese tipo de herramientas y entonces tú le dices: cuando vayas a calcular algo, cálculalo bien con…