Búsqueda · 23 momentos en 14 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmodelos inteligencia artificial procesos cognitivosfunciones máquinas similitud humana introspeccióngastón giribet funcionamiento inteligencia artificialchatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgptGastón GiribetChatGPTJulio OlivaMariano ChernikovCecilia Garraffosímbolo de ChristoffelWolfram
Gastón Giribet modelos lenguaje errores
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20255 momentos
Con
0:000:301:001:302:002:303:003:16
Gastón Giribet continúa reflexionando sobre los errores cometidos por modelos de lenguaje como ChatGPT, comparándolos con errores humanos al olvidar factores o sesgos en el proceso de cálculo y la formulación de contra-prompts.
…de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es…
Significado #2 · Palabras #1
Gastón Giribet reflexiona sobre la forma en que los humanos aprenden el lenguaje y las matemáticas, argumentando que el lenguaje natural es fundamental para nuestro desarrollo cognitivo.
Habla: Gastón GiribetSignificado #20 · Palabras #9lenguaje natural desarrollo cognitivomatemática montado sobre lenguajeoperaciones números lenguaje ordinariochomskyanos lenguaje naturalecuaciones sin necesidad lenguaje verbalpensamiento humano ecuaciones gastón giribetproceso natural función del lenguajemáquinas tienen función lenguaje…un modelo de lenguaje? Y esto es como que está probando lo opuesto, no sé si lo está probando igual, porque las comparaciones ya les digo son un poco injustas, encontré, pero es una buena pregunta, porque hablando en serio, más allá de lo filosófico, nosotros Somos educados con lenguaje ordinario. Somos educados con él o viene de fábrica, volvámonos chomskyanos por un momento; no importa qué, ese es el lenguaje el que tenemos, lenguaje natural. No sé con el tiempo aprendemos la matemática montado sobre ese, empezamos a ponerle nombre a las operaciones y a los números; le ponemos nombre primero luego damos las órdenes de cómo operar con ello, pasa dividiendo en ese lenguaje y luego se nos volverá a ocupar otra parte de nuestra cabeza, pero se nos volverá natural en algún sentido. No sé. Pero en un momento, cuando a uno le hace click la cabeza en algún sentido, uno a veces hasta piensa en ecuaciones sin necesidad de pasarlas a través del lenguaje. Incluso a veces hasta ni siquiera sabría cómo hacerlo, ¿no? ¿O no? Uno se encuentra en su mismo... Entonces la pregunta es si ese pasaje natural que nosotros hacemos no es en sí una función del lenguaje mismo y que estas máquinas también lo tienen, ¿no? Pero llega un punto en el que escribís las ecuaciones; pues es muy difícil hacer todo el lenguaje a eso voy, claro, claro, sí, puede ser porque hay un espacio de representación más compacto que quizás, de hecho, creo que esto es solo lo que yo creo, no sé si. Es correcto, pero creo que cuanto uno más pequeño hace un espacio de representación para un modelo dado, más lo obliga a pensar de alguna manera; porque creo que lo que hacemos cuando pensamos es exactamente eso: es tenemos que resumir la información porque…
Gastón Giribet continúa reflexionando sobre los errores cometidos por modelos de lenguaje como ChatGPT, comparándolos con errores humanos al olvidar factores o sesgos en el proceso de cálculo y la formulación de contra-prompts.
Habla: Gastón GiribetSignificado #2 · Palabras #1modelos inteligencia artificial procesos cognitivosfunciones máquinas similitud humana introspeccióngastón giribet funcionamiento inteligencia artificialchatgpt versión paga y gratuitaerrores humanos en chatgptjulio oliva evalúa chatgptmariano chernikov cálculos avanzadoserrores chatgpt sesgos contra-promptsolvido factor cálculo chatgpt…de aquí no es un bosque, sino que es una piscina Que, bueno, es fascinante Sí, sí, es fascinante que lo logren hacer y que no sepamos cómo lo está haciendo Lo más fascinante ahora mismo es que no tenemos ni idea por qué funcionan, pero funcionan de escándalo Pero no sé nada de todo esto; pero una cosa que me parece fascinante de esto es que encontramos funciones en estas máquinas que nos parecen, no entendemos bien por qué funcionan, pero que no son tan lejanas cuando hacemos una cierta introspección acerca del fin y al cabo nosotros no hacemos lo mismo, ese tipo de cosas, ¿no? A mí me pasó hace poco con un colega chileno, Julio Oliva, que me estaba visitando acá, y otro amigo, Mariano Chernikov Que decidimos jugar un poco de cuál era el poder de cálculo de ChatGPT, de cálculos bastante avanzados, no de cálculos aritméticos simples En la versión paga, en la versión no paga, y jugar un poco en encontrar sus errores Primero que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es…
Gastón Giribet aclara que los errores cometidos por modelos de lenguaje no son incompatibles con experiencias previas y compara estos errores con aquellos comunes en cálculos matemáticos humanos.
Habla: Gastón GiribetSignificado #1 · Palabras #2errores matemáticos humanos ingenuoscálculos humanos factores olvidadosgastón giribet modelos lenguaje erroresmatemática avanzada cálculos ingenuoscálculos christoffel errores humanosgeometrías no lineales teoría relatividadcargas conservadas generalizaciones relatividadmultiplicidad de permutar gastón giribet…cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los errores humanos son bastante ingenuos. Los más frecuentes son olvidarme un factor, un medio, no darme cuenta de aquel factor que no lo tuve en cuenta No dejan de ser aquellos que son errores humanos de cálculo, no dejan de ser cosas ingenuas Fijate, cuando uno calcula, hace matemática muy avanzada, cada vez más Avanzada, en topología diferencial, en geometría algebraica. Los errores que cometés cuando calculás a mano, en calcular símbolo de Christoffel, son errores que identificaría un niño y unos son esos los que cometen. Digo, lo que quiero decir con esto no es incompatible una cosa con la otra, en matemática, en particular. Pero no sé, jugando un poco con eso, incluso le dábamos a calcular cargas conservadas, cosas así, en geometrías, en teorías no lineales, en generalizaciones de teoría de relatividad, cosas así, y encontramos que hacía la parte muy difícil bien, pero cometía errores, por ejemplo, cuando contaba mal la multiplicidad de permutar cosas, que son errores que yo cometo cuando hago eso a mano. Sin embargo, creo, no vi los resultados de este experimento que te cuento, pero creo que lo que decían era: un humano podría decir que esto, un médico no lo hubiera dicho nunca. Ah, ok, eso distinto. Ingenuos, pero no humanos. Pero capaz porque es otro tipo…
Gastón Giribet reflexiona sobre la insatisfacción de no comprender cómo los modelos de lenguaje llegan a sus respuestas y sugiere que esto puede generar nuevas preguntas e intereses.
Habla: Gastón GiribetSignificado #4modelos lenguaje respuestas gastón giribetnueva pregunta interés modelos lenguajerazón modelo lenguaje pasa…a Yachipiti. Y nos da la solución. Es muy poco satisfactorio. Yo siempre digo que no me importa; que me lo digan y ya está. Pero en realidad, Gastón, ahora estoy repensando eso porque es muy poco satisfactorio que no me diga cómo supo hacerlo; como que te Lo puede decir también. Yo creo que lo que pasa es que se abre un nuevo interés: qué es qué está pasando, por qué pasa. Hay una razón por la que esto pasa, ¿no? La respuesta ingenua será, bueno, qué sé yo; a veces hay una forma más amplia de pensar, como uno se lo aplicaría a los humanos. Qué bueno estudiar muchas cosas porque te dan un parón a más amplio, no sé si es eso lo que está pasando o no. Pero yo creo que no es que no sea satisfactorio, sino que te abre una nueva pregunta; eso me parece. O sea, a mí se vuelve acuciante saber qué es. Lo que está pasando y cómo manejarlo. Porque, por ejemplo, también puede pasar que esto no sea uniformemente distribuida en el espacio de tópicos. Es decir, que capaz que para resolver un problema A está bueno agarrar una máquina que esté entrenada para…
Gastón Giribet reflexiona sobre la necesidad de mapear un espacio de tópicos para comprender las diferentes formas de pensar y operaciones lógicas que realizan los modelos de inteligencia artificial.
Habla: Gastón GiribetSignificado #13espacio de tópicos inteligencia artificialformas de pensar modelos iaoperaciones lógicas gastón giribet…una máquina que esté entrenada para resolver temas B, pero no temas C, ¿no? Por ejemplo, quiere decir que haya cierta resonancia de problemas. De hecho, en este artículo justamente muestra eso, que para algunos casos no funciona también. Ok, capaz que es eso. Hay como que mapear un espacio de tópicos ahora en los cuales, no sé, diferentes formas de pensar, diferentes operaciones lógicas que haga, no sé, es interesante. Sí, pero ingenuamente si uno sabe cómo esto funciona, uno piensa: ok, no hay ningún misterio, esto uno le da un prompt, va A un espacio de representaciones donde viven cosas y la distancia entre estas cosas en el espacio de representaciones tiene un significado semántico, ¿no? Si estás cerca de algo es porque te pareces en algo más que donde estás puesto. Entonces uno dice, ok,…