Búsqueda · 37 momentos en 26 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoexámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosaJuan CarlosHéctor SocasAdam Taumann-KalaiOpenAIGeorgia TechCharles GPTJuan Carlos GilPlexityChatGPT
Juan Carlos y respuestas múltiples
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20265 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas continúa la discusión sobre cómo los modelos de lenguaje cometen errores, comparando su comportamiento con el de estudiantes que responden a exámenes tipo test sin saber la respuesta.
…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje…
Significado #1 · Palabras #1
Héctor Socas explica una interrupción técnica durante la grabación, respondiendo a las dudas y preocupaciones expresadas por Juan Carlos sobre un mensaje que indicaba que la grabación se había detenido.
Habla: Héctor SocasSignificado #13preocupación de juan carlosgrabación detenida backupplataforma de videoconferencia héctor socas…agradable cuando vas por la acera a la que da el sol, y nada, esperamos que puede que llueva mañana o pasado, ya veremos. Pero hoy ha sido un buen día, un excelente día para la grabación del programa. Muy bien, venga, pues vamos a ir empezando. Te aclaro Tus dudas, Juan Carlos, y tu preocupación. Por eso que apareció un mensajito de que la grabación ha parado y se ha detenido. Bueno, esa es la del backup, no te preocupes. No es la primera vez que me pasa. Y es por un tema en la configuración de la plataforma de videoconferencia. Que cuando le doy a la barra espaciadora en el teclado. Activa o desactiva la grabación es una opción que es configurable; la había cambiado pero se ve que se ha vuelto a reactivar ella sola. No sé, alguna actualización o algo así y lo de la barra espaciadora, pues claro, al escribir o en este caso es el botoncito…
Héctor Socas continúa la discusión sobre cómo los modelos de lenguaje cometen errores, comparando su comportamiento con el de estudiantes que responden a exámenes tipo test sin saber la respuesta.
Habla: Héctor SocasSignificado #1 · Palabras #1exámenes tipo test estudiantesjuan carlos y respuestas múltiplesmodelos de lenguaje sin penalizaciónestudiantes marcando cualquier cosa…en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen de estos de respuesta múltiple, tienes cuatro posibilidades, ¿qué les decimos todos siempre a los estudiantes? Cuando vas a hacer el examen, si no te sabe la respuesta, bueno marca cualquier cosa, ¿vale? Que será mejor que dejarla en blanco, suponiendo que no haya penalización en... Eso es, que a veces se corrige por el número de falladas dividido por el número de respuestas menos uno y te quitan esos, ¿no? Te quitan esos puntos. Pues el mundo en el que viven los modelos de lenguaje no funciona así. Falta eso. Entonces, los modelos de lenguaje cuando no están seguros tienden a lanzar, a probar, a hacer un *guess* y entonces el artículo lo que trata es intentar investigar el fenómeno de las alucinaciones desde el punto de vista de la teoría del aprendizaje…
Héctor Socas retoma un punto planteado por Juan Carlos sobre los modelos de lenguaje y su evaluación.
Habla: Héctor SocasSignificado #6 · Palabras #3modelo lenguaje juan carlosbenchmarks estándar de la industriarespuesta incorrecta cero puntuación…ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las…
Héctor Socas retoma una conversación previa con Juan Carlos sobre el desarrollo de modelos de lenguaje y su capacidad para admitir desconocimiento.
Habla: Héctor SocasSignificado #7desarrollo modelos lenguaje charles gptconversación previa con juan carloscapacidad admitir desconocimiento charles gpt…es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT me diga: no lo sé, ¿te acuerdas de eso? Me la reconozco, sí. La respuesta está en este paper, en lo que dicen estos autores; ellos lo achacan a esto, que a mí me parece un poco quitarse responsabilidad encima. Es decir, bueno, la culpa es la sociedad; es un poco el paper siendo un poco cínico viene a decir: a ver, las…
Juan Carlos Gil propone un experimento para evaluar la capacidad de ChatGPT de generar respuestas con cierto grado de certeza, planteando una pregunta falsa sobre la fecha de cumpleaños de su perro.
Habla: Juan Carlos GilPalabras #12chatgpt y respuestas con certezaplexity detecta engaño a juan carlos…¿Estás seguro de que, como has etiquetado tú a tus opiniones, son buenas? En fin, es que es el mismo modelo. Sí, sí, sí, pero normalmente tiene sentido lo que me dice de lo que no está seguro porque son cosas que a lo mejor no están en su conocimiento o no. Podemos intentar ahora un experimentito: a preguntarle, yo qué sé, la fecha de cumpleaños de mi perro y a ver qué me dice y si me puede dar algún grado de certidumbre. Por cierto, no tengo perro. Inténtalo, inténtalo, a ver si descubre quién tiene perro. ¿Tú sí tienes perro, Juan Carlos? No, no, no, no, por si Ah, tampoco, pues te va a decir Plexity: no tienes perro, Juan Carlos, me estás engañando. Lo siento, no tengo información sobre la fecha de cumpleaños de tu perro. ¡Ah, se ha creído que tengo perro! A ver, ¿qué sabe, qué sabe?. Inocente Bueno, es una forma de decir la incertidumbre que tiene, que en este caso sería al 100% Mientras hacemos el experimento voy planteando otra pregunta Javier Benavides, si tuviéramos un agujero negro de 100 masas solares,…