Búsqueda · 31 momentos en 12 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespocreatividad y precisión en modelos lenguajemáquinas inventando cosas googletensión inherente creatividad precisiónGoogleHéctor SocasOpenAIJuan Carlos GilPushmeet KohliOpen MindRevolución FrancesaPhysical Review LettersWikipediaMovimientos 37ChatGPT 3.5
Creatividad y precisión en modelos lenguaje
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20269 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica la tensión inherente entre creatividad y precisión en los modelos de lenguaje, argumentando que es natural que estos generen información incorrecta si se les pide ser creativos.
…de lenguaje, llámese un Cloud, un Deep Seek, un Chat GPT, y le preguntemos la fecha de la revolución francesa. Es que lo estamos usando como Google, o mucha gente lo está usando como un sustituto de Google, y eso es absurdo; no es un sustituto de Google. en Google y vas a una fuente enciclopédica. Entonces, lo que se está viendo es que existe una tensión fundamental entre creatividad y precisión de las respuestas. Es normal. Si yo estoy desarrollando una máquina cuya capacidad es de inventar cosas, pues que no me queje luego si algunas de las respuestas tienen cosas inventadas, porque eso es lo que le estoy pidiendo, que tenga esa creatividad. Y entre los mismos humanos pues también ya digo que a veces uno está muy convencido de recordar algo, yo estoy seguro de que ayer yo puse las gafas en este estuche y resulta que cuando voy a mirar las gafas no están en el estuche, yo estoy segurísimo, eso nos…
Significado #1 · Palabras #1
Héctor Socas introduce una crítica general a la forma en que se perciben las 'alucinaciones' en los modelos de lenguaje de inteligencia artificial.
Habla: Héctor SocasSignificado #7alucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidad…gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos…
Héctor Socas continúa discutiendo sobre las alucinaciones en modelos de lenguaje, ejemplificando con la invención de referencias bibliográficas y fechas incorrectas.
Habla: Héctor SocasSignificado #9modelo lenguaje invención referenciasrevolución francesa fecha incorrectaalucinaciones modelos lenguajehector socas fecha aleatoriachatgpt 3 5 aguata informaciónalucinaciones modelos lenguaje reducidas…que es como, que si es que agarra un poquito de acá, un poquito de acá, una mezcolanza que más o menos tiene sentido, y la lanzo de manera casi, no te digo aleatoria, porque tiene sentido, pero esto me suena un poquito, un poquito, no sé bien de lo que hablo Pues ese, bueno, eso es de lo que estamos hablando, ¿no? O sea, de una información que es falsa, yo que sé, cuando un modelo de lenguaje se inventa una referencia bibliográfica, por ejemplo, ¿no? Se inventa una fecha, le preguntas una fecha, ¿cuándo fue la Revolución Francesa? Y te dice, pues, 1826, no sé. En ese tipo de noticias, de cosas que vienen de la Wikipedia es difícil que se equivoque, pero si le preguntas cuándo nació Héctor Socas, pues lo mismo se lo inventa, dice, pues Héctor Socas tiene más o menos tantos años, pues le pongo una fecha aleatoria del año y digo tal día Es difícil que se equivoquen ahora, pero los primeros, si pensamos en ChatGPT 3.5, que ya eran muy impresionantes, pero que veías que hacían aguata, pero es verdad que con el avance de los modelos, justamente una de las cosas en las que han mejorado mucho es que se han reducido muchísimo las alucinaciones, siguen estando ahí, pero ahora es mucho menos frecuente que ocurran cosas de esas, pero los primeros esos con los que jugábamos, que eran casi de juguete, sí que incluso fechas de Wikipedia te las podía decir mal. pero es verdad que tienes razón, Francis, cuando le preguntabas algo que no estaba en su conjunto de entrenamientos cuando era más probable y sigue siendo más probable toparte con una…
Héctor Socas explica la tensión inherente entre creatividad y precisión en los modelos de lenguaje, argumentando que es natural que estos generen información incorrecta si se les pide ser creativos.
Habla: Héctor SocasSignificado #1 · Palabras #1creatividad y precisión en modelos lenguajemáquinas inventando cosas googletensión inherente creatividad precisión…de lenguaje, llámese un Cloud, un Deep Seek, un Chat GPT, y le preguntemos la fecha de la revolución francesa. Es que lo estamos usando como Google, o mucha gente lo está usando como un sustituto de Google, y eso es absurdo; no es un sustituto de Google. en Google y vas a una fuente enciclopédica. Entonces, lo que se está viendo es que existe una tensión fundamental entre creatividad y precisión de las respuestas. Es normal. Si yo estoy desarrollando una máquina cuya capacidad es de inventar cosas, pues que no me queje luego si algunas de las respuestas tienen cosas inventadas, porque eso es lo que le estoy pidiendo, que tenga esa creatividad. Y entre los mismos humanos pues también ya digo que a veces uno está muy convencido de recordar algo, yo estoy seguro de que ayer yo puse las gafas en este estuche y resulta que cuando voy a mirar las gafas no están en el estuche, yo estoy segurísimo, eso nos…
Juan Carlos Gil continúa la conversación sobre los modelos de lenguaje de Open Mind, conectando la creatividad en estos modelos con las alucinaciones que pueden generar.
Habla: Juan Carlos GilSignificado #3 · Palabras #5creatividad modelos lenguaje open mindalucinaciones en modelos open mindhipótesis poco convencionales cienciavalidación rigurosa combinaciones improbables…pero es que viene muy bien Pushmeet Kohli nos dijo que en sus aplicaciones de ciencia, de los modelos de Open Mind, que es a lo que él se dedica busca algo parecido a un movimiento 37 en el ámbito de la ciencia, un movimiento especial que es algo inesperado, Que al principio puede incluso parecer erróneo, pero que revela algo nuevo del problema. Y en ese sentido decía que, ya no en nuestra entrevista que fue compacta, le he oído decir que en cierto sentido esa creatividad con 27 comillas podría estar asociada a las alucinaciones; es decir, la capacidad de explorar combinaciones improbables, extrañas, hipótesis poco convencionales que luego, tras una validación rigurosa, pueden ser útiles para la ciencia. Así que eso, empezabas estos comentarios diciendo que no tiene por qué ser malo del todo la desviación del modelo de nuestro conocimiento adquirido. Pues sí, estoy de acuerdo, y él también. Sí. Sí, sí, pues mira, efectivamente yo ponía el ejemplo de David Baker, un uso productivo en ciencia de las alucinaciones, y aquí también, ¿no? Y seguro que, hombre, pues nuestro ámbito es el científico, pero seguro que en temas de arte y que sean más…
Héctor Socas discute las conclusiones de un paper sobre modelos de lenguaje y alucinaciones, explicando que incluso un modelo perfecto sería inútil.
Habla: Héctor SocasSignificado #12modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectasrespuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelos…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces…
Héctor Socas explica cómo los modelos de lenguaje son evaluados utilizando 'benchmarks' estándar de la industria, y señala un problema relacionado con la precisión en estas evaluaciones.
Habla: Héctor SocasSignificado #2 · Palabras #4precisión de modelos lenguajebenchmarks estándar industriasesgo en evaluaciones openaimétricas de benchmarks…pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu…
Héctor Socas argumenta que los 'benchmarks' utilizados para evaluar modelos de lenguaje se centran únicamente en la precisión de las respuestas, ignorando el razonamiento detrás de ellas.
Habla: Héctor SocasPalabras #8precisión de respuestas en benchmarksrazonamiento detrás de modelos lenguajeciencia exige explicar el mecanismo…cínico viene a decir: a ver, las alucinaciones tienen dos problemas. Uno es que las redes neuronales son así, no se puede hacer nada, y el otro es que la sociedad, como la canción, yo soy rebelde porque el mundo me ha hecho así; pues la culpa es del mundo. Y a mí me parece que tiene sentido, aparte de lo que podamos pensar de que sea algo propagandístico o algo un poco de... Pero a mí me parece que tiene sentido, porque efectivamente yo los benchmarks siempre he visto que se evalúa la precisión: ¿ha dado la respuesta correcta o no? Y esto está mal incluso en la vida cotidiana; o sea, en ciencia siempre decimos: no solo es importante acertar, sino por qué acierta, o sea, cuál es el mecanismo por el cual has llegado a esa respuesta, ¿no? Acertar por casualidad no sirve, y es lo que decimos. siempre, es el mecanismo de los charlatanes, yo empiezo a decir muchas cosas, algunas acierto por casualidad y esas se quedan, ¿no? las otras se olvidan y seguro, no he seguido la historia, pero el chico este de las cabañuelas que están tan indignados los de…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasPalabras #13google wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipedia…a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha…
Héctor Socas insta a la sociedad a evitar juzgar los modelos de lenguaje con criterios incorrectos, enfatizando la importancia de la modestia en su empresa.
Habla: Héctor SocasSignificado #5modelos de lenguaje con criterios equivocadospenalización de la modestia en modelosmodestia cualidad fundamental de la empresa…o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las cualidades fundamentales de nuestra empresa. Madre mía. Bueno, más preguntas. Como un oxímoron, ¿no? La modestia es lo que más destacamos de nuestra empresa. Estamos orgullosos de nuestra humildad. Fíjate que modesto soy, ¿eh? Soy el más modesto que soy súper modesto. Eso decía Le Luthier, ¿no? Sentirás te…