Búsqueda · 22 momentos en 8 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalineamiento modelos lenguajecomportamiento ético sistemas iacontenido dañino modelos lenguajealineamiento opcional empresasproceso alineamiento ético juan carlosJuan CarlosHéctor SocasGoogleWikipediaRevolución FrancesaMovimientos 37OpenAIPhysical Review Letters
Alineación modelo lenguaje datos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el concepto de 'alineamiento' en modelos de lenguaje, refiriéndose a la necesidad de instruir a los sistemas para que se comporten de manera ética y eviten generar contenido dañino.
…ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan. Exactamente, entonces bueno, claro, se introduce el alineamiento opcionalmente: la empresa que quiera hacerlo lo hace, la que no quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué…
Significado #1 · Palabras #7
Héctor Socas introduce una crítica general a la forma en que se perciben las 'alucinaciones' en los modelos de lenguaje de inteligencia artificial.
Habla: Héctor SocasPalabras #15alucinaciones en modelos de lenguajemodelos de lenguaje generan datos incorrectosinteligencia artificial y plausibilidad…gran industria del siglo XXI y está todo ahí un poco cogido con pinzas porque está la sombra de la amenaza de las alucinaciones que puede hacer que todo el castillo se caiga abajo, ¿no? Entonces, a ver, yo quizás me gustaría empezar antes de hablar del paper Que vamos a comentar, haciendo una observación que no sé si es una obviedad o una provocación, según para quién, pero yo creo que estamos criticando en general socialmente a los modelos de lenguaje por hacer exactamente lo que tienen que hacer. Cuando hablamos de alucinaciones en inteligencia artificial, estamos hablando de esos momentos en los que un modelo genera algo que suena plausible, que suena como algo que podría pasar, pero que no es verdadero, que no ha ocurrido realmente o que no es un dato correcto. O sea, No es como la alucinación en el sentido de neurociencia de que ves algo totalmente fuera de la realidad: ves un dragón rosado en tu casa. Es el concepto de alucinación digamos coloquial, pero aquí en esta jerga técnica se habla de lo que Ignacio Crespo nos…
Héctor Socas explica el concepto de 'alineamiento' en modelos de lenguaje, refiriéndose a la necesidad de instruir a los sistemas para que se comporten de manera ética y eviten generar contenido dañino.
Habla: Héctor SocasSignificado #1 · Palabras #7alineamiento modelos lenguajecomportamiento ético sistemas iacontenido dañino modelos lenguajealineamiento opcional empresasproceso alineamiento ético juan carlos…ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan. Exactamente, entonces bueno, claro, se introduce el alineamiento opcionalmente: la empresa que quiera hacerlo lo hace, la que no quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué…
Héctor Socas discute las conclusiones de un paper sobre modelos de lenguaje y alucinaciones, explicando que incluso un modelo perfecto sería inútil.
Habla: Héctor SocasSignificado #16modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas explica cómo los modelos de lenguaje son evaluados utilizando 'benchmarks' estándar de la industria, y señala un problema relacionado con la precisión en estas evaluaciones.
Habla: Héctor SocasSignificado #15precisión de modelos lenguajebenchmarks estándar industriasesgo en evaluaciones openaimétricas de benchmarks…pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasSignificado #20modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasPalabras #8instrucciones personalizadas héctor socascerteza y dudas modelos lenguajegoogle wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipediamodelo lenguaje bucle infinito c outalgoritmos compresión secuencia datosteoría compresión algoritmo óptimo bit…cuando aciertan alguna, pues eso queda ahí como algo importante. Y el problema es que aquí pasa un poco eso también; o sea, la respuesta es incorrecta. Es importante no solo que la respuesta sea correcta, sino por qué, que no vale que has dicho algo al azar. Y entonces están incentivados los grandes modelos de lenguaje, todos, a evitar decir “no lo sé”. Yo te comentaba ese día, Juan Carlos, que yo tengo puesto en las instrucciones personalizadas: a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha recordado una de mis relaciones extrañas. Cuando se hace teoría de compresión se puede hacer un algoritmo óptimo para comprimir que reduzca cualquier secuencia de datos, cualquier fichero a un único bit dado esa secuencia de datos, le asignas el bit 1 y a cualquier otra distinta le pones un 0 seguido de la propia secuencia de datos. O sea, es óptimo para un caso, pero obviamente para los demás nos vale para absolutamente nada. De hecho, Héctor, en la página 8 del paper, la figura 2, me hace gracia que la calibración, o sea, está hablando de la calibración de los modelos, ¿no? Y te dice que con el sobreentrenamiento parece como si se empeorara de alguna manera, como que se vuelve…