Búsqueda · 28 momentos en 10 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespoalineamiento modelos lenguajecomportamiento ético sistemas iacontenido dañino modelos lenguajealineamiento opcional empresasproceso alineamiento ético juan carlosasimilar corpus de miles millones textosgranja de datos computacionales intensivafase humana conecta modelo al mundomillones horas trabajo humanosJuan CarlosHéctor SocasPhysical Review LettersOpenAILuisa AchaerandioGoogleWikipediaRevolución FrancesaMovimientos 37
Alineamiento modelos lenguaje ia
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica el concepto de 'alineamiento' en modelos de lenguaje, refiriéndose a la necesidad de instruir a los sistemas para que se comporten de manera ética y eviten generar contenido dañino.
…ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan. Exactamente, entonces bueno, claro, se introduce el alineamiento opcionalmente: la empresa que quiera hacerlo lo hace, la que no quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué unidades se mide y ahí es donde está la parte pesada computacionalmente, la que requiere las grandes granjas de datos y tal. Y luego hay una parte que es muy humana, que requiere millones de horas de trabajo humanos: que son los que conectan el modelo al mundo. O sea, lo que sabe una IA del mundo se lo hemos dicho los humanos. Y esto me parece muy bonito. Entonces hay una parte muy computacional que es la parte Más técnica donde aprende a hablar, aprende sintaxis, aprende toda la parte lingüística y luego hay una parte social que es donde los humanos le decimos que está bien y que está mal, que es éticamente o moralmente aceptable o no; y esa parte no es…
Significado #1 · Palabras #1
Héctor Socas explica el concepto de 'alineamiento' en modelos de lenguaje, refiriéndose a la necesidad de instruir a los sistemas para que se comporten de manera ética y eviten generar contenido dañino.
Habla: Héctor SocasSignificado #1 · Palabras #1alineamiento modelos lenguajecomportamiento ético sistemas iacontenido dañino modelos lenguajealineamiento opcional empresasproceso alineamiento ético juan carlosasimilar corpus de miles millones textosgranja de datos computacionales intensivafase humana conecta modelo al mundomillones horas trabajo humanos…ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan. Exactamente, entonces bueno, claro, se introduce el alineamiento opcionalmente: la empresa que quiera hacerlo lo hace, la que no quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué unidades se mide y ahí es donde está la parte pesada computacionalmente, la que requiere las grandes granjas de datos y tal. Y luego hay una parte que es muy humana, que requiere millones de horas de trabajo humanos: que son los que conectan el modelo al mundo. O sea, lo que sabe una IA del mundo se lo hemos dicho los humanos. Y esto me parece muy bonito. Entonces hay una parte muy computacional que es la parte Más técnica donde aprende a hablar, aprende sintaxis, aprende toda la parte lingüística y luego hay una parte social que es donde los humanos le decimos que está bien y que está mal, que es éticamente o moralmente aceptable o no; y esa parte no es…
Héctor Socas comenta sobre una tendencia reciente en el entrenamiento de modelos de lenguaje: reemplazar a los humanos en la fase de validación y corrección con inteligencia artificial.
Habla: Héctor SocasPalabras #13entrenamiento modelos lenguaje iareemplazo humanos validación iacírculo vicioso generación problemaanclaje al mundo real…mundo, donde hay humanos, muchos, y son lamentablemente más baratas sus condiciones laborales; bueno, no sé, retiro esto porque no tengo ni idea, estoy haciendo como los modelos de lenguaje un guess, suponiendo sin saber, puede ser una alucinación esto. De hecho, hay ahora una tendencia de esa segunda fase de decirle que es correcto y que no, hacerlo también con IA, o sea, ir reemplazando humanos con IA, lo cual puede ayudar, pero claro, hay algo ahí de círculo vicioso, de generación del problema en el sentido de que puedes acabar perdiendo el anclaje al mundo real. Es posible que puedas reemplazar una parte importante de esas horas de trabajo humanas, pero de alguna forma tienes que mantener ese anclaje porque si no acabas con un círculo que se retroalimenta, que se podría desanclar totalmente de la realidad, ¿no? Quizás eso es lo que pasa con Grok, Juan Carlos; no sé. No, no, Grok tuvo instrucciones precisas de Elon Musk; de humanos. Sí, bueno, o de semi-humano, me estoy pasando. Sí, se nos está yendo un poco la pinza aquí; yo creo que debemos hacer la pausa ahora.…
Héctor Socas discute las conclusiones de un paper sobre modelos de lenguaje y alucinaciones, explicando que incluso un modelo perfecto sería inútil.
Habla: Héctor SocasSignificado #19modelo lenguaje sin alucinacioneshiperespacio conjunto entrenamientorespuestas plausibles incorrectas…que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya datos incorrectos en el conjunto de datos de entrenamiento, perdón, eso ya. Son cosas que se sobreentiende que van a pasar. Digamos como lo mínimo a lo que se puede aspirar. Ellos llegan a la conclusión de que se puede hacer un modelo de lenguaje que no se equivoque nunca, que no tenga ninguna alucinación. Dice: sí, uno que siempre responda, no lo sé. Ese modelo trivial nunca va a producir alucinaciones, pero evidentemente eso es inútil, no me sirve para nada. Entonces, un modelo que no sea trivial, ellos llegan a la conclusión de que bajo ciertas condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son…
Héctor Socas explica cómo los modelos de lenguaje son evaluados utilizando 'benchmarks' estándar de la industria, y señala un problema relacionado con la precisión en estas evaluaciones.
Habla: Héctor SocasSignificado #15precisión de modelos lenguajebenchmarks estándar industriasesgo en evaluaciones openaimétricas de benchmarks…pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu…
Héctor Socas continúa la discusión sobre los modelos de lenguaje, explicando cómo las métricas utilizadas para evaluar su rendimiento llevan a una penalización en la capacidad de admitir desconocimiento.
Habla: Héctor SocasSignificado #12modelos de lenguaje penalizan desconocimientométricas evalúan rendimiento modelos lenguajealucinación limita modelos lenguaje…con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con menos alucinación vale entonces me sorprendió mucho que Hayamos tenido esta conversación, Juan Carlos, no sé hace un par de meses o puede que un poquito más; que tú decía, creo que tus palabras más o menos te voy a parafrasear un poco, es decir, yo me creeré que hemos dado un salto significativo cuando Charles GPT…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasPalabras #20google wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipedia…a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha…
Luisa Achaerandio pregunta a Héctor Socas sobre la interpretación de la figura 2 en la página 8 de un paper, refiriéndose a la calibración de los modelos y cómo el sobreentrenamiento parece empeorar su confianza y alineamiento.
Habla: Luisa AchaerandioPalabras #19calibración de modelos y sobreentrenamientoalineamiento y error inevitable…fichero a un único bit dado esa secuencia de datos, le asignas el bit 1 y a cualquier otra distinta le pones un 0 seguido de la propia secuencia de datos. O sea, es óptimo para un caso, pero obviamente para los demás nos vale para absolutamente nada. De hecho, Héctor, en la página 8 del paper, la figura 2, me hace gracia que la calibración, o sea, está hablando de la calibración de los modelos, ¿no? Y te dice que con el sobreentrenamiento parece como si se empeorara de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de…
Héctor Socas insta a la sociedad a evitar juzgar los modelos de lenguaje con criterios incorrectos, enfatizando la importancia de la modestia en su empresa.
Habla: Héctor SocasSignificado #13modelos de lenguaje con criterios equivocadospenalización de la modestia en modelosmodestia cualidad fundamental de la empresa…o sea, hay que estar dispuesto a tolerar un cierto grado de equivocación, evidentemente se intenta que sea lo mínimo posible, pero nunca se puede hacer cero, es la conclusión a la que llegan y creo que ese es el punto fundamental que intentan transmitir. Bueno, eso e insistirle a la sociedad que por favor deje de examinar a los modelos de lenguaje con criterios equivocados en los que se penaliza la modestia. Por cierto, dicen, no, porque la modestia y tal, y ponen entre paréntesis, que es una de las cualidades fundamentales de nuestra empresa. Madre mía. Bueno, más preguntas. Como un oxímoron, ¿no? La modestia es lo que más destacamos de nuestra empresa. Estamos orgullosos de nuestra humildad. Fíjate que modesto soy, ¿eh? Soy el más modesto que soy súper modesto. Eso decía Le Luthier, ¿no? Sentirás te…