Búsqueda · 35 momentos en 19 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespofigura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correctaLuisa AchaerandioBinksHéctor SocasGoogleJuan Carlos
Histograma probabilidad respuesta correcta
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20265 momentos
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica que no comprende completamente el significado de una figura de un artículo científico de 2023 sobre calibración de modelos, pero describe su contenido como curvas que comparan un modelo base con uno ajustado mediante post-entrenamiento.
…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante…
Significado #1 · Palabras #1
Héctor Socas explica cómo funciona el pre-entrenamiento en modelos de lenguaje, describiendo el proceso como una predicción de tokens futuros basada en una distribución de probabilidad derivada de millones de textos.
Habla: Héctor SocasPalabras #8predicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteración…idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque…
Héctor Socas explica que la conexión entre las respuestas generadas por los modelos de lenguaje y el mundo real se establece gracias al trabajo humano en la fase de post-entrenamiento.
Habla: Héctor SocasPalabras #5post entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelos…rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas explica cómo los modelos de lenguaje generan respuestas plausibles, es decir, sintácticamente correctas, dividiéndolas en afirmaciones correctas e incorrectas.
Habla: Héctor SocasPalabras #4respuestas plausibles del modelo baseafirmaciones correctas e incorrectasmodelo base genera sintaxis correctaplausibilidad en respuestas de modelos…condiciones muy generales, es inevitable que en cuanto tú te sales del volumen o el espacio, digamos el hiperespacio englobado por el conjunto de entrenamiento, en cuanto te sales de ahí, va a haber un cierto porcentaje de respuestas plausibles incorrectas. o sea, definen respuestas plausibles, son todas aquellas que da el modelo base, lo que decíamos, está entrenado para dar respuestas que son sintácticamente correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces…
Héctor Socas retoma un punto planteado por Juan Carlos sobre los modelos de lenguaje y su evaluación.
Habla: Héctor SocasPalabras #15modelo lenguaje juan carlosbenchmarks estándar de la industriarespuesta incorrecta cero puntuación…ahora han sacado un modelo nuevo, vamos a ver cómo se comporta en diferentes tareas y resulta que esos benchmarks, esas comparaciones que se hacen, se basan en ponerles una serie de tareas o de preguntas y ver si la respuesta que da es correcta o incorrecta. Y aquí es donde volvemos al dilema de Juan Carlos. Es decir, un modelo de lenguaje que responde a una pregunta, no lo sé, recibe un cero. Todos los benchmarks que se usan en el estándar de la industria; el decir que no lo sabes te da la misma puntuación que a una respuesta incorrecta, que es cero. Y aquellos que dan una respuesta correcta, pues reciben una Buena puntuación, ¿no? Eso se llama precisión; es decir, cuántas respuestas son correctas frente a cuántas son incorrectas. Entonces se comparan los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las…
Héctor Socas explica que no comprende completamente el significado de una figura de un artículo científico de 2023 sobre calibración de modelos, pero describe su contenido como curvas que comparan un modelo base con uno ajustado mediante post-entrenamiento.
Habla: Héctor SocasSignificado #1 · Palabras #1figura de artículo científico 2023modelo base pre-entrenamiento post-entrenamientocurvas de calibración modelo binkshistograma probabilidad respuesta correcta…de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de calibración con el modelo base, el pre-entrenamiento y luego ya el modelo, como decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante…