Búsqueda · 32 momentos en 15 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespopredicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteraciónpre-entrenamiento como aprender a escribirmodelos multimodales con imágenes y vídeodistribución estadística de respuestastexto en modelos de lenguajemodelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referenciaHéctor SocasGoogleOpenAIJuan CarlosPhysical Review LettersLuisa AchaerandioNew York TimesFrancis Villatoro
Texto consistente con entrenamiento
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas explica la primera fase del proceso de aprendizaje de los modelos de lenguaje: generar texto consistente con el conjunto de entrenamiento, lo cual permite al modelo aprender a escribir.
…idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Significado #1 · Palabras #1
Héctor Socas explica el funcionamiento de los grandes modelos de lenguaje, simplificando el proceso en dos fases: pre-entrenamiento y post-entrenamiento.
Habla: Héctor SocasPalabras #14pre-entrenamiento de modelos lenguajehéctor socas explica grandes modelos…de formación profesional en sanitarias. ¿Qué tal, Luisa? Buenas tardes a todo el mundo, ¿qué tal? Bien, gracias por conectarte; te vimos un poco bajito, pero bueno, ahora como dentro de un ratito ya tenemos la pausa, lo podemos luego hacer el ajuste fino. Entonces, recordemos un poco cómo funcionan los grandes modelos de lenguaje. Hay básicamente dos fases; voy a simplificar mucho el proceso, pero hay básicamente dos fases. Lo que llaman el pre-entrenamiento y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento,…
Héctor Socas explica la primera fase del proceso de aprendizaje de los modelos de lenguaje: generar texto consistente con el conjunto de entrenamiento, lo cual permite al modelo aprender a escribir.
Habla: Héctor SocasSignificado #1 · Palabras #1predicción de tokens futurosdistribución de probabilidad de textosred neuronal y problemas con respuestapesos modificados por iteraciónpre-entrenamiento como aprender a escribirmodelos multimodales con imágenes y vídeodistribución estadística de respuestastexto en modelos de lenguajemodelo aprende a escribirtexto consistente con entrenamientopoesía literatura ensayo técnicoconjunto de entrenamiento como referencia…idioma, hay una conversión de ese idioma a los tokens; todo el procesamiento se hace internamente en tokens, y luego a la salida, un último paso o uno de los últimos pasos es convertir de nuevo los tokens a palabras en el idioma que nos esté hablando. Bueno, entonces el pre-entrenamiento es coger una serie de tokens anteriores y predecir cuáles son los tokens siguientes en base a una cierta distribución de probabilidad que viene de lo que pasa en todos los miles de millones de textos con los que se ha entrenado. Se le enseñan muchísimos textos, como cualquier red neuronal, se le van poniendo diferentes problemas a los que sabes la respuesta; la respuesta es la distribución de probabilidad de los textos en la literatura y si tú le das un prompt que son un montón de tokens y los siguientes tokens que te genera no se parecen estadísticamente a la distribución de probabilidad que hay en el conjunto de entrenamiento, entonces se modifican los pesos para que la siguiente iteración sí que se parezca más. Y de esta forma acabas con una distribución estadística de respuestas que es lo más parecida posible a la distribución estadística en el conjunto de entrenamiento. O sea, el pre-entrenamiento es simplemente aprender a escribir cosas; digo escribir porque estamos pensando en texto, pero esto ya también se hace en los modelos multimodales, se hace con imágenes, con vídeo, con sonido, con lo que uno quiera, ¿no? Pero vamos a pensar en texto para no liarnos mucho. El primer paso es que a partir de un prompt genere un texto que sea consistente, que se parezca a los textos con los que se ha entrenado y entonces esa es la primera parte; y eso lo que hace es que nuestro modelo aprenda a escribir, aprende a escribir, pero no sabe nada del mundo, pero te puede escribir poesía, te puede escribir literatura, te puede escribir un ensayo técnico, te puede responder preguntas de la misma forma que lo que ha visto en el conjunto de entrenamiento. Entonces, lo que sea exactamente igual que en el conjunto de entrenamiento, te podrá dar una respuesta similar a la que había en el conjunto de entrenamiento. Si tú le pones algo que sea fuera del conjunto de entrenamiento, pues tendrá que extrapolar, pero bueno, en general. ya estos sistemas tan grandes funcionan bastante bien para esas cosas, ¿no? Los veo a Juan Carlos y Francis sonriendo, no sé si están leyendo algo. Sí, en el chat. Estaba leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he…
Héctor Socas explica la fase de 'post-entrenamiento' en modelos de lenguaje, describiéndola como un proceso más complejo que requiere verificar la veracidad de las respuestas generadas.
Habla: Héctor SocasSignificado #5post entrenamiento modelos lenguajeveracidad respuestas openaioperadores humanos openai…leyendo también el chat. Estaba leyendo el chat. Debe haber algo gracioso que yo me he perdido, pero bueno. Somas dice, de hecho, cuando se le envía un prong con una idea pésima a una IA, suele contestarme, no me toquens las palmas, me conozco. Tremendo. Tenía pinta de que algo interesante había por ahí. Ese es el pre-entrenamiento. Luego hay el post-entrenamiento, que es la parte, bueno, no sé si decir más complicada, pero un poco más dura quizás porque es la que requiere decir bueno de esas cosas que está generando que suenan bien, que son plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál…
Héctor Socas explica la diferencia entre las respuestas generadas durante el pre-entrenamiento y su validez en el mundo real.
Habla: Héctor SocasSignificado #13respuestas plausibles del pre entrenamientocoche rojo compró pescado heladeríavalidez de modelos base pre entrenadospost entrenamiento modelos lenguajemillones de horas humanosrespuestas correctas modelos…cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta perfectamente válida de un modelo base pre-entrenado, porque todo es sintácticamente adecuado, todo tiene una coherencia, digamos, lógica, pero no tiene ningún sentido en el mundo real. La conexión con el mundo real está en las personas que están ahí en el post-entrenamiento dándole a cuál es la respuesta correcta. Esto es un trabajo brutal, porque estos modelos requieren millones de horas, millones de horas de humanos dándole allí a esta la respuesta correcta, esta no, esta la correcta, esta no. Aquí se mete por cierto también lo que hablamos muchas veces: el alineamiento, es decir, el decirle, oye, pórtate bien, sé educado, sé políticamente correcto, no incites a la gente al suicidio. No desnudes a la gente en las fotos aunque te lo pidan.…
Héctor Socas explica las dos fases principales del entrenamiento de modelos de lenguaje: una fase intensiva en recursos computacionales para asimilar grandes cantidades de texto y otra fase crucialmente humana, donde se conecta el modelo con el mundo real.
Habla: Héctor SocasPalabras #5asimilar corpus de miles millones textosgranja de datos computacionales intensivafase humana conecta modelo al mundomillones horas trabajo humanos…quiera evidentemente no lo hace, algunas lo hacen más y otras menos. Como bien dice Juan Carlos, algunas se toman más en serio que otras este proceso del alineamiento ético y moral de la IA. Y entonces todo esto forma parte del post-entrenamiento. Entonces es muy curioso porque ahora viéndolo así, ahora que lo estaba explicando, es muy curioso porque hay una primera parte que es como computacionalmente intensiva: que es la de asimilar todos esos corpus de miles de millones de textos de entrenamiento, no sé en qué unidades se mide y ahí es donde está la parte pesada computacionalmente, la que requiere las grandes granjas de datos y tal. Y luego hay una parte que es muy humana, que requiere millones de horas de trabajo humanos: que son los que conectan el modelo al mundo. O sea, lo que sabe una IA del mundo se lo hemos dicho los humanos. Y esto me parece muy bonito. Entonces hay una parte muy computacional que es la parte Más técnica donde aprende a hablar, aprende sintaxis, aprende toda la parte lingüística y luego hay una parte social que es donde los humanos le decimos que está bien y que está mal, que es éticamente o moralmente aceptable o no; y esa parte no es…
Luisa Achaerandio pregunta a Héctor Socas sobre la interpretación de la figura 2 en la página 8 de un paper, refiriéndose a la calibración de los modelos y cómo el sobreentrenamiento parece empeorar su confianza y alineamiento.
Habla: Luisa AchaerandioSignificado #11calibración de modelos y sobreentrenamientoalineamiento y error inevitable…fichero a un único bit dado esa secuencia de datos, le asignas el bit 1 y a cualquier otra distinta le pones un 0 seguido de la propia secuencia de datos. O sea, es óptimo para un caso, pero obviamente para los demás nos vale para absolutamente nada. De hecho, Héctor, en la página 8 del paper, la figura 2, me hace gracia que la calibración, o sea, está hablando de la calibración de los modelos, ¿no? Y te dice que con el sobreentrenamiento parece como si se empeorara de alguna manera, como que se vuelve más confiado, ¿no? Y se empeora; no es tan alineado, es decir, que el error es inevitable, ¿no? La nulicenación es inevitable, pero es como si, no sé, como si fuera peor. ¿Cómo interpretarías tú, digamos, esa parte? No entendí mucho lo que quiere representar porque realmente hace relación a un paper 2023 que no he leído. Dice que está reimprimido de ese artículo 2023 con permiso. Y lo que dice es, o sea, la figura a la que se refiere Luisa muestra esas curvas de…
Héctor Socas analiza un gráfico de un artículo científico sobre calibración de modelos, comparando el comportamiento del modelo pre-entrenamiento con uno post-entrenado.
Habla: Héctor SocasSignificado #9correlación uno a uno pre-entrenamientodistribución aplanada modelo post-entrenadovalores extremos en el plothector socas analiza calibración modelos…decía yo, anclado a la realidad después de haber pasado el post-entrenamiento. y lo que se ve es que representa en Binks, como si fuera un histograma, la probabilidad de una cierta respuesta en función de la probabilidad de lo que es la respuesta correcta. Y en el modelo pre-entrenamiento pues hay prácticamente una correlación uno a uno, es como lineal, mientras que en el modelo post-entrenado está aplanada la distribución, o sea, hay unos valores extremos al principio y al final, pero el resto está bastante aplanado y se supone que lo correcto es estos segundos. Pero ya te digo que no entendí bien el plot y bueno, como tampoco era central al... No, es que me llama la atención porque me da la sensación como si empeorase realmente una respuesta. El sobreentrenamiento es sabido que puede empeorar respuestas. Yo en su día, ahora mejora mucho, pero hace un par de años jugué té con un chat GPT a hacerle preguntas relacionadas con el famoso problema del río, del granjero, la col, el lobo y la oveja. Pero…
Francis Villatoro menciona un artículo reciente del New York Times que presenta una encuesta sobre la percepción pública de textos generados por inteligencia artificial y humanos.
Habla: Francis VillatoroPalabras #18encuesta new york times percepción iatextos generados por inteligencia artificialpreferencia pública por textos de ia…ha desviado el cable, se le ha cruzado los cables y me ha llevado a un sitio que no es el camino natural de cómo empezaba el discurso. Y ese tipo de cosas es muy difícil de detectar si no eres muy crítico. Y pasa a veces, porque ahora mismo escriben de manera Maravillosa. O sea, hay un artículo de New York Times reciente en el que, bueno, hay una encuesta; todavía está en vivo, en la que tú puedes leer una serie de textos y tienes que decir si es de IA o si es de humano y calificarlo si te gusta o no te gusta. Y resulta que en promedio, no sé, bueno, más del 60% de la gente dice que le gustan mucho más los textos de las IA. Bueno, pero tiene sentido porque tiene mucho más conocimiento de cómo escribir. Ha leído más; ha leído más, exacto. Como lo del Go, que había jugado más partidas que un humano, que un humano no, que todos los humanos juntos. Oye, una cosa: tengo pendiente con…