Búsqueda · 30 momentos en 17 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespomodelo lenguaje invención referenciasrevolución francesa fecha incorrectaalucinaciones modelos lenguajehector socas fecha aleatoriachatgpt 3 5 aguata informaciónalucinaciones modelos lenguaje reducidasalucinaciones en modelos de lenguajefechas incorrectas extraídas wikipediaventana de contexto y alucinacionesmodelos sin entrenamiento para decir noRevolución FrancesaHéctor SocasEl PrincipitoChat GPTGoogleCloudDeep SeekWikipediaMovimientos 37Francis VillatoroPerplexityChatGPT 3.5Physical Review Letters
Revolución Francesa fecha incorrecta
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas continúa discutiendo sobre las alucinaciones en modelos de lenguaje, ejemplificando con la invención de referencias bibliográficas y fechas incorrectas.
…que es como, que si es que agarra un poquito de acá, un poquito de acá, una mezcolanza que más o menos tiene sentido, y la lanzo de manera casi, no te digo aleatoria, porque tiene sentido, pero esto me suena un poquito, un poquito, no sé bien de lo que hablo Pues ese, bueno, eso es de lo que estamos hablando, ¿no? O sea, de una información que es falsa, yo que sé, cuando un modelo de lenguaje se inventa una referencia bibliográfica, por ejemplo, ¿no? Se inventa una fecha, le preguntas una fecha, ¿cuándo fue la Revolución Francesa? Y te dice, pues, 1826, no sé. En ese tipo de noticias, de cosas que vienen de la Wikipedia es difícil que se equivoque, pero si le preguntas cuándo nació Héctor Socas, pues lo mismo se lo inventa, dice, pues Héctor Socas tiene más o menos tantos años, pues le pongo una fecha aleatoria del año y digo tal día Es difícil que se equivoquen ahora, pero los primeros, si pensamos en ChatGPT 3.5, que ya eran muy impresionantes, pero que veías que hacían aguata, pero es verdad que con el avance de los modelos, justamente una de las cosas en las que han mejorado mucho es que se han reducido muchísimo las alucinaciones, siguen estando ahí, pero ahora es mucho menos frecuente que ocurran cosas de esas, pero los primeros esos con los que jugábamos, que eran casi de juguete, sí que incluso fechas de Wikipedia te las podía decir mal. pero es verdad que tienes razón, Francis, cuando le preguntabas algo que no estaba en su conjunto de entrenamientos cuando era más probable y sigue siendo más probable toparte con una alucinación, ¿no? Entonces, bueno. Eso antes era más probable pero el tema de la ventana de contexto, cuando estabas ocupando gran parte de la ventana de contexto empezaba a haber una mayor probabilidad de que las probabilidades no describieran bien la distribución de términos adecuados y aparecían esas alucinaciones, ¿no? Hoy en día que las ventanas de contexto son enormes, pues cuesta mucho trabajo llegar a esa región Pero que pocas veces dicen los modelos no sé, ¿verdad? Claro, pero no han sido entrenados para eso, o sea, Cuando tú lees la literatura en la que no aparece el no sé, Gastón no está constantemente rellenando su libro de las cosas que no se saben. Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo…
Significado #1 · Palabras #1
Héctor Socas continúa discutiendo sobre las alucinaciones en modelos de lenguaje, ejemplificando con la invención de referencias bibliográficas y fechas incorrectas.
Habla: Héctor SocasSignificado #1 · Palabras #1modelo lenguaje invención referenciasrevolución francesa fecha incorrectaalucinaciones modelos lenguajehector socas fecha aleatoriachatgpt 3 5 aguata informaciónalucinaciones modelos lenguaje reducidasalucinaciones en modelos de lenguajefechas incorrectas extraídas wikipediaventana de contexto y alucinacionesmodelos sin entrenamiento para decir no…que es como, que si es que agarra un poquito de acá, un poquito de acá, una mezcolanza que más o menos tiene sentido, y la lanzo de manera casi, no te digo aleatoria, porque tiene sentido, pero esto me suena un poquito, un poquito, no sé bien de lo que hablo Pues ese, bueno, eso es de lo que estamos hablando, ¿no? O sea, de una información que es falsa, yo que sé, cuando un modelo de lenguaje se inventa una referencia bibliográfica, por ejemplo, ¿no? Se inventa una fecha, le preguntas una fecha, ¿cuándo fue la Revolución Francesa? Y te dice, pues, 1826, no sé. En ese tipo de noticias, de cosas que vienen de la Wikipedia es difícil que se equivoque, pero si le preguntas cuándo nació Héctor Socas, pues lo mismo se lo inventa, dice, pues Héctor Socas tiene más o menos tantos años, pues le pongo una fecha aleatoria del año y digo tal día Es difícil que se equivoquen ahora, pero los primeros, si pensamos en ChatGPT 3.5, que ya eran muy impresionantes, pero que veías que hacían aguata, pero es verdad que con el avance de los modelos, justamente una de las cosas en las que han mejorado mucho es que se han reducido muchísimo las alucinaciones, siguen estando ahí, pero ahora es mucho menos frecuente que ocurran cosas de esas, pero los primeros esos con los que jugábamos, que eran casi de juguete, sí que incluso fechas de Wikipedia te las podía decir mal. pero es verdad que tienes razón, Francis, cuando le preguntabas algo que no estaba en su conjunto de entrenamientos cuando era más probable y sigue siendo más probable toparte con una alucinación, ¿no? Entonces, bueno. Eso antes era más probable pero el tema de la ventana de contexto, cuando estabas ocupando gran parte de la ventana de contexto empezaba a haber una mayor probabilidad de que las probabilidades no describieran bien la distribución de términos adecuados y aparecían esas alucinaciones, ¿no? Hoy en día que las ventanas de contexto son enormes, pues cuesta mucho trabajo llegar a esa región Pero que pocas veces dicen los modelos no sé, ¿verdad? Claro, pero no han sido entrenados para eso, o sea, Cuando tú lees la literatura en la que no aparece el no sé, Gastón no está constantemente rellenando su libro de las cosas que no se saben. Y no sé por qué pasa tal cosa, no lo sé; dice, usa palabras como hay especulaciones, hay hipótesis o sea, usa otro tipo…
Héctor Socas explica por qué se critica a la inteligencia artificial por generar alucinaciones, argumentando que su función principal ya la cumplen otras herramientas como Google y Wikipedia.
Habla: Héctor SocasPalabras #7google como acceso directo a datoswikipedia como conocimiento enciclopédicoalucinaciones de la inteligencia artificialrevolución francesa en google…las empresas de desarrollo de modelos en reducirlo y ahora vamos a hablar un poco de qué se hace para reducir las alucinaciones, pero antes de empezar a comentar lo del paper que vamos a tratar yo primero quiero decir un par de cosas generales. ¿Por qué nos quejamos de que la inteligencia artificial alucine? Es que ese es el comportamiento inteligente, es decir, nosotros antes teníamos máquinas que eran muy buenas en darnos datos, o sea, tenemos conocimiento enciclopédico con todos los datos, veraces, factuales y tal, tenemos compilaciones de datos; teníamos antes enciclopedias en libros, ahora las tenemos en páginas web. Y desde que hubo la revolución de los buscadores, sobre todo en la de Google, tenemos un acceso muy directo a todos esos datos. Entonces, si yo quiero saber cuándo la revolución francesa, yo lo pongo en Google, me salga la Wikipedia o cualquier cosa y yo voy y miro el dato. Yo no quiero una inteligencia artificial para que me diga datos. Eso está en las enciclopedias. Como decía un amigo mío, bueno, un amigo mío, Carlos González, que hace tiempo que no viene, dice: “Eso está en los libros”. ¿Vale? Oye, Carlos, ¿cuándo das?. Eso está en los libros, no me preguntes por eso. Cuando yo quiero, o sea, cuando tenemos la…
Héctor Socas explica la diferencia entre conocimiento enciclopédico y datos, comparando la situación con una escena del libro 'El Principito' para ilustrar lo absurdo de usar modelos de lenguaje como sustitutos de buscadores como Google.
Habla: Héctor SocasPalabras #4el principito y el reymodelos lenguaje como googlechat gpt sustituto de googlecloud deep seek modelos lenguaje…presiono. Digo: no, no, Francis, te voy a presionar. Dime una referencia bibliográfica. Pues Francis me dirá: yo qué sé, Nature Communication, número 540, página 1223, ¿vale? Y luego yo voy, miro y esa referencia es incorrecta y me quejo, digo: qué tío más. Entonces, bueno, hay que distinguir lo que es conocimiento enciclopédico de datos de lo que es inteligencia. Entonces, yo creo que lo que es absurdo, esto es como en el Principito, si yo no recuerdo mal, había una parte en la que le decía, o sea, decía que cuando el rey le pide al general que se convierta en gaviota y el general no le obedece, la culpa no es del general, la culpa es del rey, que le ha pedido algo que no puede cumplir el general. Entonces, lo que es absurdo es que nosotros tengamos algo tan alucinante como un gran modelo de lenguaje, llámese un Cloud, un Deep Seek, un Chat GPT, y le preguntemos la fecha de la revolución francesa. Es que lo estamos usando como Google, o mucha gente lo está usando como un sustituto de Google, y eso es absurdo; no es un sustituto de Google. en Google y vas a una fuente enciclopédica. Entonces, lo que se está viendo es que existe una tensión fundamental entre creatividad y precisión de las respuestas. Es normal. Si yo estoy desarrollando una máquina cuya capacidad es de inventar cosas, pues que…
Héctor Socas resume las conclusiones de un paper sobre modelos de lenguaje, indicando que es inevitable que los modelos generen un porcentaje mínimo de respuestas incorrectas, aunque se puedan minimizar.
Habla: Héctor SocasPalabras #20respuestas incorrectas en modelos lenguajemodelo base pre-entrenamiento de héctor socasporcentaje mínimo estadísticamente de respuestas…correctas, que son lo que llamamos plausibles, y eso lo dividen en dos conjuntos, los que son correctos, o sea, las afirmaciones que son correctas y afirmaciones que son incorrectas, pero todas dentro de lo plausible que produce el modelo base. Entonces llegan a la conclusión de que siempre, o sea, es inevitable que haya un cierto porcentaje; que tú puedes intentar minimizarlo, pero hay un porcentaje mínimo estadísticamente de respuestas incorrectas, plausibles, que va a producir el modelo. Entonces eso ya es un primer punto interesante; es decir, el problema no es resoluble completamente, tú puedes mejorarlo, pero no puedes evitar que el modelo base, insisto, lo que viene del pre-entrenamiento, no te produzca respuestas incorrectas y esa parte la tienen muy formalizada matemáticamente. Luego hay una segunda parte del paper que es quizás más interesante y que no tiene un desarrollo matemático ni un soporte lógico detrás, sino que es más sociotécnico; o sea, ellos discuten cómo se hacen las cosas hoy en día en el mundo de la IA e identifican…
Héctor Socas explica que los modelos de lenguaje no deben reemplazar herramientas de búsqueda como Google o Wikipedia para obtener información factual.
Habla: Héctor SocasSignificado #6 · Palabras #5google wikipedia para información factualmodelos lenguaje no sustituyen googlerevolución francesa en wikipedia…a mí me funciona bastante bien, la verdad; le digo que cuando me dé una explicación, luego mañana al final, de qué está seguro y de qué tiene dudas, y eso me parece útil. Pero bueno, en general la recomendación siempre es no usen esto como fuente de datos. O sea, un gran modelo de lenguaje no es para sustituir a Google ni a la Wikipedia. Si quieren saber en qué año fue la Revolución Francesa, búsquenlo en la Wikipedia, busquen en Google los datos que necesiten y el gran modelo de lenguaje, pónganlo, yo qué sé, a hacer poesía. Y Movimientos 37. Y Movimientos 37, exactamente. A cosas que estén más relacionadas con la inteligencia que con el conocimiento enciclopédico. Tu modelo de lenguaje trivial que responde siempre no lo sé, un bucle infinito C out no lo sé, se codifica en una línea; me ha…
Héctor Socas relata una experiencia personal sobre cómo, recientemente, se le ha preguntado por el título de su tesis doctoral en una entrevista, algo inusual ya que nadie se lo había preguntado en sus 20 años de carrera.
Habla: Francis VillatoroPalabras #11título de tesis doctoral héctor socasentrevista sobre tesis doctoral recientepaper con preguntas inesperadas…al 100 % de que no lo sé”. Mira, mira. Siempre siempre tiene que tener alta certeza, aunque se hace que no lo sabe. Está bueno eso, porque cuando no sé algo, busco la pregunta de la que sí tengo certeza. Pregunta por el título de tu tesis doctoral, que es Una de las preguntas que hacían en el paper los autores: ¿Qué curioso?, porque hace poco en una entrevista que hice me hicieron precisamente esa misma pregunta. El título de mi tesis doctoral, nunca nadie jamás me la ha preguntado en 20 años y ahora de repente en una semana me la han preguntado dos veces. Venga, me la he preguntado. No, es una de las preguntas que ponían en el paper, ponían ese ejemplo, la fecha de nacimiento de uno de los autores y el título de la tesis doctoral y decía que le preguntaba tres respuestas y las tres eran incorrectas. Pues Perplexity dice que no tiene ni idea. Pero ChatGPT me dice: sé que está relacionado con química y física y biofísica en la Universidad Complutense de Madrid trabajando en mecánica estadística y simulación computacional de líquidos, pero no sé el título. Mira, pues voy a charlar; será que se lo he…