Búsqueda · 33 momentos en 18 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmixture of experts optimización costessubmodelos respuesta preguntas sesgodistribuidor modelos adecuados comportamientomodelo único versus mezcla expertosMixture of ExpertsFrancis VillatoroGastón GiribetChatGPTWolframCeciliaBorjaGabriel OsorioLLMmodelos de IACecilia GarraffoEstados Unidos
Submodelos respuesta preguntas sesgo
Con
0:000:301:001:302:002:303:003:16
Francis Villatoro explica un problema inherente a los nuevos modelos de lenguaje basados en la técnica 'Mixture of Experts', donde el modelo se divide en submodelos para optimizar costes computacionales.
…en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios distribuidores que deciden qué modelos son los más adecuados para responder a tu pregunta y eso puede sesgar mucho de este tipo de comportamiento que se observan cuando el modelo grande es puro y único, si es esta mezcla de expertos no tiene por qué cumplirse ese comportamiento, supongo, no sé Sí, la mezcla de expertos resulta como un modelo en general más robusto que los que tienen solamente un modelo, pero se usa más con modelos más chicos, ¿no? Porque tienes que correrlo muchas veces, es más caro, pero es más robusto porque tenés como una respuesta aún más probabilística de alguna manera; tenés distintas respuestas y siempre elegís el que mejor funciona, pero claro, entonces uno diría, de hecho, uno…
Significado #1 · Palabras #1
Cecilia Garraffo reflexiona sobre un fenómeno emergente en inteligencia artificial donde un modelo especializado supera a uno generalista, sugiriendo una complejidad aún no comprendida.
Habla: Cecilia GarraffoSignificado #16modelo especializado supera modelo generalistafenómeno emergente inteligencia artificialpatrones de otro tipo en modelostamaño del modelo y complejidad…de entrenar, digamos, uno podría usar algo así. Más aún, podés tomar un modelo, hacerlo como se llama un fine tuning para algo, especializarlo en una tarea y después tomar un modelo más grande que no sabe nada del tema y va a funcionar mejor en la tarea esa. Que el modelo que funciona bien, pero lo especializaste. Es difícil explicar porque es como que gana más información de patrones de otro tipo. No lo entendemos bien. Es un fenómeno emergente quizá del tamaño. Sí, exacto, es como casi que asusta pensando en inteligencia general o el pensamiento o como a uno lo ayudas a ver música para poder pensar. No sé, es como que estos modelos estamos viendo recién ahora este fenómeno. Bueno, este paper que les quería contar. Cuanto más lo leo, menos me parece sorprendente en este mismo contexto, pero la idea acá es: dicen, ok, probamos. O sea, el problema es que los datos de teledetección satelital son complicados y si hacemos modelos, y hay modelos hechos específicamente para…
Cecilia Garraffo comenta la evolución de los modelos de lenguaje, contrastando su capacidad para responder preguntas complejas con la persistencia de errores básicos.
Habla: Cecilia GarraffoSignificado #18modelos lenguaje errores naifrazonamiento modelos lenguaje cecilia garraffocomprensión modelos lenguaje…¿Cuándo hicieron esto, Gastón? Diciembre. Es interesante porque hace un año más o menos hicieron el experimento de ver si el chachi pití de ese momento, el más avanzado de ese momento, pasaba el examen habilitante para ser médico en Estados Unidos, y lo pasó. Pero sin embargo lo que sorprendía era casi lo opuesto, que cometía errores muy naif. Ya podía contestar cosas muy complicadas, pero cometía errores muy naif. Pero cambiaron mucho los modelos de ese momento, y yo me doy cuenta por interactuar con ellos también; o sea, el nivel de, no sé, de comprensión de alguna manera, cambió muchísimo, de razonamiento, ¿no? No veo que sea incompatible con lo que nosotros veíamos primero, porque nosotros lo vimos estando los tres un poco borrachos y jugando con él, ¿no? Eso es verdad, pero no me refiero a eso. Si no me refiero a que los errores en matemática, fíjate que los…
Gastón Giribet reflexiona sobre la insatisfacción de no comprender cómo los modelos de lenguaje llegan a sus respuestas y sugiere que esto puede generar nuevas preguntas e intereses.
Habla: Gastón GiribetSignificado #4modelos lenguaje respuestas gastón giribetnueva pregunta interés modelos lenguajerazón modelo lenguaje pasa…a Yachipiti. Y nos da la solución. Es muy poco satisfactorio. Yo siempre digo que no me importa; que me lo digan y ya está. Pero en realidad, Gastón, ahora estoy repensando eso porque es muy poco satisfactorio que no me diga cómo supo hacerlo; como que te Lo puede decir también. Yo creo que lo que pasa es que se abre un nuevo interés: qué es qué está pasando, por qué pasa. Hay una razón por la que esto pasa, ¿no? La respuesta ingenua será, bueno, qué sé yo; a veces hay una forma más amplia de pensar, como uno se lo aplicaría a los humanos. Qué bueno estudiar muchas cosas porque te dan un parón a más amplio, no sé si es eso lo que está pasando o no. Pero yo creo que no es que no sea satisfactorio, sino que te abre una nueva pregunta; eso me parece. O sea, a mí se vuelve acuciante saber qué es. Lo que está pasando y cómo manejarlo. Porque, por ejemplo, también puede pasar que esto no sea uniformemente distribuida en el espacio de tópicos. Es decir, que capaz que para resolver un problema A está bueno agarrar una máquina que esté entrenada para…
Francis Villatoro explica un problema inherente a los nuevos modelos de lenguaje basados en la técnica 'Mixture of Experts', donde el modelo se divide en submodelos para optimizar costes computacionales.
Habla: Francis VillatoroSignificado #1 · Palabras #1mixture of experts optimización costessubmodelos respuesta preguntas sesgodistribuidor modelos adecuados comportamientomodelo único versus mezcla expertos…en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios distribuidores que deciden qué modelos son los más adecuados para responder a tu pregunta y eso puede sesgar mucho de este tipo de comportamiento que se observan cuando el modelo grande es puro y único, si es esta mezcla de expertos no tiene por qué cumplirse ese comportamiento, supongo, no sé Sí, la mezcla de expertos resulta como un modelo en general más robusto que los que tienen solamente un modelo, pero se usa más con modelos más chicos, ¿no? Porque tienes que correrlo muchas veces, es más caro, pero es más robusto porque tenés como una respuesta aún más probabilística de alguna manera; tenés distintas respuestas y siempre elegís el que mejor funciona, pero claro, entonces uno diría, de hecho, uno…
Francis Villatoro introduce una serie de preguntas recibidas, algunas relacionadas con inteligencia artificial (IA) y modelos de lenguaje grandes (LLM). Menciona que idealmente Cecilia respondería a estas preguntas, pero se disculpa porque no hay preguntas dirigidas a Borja.
Habla: Francis VillatoroSignificado #15preguntas de ia de gabriel osoriopermeabilidad permitividad teorías del étercecililia responde preguntas de ia…combinación lineal incluso de las funciones de onda suponen un grado de entrelazamiento, ya puede haber coeficientes de cualquier tipo, siempre que estén normalizados, coeficientes que a su vez pueden ser complejos, más gracioso todavía. Sí, exactamente. Bueno, otra pregunta; a ver, por aquí hay muchas preguntas, algunas son de IA, no sé si podremos intentar, por ejemplo, claro, lo ideal hubiera sido que las contestara Cecilia, ¿no? Estas de IA, de LLM Gabriel Osorio pregunta: esto puede que... Borja no parece que haya preguntas dirigidas a ti, ¿vale? Te pido perdón. Gabriel Osorio pregunta: explican que la permeabilidad y permitividad del vacío son herencia de las teorías del éter. ¿Cómo se reemplazaron y cómo se explican ahora? Explican como diciendo que ha escuchado algo en internet o que alguien le ha dicho que la permeabilidad y permeatividad del vacío son herencia de las teorías del éter. ¿Cómo se reemplazan esos conceptos ahora…