Búsqueda · 39 momentos en 30 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarmixture of experts optimización costessubmodelos respuesta preguntas sesgodistribuidor modelos adecuados comportamientomodelo único versus mezcla expertosmodelos lenguaje mixture expertsagentes especializados preguntasexpertos en todo ventajas desventajasMixture of ExpertsFrancis VillatoroCecilia GarraffoProceedings of the National Academy of SciencesPNAS16 de octubreJuan Carlos GilJuan CarlosShapes of Ideal StalagmitesKumrun BaffaHarvardWittenMaldacenaStromingerPolchinsky
Mixture of Experts
Con
0:000:301:001:302:002:303:003:16
Francis Villatoro explica un problema inherente a los nuevos modelos de lenguaje basados en la técnica 'Mixture of Experts', donde el modelo se divide en submodelos para optimizar costes computacionales.
…en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios distribuidores que deciden qué modelos son los más adecuados para responder a tu pregunta y eso puede sesgar mucho de este tipo de comportamiento que se observan cuando el modelo grande es puro y único, si es esta mezcla de expertos no tiene por qué cumplirse ese comportamiento, supongo, no sé Sí, la mezcla de expertos resulta como un modelo en general más robusto que los que tienen solamente un modelo, pero se usa más con modelos más chicos, ¿no? Porque tienes que correrlo muchas veces, es más caro, pero es más robusto porque tenés como una respuesta aún más probabilística de alguna manera; tenés distintas respuestas y siempre elegís el que mejor funciona, pero claro, entonces uno diría, de hecho, uno diría: bueno, se parece un poco a los agentes tengamos expertos en distintas cosas y bueno, vamos a poder contestar todas las preguntas, pero me parece que estamos viendo esto, que no, que es mejor tener un experto en todos en todo que muchos expertos en distintas cosas. Sí, sí, sí, curioso. Es curioso, sí; es como que no sé. Bueno, Cecilia, no te quiero robar mucho más tiempo, tenías una tarea que cumplir, ¿no? Sí, sí, sí, sí, sí, me voy a tener que ir, pero me encantaría, sí, me encantaría volver y seguir charlando. Claro, seguimos hablando;…
Significado #1
Francis Villatoro introduce el artículo que va a presentar Juan Carlos, titulado 'Shapes of Ideal Stalagmites', que trata sobre la forma de las estalagmitas y estalactitas.
Habla: Francis VillatoroPalabras #20formas de las estalagmitas idealartículo shapes of ideal stalagmitesestalactitas y estalagmitas formas…mis colegas, y que entiendo que hay cosas que hacen daño, pero hay otras que también tienen un punto cuando dice que la gente es muy conservadora en ciencia. Sí, cierto. Juan Carlos, ¿tú quieres opinar algo o pasamos directamente a tu tema? Bastante lo he ya. Bueno, pues vamos a pasar al artículo que nos va a contar Juan Carlos, que se titula Shapes of Ideal Stalagmites, algo así, formas: la forma o las formas de la estalagmita ideal. El artículo discute tanto estalagmitas como estalactitas; la forma aplica en ambos casos y muchos de los ejemplos en realidad son estalactitas. Bueno, se centra en estas lagmitas, ahora os lo cuento. Primero quería, dime: y no, digo que es un artículo en Pinas y que se publicó muy recientemente. Los autores, el autor principal es Piotr Smizap, que como es polaco yo no sé pronunciarlo, y está también Anthony Ladd y Matej Lipar y Dean Pekarovic; y bueno, es…
Gastón Giribet menciona a Kumrun Baffa, un reconocido experto en teoría de cuerdas que es profesor en Harvard, situándolo junto a figuras destacadas como Witten y Maldacena.
Habla: Gastón GiribetSignificado #20kumrun baffa experto teoría cuerdasteoría de cuerdas witten maldacenastrominger polchinsky expertos teoría cuerdas…y cima semiesférica, como si fuese la mitad de un esferocilindro. Bueno, pues, la que todos pensamos cuando pensamos en una estalagmita; como una cápsula de medicamento, de las que tienen dentro la mitad de eso. Una nota al pie: esto tiene mucho que ver con La teoría de cuerdas va a parecer un chiste, pero no. Hace unos años, Kumrun Baffa, que es un reconocidísimo experto en teoría de cuerdas, profesor de Harvard. Baffa es uno de los grandes teóricos de la teoría de cuerdas, junto a Witten, Maldacena y muchos otros. Strominger, Polchinsky y otros, Baffa está en ese podio digamos. Baffa estudiaba algo que se llamaba Mirror Symmetry, que es simetría espejo, que es una simetría que luego se puede generalizar pero que está relacionado con los espacios calabillados. Los espacios calabillados en particular pueden estar en 6 dimensiones y…
Juan Carlos Gil introduce un artículo científico sobre la forma de las estalagmitas ideales, haciendo referencia a una conversación previa con Francis Villatoro.
Habla: Juan Carlos GilPalabras #11artículo forma estalagmitas idealesfrancis villatoro proceedings national academy sciencespnás artículo estalactita ideal…hay estalagmitas que parecen que las han cortado perfectamente la parte de arriba y tiene una sección plana circular perfecta o incluso hay otras cónicas que sí que recuerdan bastante a las estalactitas y eso no se había encontrado según el modelo numérico. Bueno, pues es en este contexto en el que aparece el artículo titulado La forma de las estalagmitas ideales, que decía Francis, publicado hace nada el 16 de octubre en los Proceedings of the National Academy of Sciences, el PNAS. Los autores, también me voy a atrever a intentar pronunciarlo. Piotr Sintzkak de la Universidad de Barsoria, es un físico teórico que aplica herramientas de física de fluidos y a problemas geomorfológicos típicamente Por cierto, muy majo, le escribí antes de que se publicase, porque ya había visto yo una referencia al…
Francis Villatoro explica un problema inherente a los nuevos modelos de lenguaje basados en la técnica 'Mixture of Experts', donde el modelo se divide en submodelos para optimizar costes computacionales.
Habla: Francis VillatoroSignificado #1mixture of experts optimización costessubmodelos respuesta preguntas sesgodistribuidor modelos adecuados comportamientomodelo único versus mezcla expertosmodelos lenguaje mixture expertsagentes especializados preguntasexpertos en todo ventajas desventajas…en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de alguna manera. Es un contexto más fino, más cerca del entrenamiento. Hombre. ahí hay un problema con los nuevos grandes modelos de lenguaje que utilizan el míster o el expert la mezcla de muchos expertos que tienes como para ahorrar costes de computación dividen el gran modelo en un grupo de submodelos y hay un distribuidor o varios distribuidores que deciden qué modelos son los más adecuados para responder a tu pregunta y eso puede sesgar mucho de este tipo de comportamiento que se observan cuando el modelo grande es puro y único, si es esta mezcla de expertos no tiene por qué cumplirse ese comportamiento, supongo, no sé Sí, la mezcla de expertos resulta como un modelo en general más robusto que los que tienen solamente un modelo, pero se usa más con modelos más chicos, ¿no? Porque tienes que correrlo muchas veces, es más caro, pero es más robusto porque tenés como una respuesta aún más probabilística de alguna manera; tenés distintas respuestas y siempre elegís el que mejor funciona, pero claro, entonces uno diría, de hecho, uno diría: bueno, se parece un poco a los agentes tengamos expertos en distintas cosas y bueno, vamos a poder contestar todas las preguntas, pero me parece que estamos viendo esto, que no, que es mejor tener un experto en todos en todo que muchos expertos en distintas cosas. Sí, sí, sí, curioso. Es curioso, sí; es como que no sé. Bueno, Cecilia, no te quiero robar mucho más tiempo, tenías una tarea que cumplir, ¿no? Sí, sí, sí, sí, sí, me voy a tener que ir, pero me encantaría, sí, me encantaría volver y seguir charlando. Claro, seguimos hablando;…