Búsqueda · 33 momentos en 24 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetrelación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidadBenchmark MMLUGoogle DeepMindGemmaLlamaMetaGitHubMP3Héctor SocasMaría RibesSeñal y Ruido
Relación calidad precio modelos modestos
Ep524: ¿Biomarcador Marciano?; Gravitondas y Teorema del Área; PodGPT
18 de septiembre de 20252 momentos
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que los autores del estudio enfatizan la buena relación calidad-precio y coste-eficacia de los modelos más modestos, destacando su capacidad para mejorar significativamente con pocos conjuntos de datos.
…mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…
Significado #1 · Palabras #1
Héctor Socas y María Ribes discuten la posibilidad de ofrecer los archivos MP3 del podcast 'Señal y Ruido' para entrenar modelos de lenguaje (LLM), aunque Héctor expresa dudas sobre su impacto real en la mejora del modelo.
Habla: María RibesPalabras #9mp3 podcast señal y ruidomodelos lenguaje gemmahéctor socas impacto llm…el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no, bueno, por lo que vi un poco por encima, pero vamos, ni idea. Pero es que han usado varios modelos, o sea, modelos pequeñitos como el Gemma, el Gemma, el Gemma tiene dos gemas, ese es el de Google, el de DeepMind, tiene uno de, creo que son 2.000 millones de parámetros y otro tiene como 7.000 millones, o sea, son billones suyos que son millones nuestros, ¿no? Millones de millones, mil millones Miles…
María Ribes explica que los autores del estudio enfatizan la buena relación calidad-precio y coste-eficacia de los modelos más modestos, destacando su capacidad para mejorar significativamente con pocos conjuntos de datos.
Habla: María RibesSignificado #1 · Palabras #1relación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidad…mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…