Búsqueda · 32 momentos en 17 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetprueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqaMMLUMedExpQABenchmarkMaría RibesPodGPTLlamaMetaGemmaGoogle DeepMindBenchmark MMLU
Prueba MMLU comprensión médica
Ep524: ¿Biomarcador Marciano?; Gravitondas y Teorema del Área; PodGPT
18 de septiembre de 20252 momentos
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
Significado #1 · Palabras #1
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #1 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqa…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
María Ribes continúa explicando las mejoras del modelo Gemma de Google DeepMind en comparación con otros modelos de lenguaje, como el Llama de Meta.
Habla: María RibesSignificado #18 · Palabras #2gemma mejora en acribia científicallama meta con 70000 parámetrosmodelo gemma supera a llamarelación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidad…me entiende la mierda. Es como el amigo de Sheldon, el jefe de Sheldon, Kripke, que no le iba a decir una mierda, no entiende. Porque decía, sí güey, oye, sí güey, West of Wands, ¿os acordáis de aquel episodio? Sí, no me entiende, porque no pronunciaba bien. Entonces, el Gema ha mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…