Búsqueda · 18 momentos en 11 episodios
MMLU
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
Significado #1 · Palabras #1
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #1 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqa…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
María Ribes continúa la conversación sobre el modelo Gemma de Google DeepMind, explicando que existen dos versiones: una con 2.000 millones de parámetros y otra con 7.000 millones, aclarando la diferencia entre las escalas de medición de Google y los términos utilizados por otros.
Habla: María RibesSignificado #18modelo gemma google deepmindgemma 2000 millones parámetrosescalas medición google versus otros…eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no, bueno, por lo que vi un poco por encima, pero vamos, ni idea. Pero es que han usado varios modelos, o sea, modelos pequeñitos como el Gemma, el Gemma, el Gemma tiene dos gemas, ese es el de Google, el de DeepMind, tiene uno de, creo que son 2.000 millones de parámetros y otro tiene como 7.000 millones, o sea, son billones suyos que son millones nuestros, ¿no? Millones de millones, mil millones Miles de millones, sí Eso Es, miles de millones. Entonces el Gema, es Gemma, pero yo digo Gemma, ¿vale? Porque soy española, ¿qué pasa? Igual que digo Gemini, o decís Gemini, o decís Wi-Fi cuando habláis español, a ver. No, no, lo peor es mi caso, que yo aún hablando inglés digo…
María Ribes continúa explicando las mejoras del modelo Gemma de Google DeepMind en comparación con otros modelos de lenguaje, como el Llama de Meta.
Habla: María RibesSignificado #3 · Palabras #2gemma mejora en acribia científicallama meta con 70000 parámetrosmodelo gemma supera a llamarelación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidad…me entiende la mierda. Es como el amigo de Sheldon, el jefe de Sheldon, Kripke, que no le iba a decir una mierda, no entiende. Porque decía, sí güey, oye, sí güey, West of Wands, ¿os acordáis de aquel episodio? Sí, no me entiende, porque no pronunciaba bien. Entonces, el Gema ha mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…