Búsqueda · 17 momentos en 12 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetprueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llmMMLUMedExpQABenchmarkMaría RibesPodGPTCoffee BreakLLMHéctor Socas
MedExpQA
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…
Significado #1 · Palabras #1
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #1 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llm…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…