Búsqueda · 16 momentos en 9 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetprueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llmMMLUMedExpQABenchmarkMaría RibesPodGPTBenchmark MMLUGoogle DeepMindGemmaLlamaMetaGitHubSeñal y RuidoChatGPTCoffee Break: Señal y RuidoArgentinaHéctor SocasGastón GiribetCoffee BreakLLM
Benchmark MMLU
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…
Significado #2 · Palabras #1
María Ribes plantea una pregunta a la audiencia sobre cómo sería un asistente de guía virtual entrenado únicamente con el contenido del podcast 'Coffee Break: Señal y Ruido'. Reflexiona sobre qué personalidad tendría este asistente, incluyendo su posible acento argentino.
Habla: María RibesPalabras #6asistente guía entrenado señal ruidopersonalidad asistente podcast coffee breakacento argentino asistente virtualbenchmark asistente maria ribes…artículo en Biomedical Innovations. Sí, es un partner de esos de Nature. Ah, de la editorial de Nature Publishing, no sé qué, no me acuerdo. Eso. Pero que mola un montón porque lo que hacen es una especie de... No lo digas, no lo digas, no lo digas. Primero Os voy a preguntar una cosa: todos los que estáis aquí y los que estáis oyendo, ¿cómo creéis que sería un asistente de guía, o sea, qué personalidad desarrollaría que se ha entrenado solo escuchando Coffee Break, Señal y Ruido? Maravilloso. ¿Qué benchmark tendría? O sea, ¿qué le podrías preguntar? ¿Cómo te contestaría? ¿Sería irónico? ¿Estaría enfadado? Sería un acento argentino. El acento podría ser complicado, sí, porque estadísticamente suma los que más interrumpen y los que más hablan. Pues mi acento lo sacaría poco. Es una excelente pregunta; lo que pasa es que no sé cómo contestar sin perder amigos. O sea, tendría que hacer chistes sobre todo, diría: ¿qué, por ejemplo, es un episodio en el que está todo Francis? O sea, qué sé yo, no sé,…
María Ribes explica que los creadores de PodGPT ofrecen un benchmark y pipeline para evaluar el sistema, pero no una demostración funcional.
Habla: María RibesPalabras #3transcripción podcasts gratuitos señal y ruidoproblemas legales publicación transcripciones…A no ser que uses el de pago, pues se lo inventa, entonces tú tienes este chat GPT, este pod GPT que no se puede probar; yo he querido probarlo. Tiene un repositorio en GitHub y he ido ahí a ver si me dejaba: había una demo, o algo, pero no. Lo que tienen es el benchmark, el pipeline para poder evaluarlo, pero no hay demo probable. Y también tienen una transcripción de los podcasts que son gratuitos; por ejemplo, el nuestro sí que estaría, pero la mayoría de los podcasts que han escuchado son de pago. Entonces, claro, por cosas legales no lo publican. Entonces, Supuestamente, lo que ellos han puesto en práctica, lo que han probado con este enorme LLM, el usuario le hace una pregunta y lo que hace el sistema busca en todo lo que ha aprendido de los podcasts y contesta según imitando una conversación humana. Hombre,…
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #2 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llm…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…
María Ribes explica que los autores del estudio enfatizan la buena relación calidad-precio y coste-eficacia de los modelos más modestos, destacando su capacidad para mejorar significativamente con pocos conjuntos de datos.
Habla: María RibesSignificado #1 · Palabras #2gemma mejora en acribia científicallama meta con 70000 parámetrosmodelo gemma supera a llamarelación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidad…me entiende la mierda. Es como el amigo de Sheldon, el jefe de Sheldon, Kripke, que no le iba a decir una mierda, no entiende. Porque decía, sí güey, oye, sí güey, West of Wands, ¿os acordáis de aquel episodio? Sí, no me entiende, porque no pronunciaba bien. Entonces, el Gema ha mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…