Búsqueda · 31 momentos en 12 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetasistente guía entrenado señal ruidopersonalidad asistente podcast coffee breakacento argentino asistente virtualbenchmark asistente maria ribesCoffee Break: Señal y RuidoArgentinaMaría RibesHéctor SocasGastón GiribetGitHubSeñal y RuidoChatGPTMMLUMedExpQABenchmarkPodGPTBenchmark MMLUGoogle DeepMindGemmaLlamaMetaRACRetrieval Augmented Generation
Benchmark asistente María Ribes
Con
0:000:301:001:302:002:303:003:28
María Ribes plantea una pregunta a la audiencia sobre cómo sería un asistente de guía virtual entrenado únicamente con el contenido del podcast 'Coffee Break: Señal y Ruido'. Reflexiona sobre qué personalidad tendría este asistente, incluyendo su posible acento argentino.
…artículo en Biomedical Innovations. Sí, es un partner de esos de Nature. Ah, de la editorial de Nature Publishing, no sé qué, no me acuerdo. Eso. Pero que mola un montón porque lo que hacen es una especie de... No lo digas, no lo digas, no lo digas. Primero Os voy a preguntar una cosa: todos los que estáis aquí y los que estáis oyendo, ¿cómo creéis que sería un asistente de guía, o sea, qué personalidad desarrollaría que se ha entrenado solo escuchando Coffee Break, Señal y Ruido? Maravilloso. ¿Qué benchmark tendría? O sea, ¿qué le podrías preguntar? ¿Cómo te contestaría? ¿Sería irónico? ¿Estaría enfadado? Sería un acento argentino. El acento podría ser complicado, sí, porque estadísticamente suma los que más interrumpen y los que más hablan. Pues mi acento lo sacaría poco. Es una excelente pregunta; lo que pasa es que no sé cómo contestar sin perder amigos. O sea, tendría que hacer chistes sobre todo, diría: ¿qué, por ejemplo, es un episodio en el que está todo Francis? O sea, qué sé yo, no sé,…
Significado #1 · Palabras #1
María Ribes plantea una pregunta a la audiencia sobre cómo sería un asistente de guía virtual entrenado únicamente con el contenido del podcast 'Coffee Break: Señal y Ruido'. Reflexiona sobre qué personalidad tendría este asistente, incluyendo su posible acento argentino.
Habla: María RibesSignificado #1 · Palabras #1asistente guía entrenado señal ruidopersonalidad asistente podcast coffee breakacento argentino asistente virtualbenchmark asistente maria ribes…artículo en Biomedical Innovations. Sí, es un partner de esos de Nature. Ah, de la editorial de Nature Publishing, no sé qué, no me acuerdo. Eso. Pero que mola un montón porque lo que hacen es una especie de... No lo digas, no lo digas, no lo digas. Primero Os voy a preguntar una cosa: todos los que estáis aquí y los que estáis oyendo, ¿cómo creéis que sería un asistente de guía, o sea, qué personalidad desarrollaría que se ha entrenado solo escuchando Coffee Break, Señal y Ruido? Maravilloso. ¿Qué benchmark tendría? O sea, ¿qué le podrías preguntar? ¿Cómo te contestaría? ¿Sería irónico? ¿Estaría enfadado? Sería un acento argentino. El acento podría ser complicado, sí, porque estadísticamente suma los que más interrumpen y los que más hablan. Pues mi acento lo sacaría poco. Es una excelente pregunta; lo que pasa es que no sé cómo contestar sin perder amigos. O sea, tendría que hacer chistes sobre todo, diría: ¿qué, por ejemplo, es un episodio en el que está todo Francis? O sea, qué sé yo, no sé,…
María Ribes explica la importancia de respetar los turnos de conversación en una interacción humana, comparándolo con cómo se gestionan las intervenciones en 'Coffee Break: Señal y Ruido'. Este enfoque busca mejorar la eficacia de un sistema de inteligencia artificial al interactuar con personas que le hacen preguntas sobre medicina.
Habla: María RibesSignificado #14turnos conversación maria ribesinteracción eficaz inteligencia artificialpreguntas medicina racretrieval augmented generation artículos…cuando hablamos en la tertulia, como hacemos aquí ahora mismo, porque estoy hablando solo yo, pero cuando hablamos y uno pregunta ¿y eso qué es? y otro contesta, otro contesta y otro reexplica y también cuando estamos en tertulia y nos vemos, lo que hacemos. Es respetar los turnos de conversación, tú sabes, por la forma que tiene uno de terminar la frase, no solo físicamente, me refiero a lingüísticamente, por el audio, por la forma que tiene uno de terminar la frase o de empezarla, sabes; se te va a dar pie a que contestes o va a seguir con su rollo o sigue aunque le interrumpan. Entonces eso le hace al sistema crear una interacción más eficaz en el humano cuando habla con la persona que le está preguntando cosas, porque es para preguntarle cosas de medicina. Entonces no es solo para que pueda producir respuestas con lo que ya sabe, sino que también le meten el RAC, este RAC es Retrieval Augmented Generation con los artículos. Del Nehem y el PubMed para que pueda consultar ahí y de las fuentes, o sea, que te diga esto es así porque lo he escuchado pero aquí tienes la fuente y que no se invente la fuente como nos hace el chat GPT normalmente, que no sé si habéis probado que aunque…
María Ribes explica que los creadores de PodGPT ofrecen un benchmark y pipeline para evaluar el sistema, pero no una demostración funcional.
Habla: María RibesSignificado #5 · Palabras #2transcripción podcasts gratuitos señal y ruidoproblemas legales publicación transcripciones…A no ser que uses el de pago, pues se lo inventa, entonces tú tienes este chat GPT, este pod GPT que no se puede probar; yo he querido probarlo. Tiene un repositorio en GitHub y he ido ahí a ver si me dejaba: había una demo, o algo, pero no. Lo que tienen es el benchmark, el pipeline para poder evaluarlo, pero no hay demo probable. Y también tienen una transcripción de los podcasts que son gratuitos; por ejemplo, el nuestro sí que estaría, pero la mayoría de los podcasts que han escuchado son de pago. Entonces, claro, por cosas legales no lo publican. Entonces, Supuestamente, lo que ellos han puesto en práctica, lo que han probado con este enorme LLM, el usuario le hace una pregunta y lo que hace el sistema busca en todo lo que ha aprendido de los podcasts y contesta según imitando una conversación humana. Hombre,…
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #2 · Palabras #3prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqa…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
María Ribes explica que los autores del estudio enfatizan la buena relación calidad-precio y coste-eficacia de los modelos más modestos, destacando su capacidad para mejorar significativamente con pocos conjuntos de datos.
Habla: María RibesSignificado #7 · Palabras #4relación calidad precio modelos modestosbenchmarkmmlu mejora significativacoste eficacia universidad…mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso…