Búsqueda · 29 momentos en 19 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetprueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llmCoffee BreakLLMMedExpQAHéctor SocasMMLUBenchmarkMaría RibesPodGPTUniversidad de BostonIndio Vijaya KolachalamaGoogleGitHubSeñal y RuidoChatGPTXu Yue ChiaUniversidad de Hong KongIndio
Benchmark medexpqa investigador indio
Ep524: ¿Biomarcador Marciano?; Gravitondas y Teorema del Área; PodGPT
18 de septiembre de 20254 momentos
Con
0:000:301:001:302:002:303:003:28
Héctor Socas menciona que el investigador principal detrás del benchmark MedExpQA es de origen indio y ha incorporado varios idiomas a la prueba, incluyendo español, inglés, francés, hindi y mandarín.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…
Significado #1 · Palabras #1
María Ribes introduce a los autores del artículo PodGPT, destacando que son estudiantes de doctorado y un investigador principal de diversas nacionalidades.
Habla: María RibesSignificado #5 · Palabras #10estudiantes doctorado podgptinvestigador principal indioxu yue chia hong konguniversidad boston afiliación paper…Es podcast de ciencia, además. Así es, pero son podcasts médicos. El título es, vamos a ver una traducción, que hagamos así: un modelo de lenguaje de gran escala, potenciado con audio para la investigación y la educación. Así se llama todo el título. Y bueno, antes de entrar en materia, quería hablaros de los autores, porque los primeros firmantes son unos estudiantes de doctorado y luego está el investigador principal y son de todo el mundo. El primer firmante es Xu Yue Chia, que es de Hong Kong, es graduado en Ciencias de la Computación por la Universidad de Hong Kong, pero ahora trabaja en Boston; la Universidad de Boston es la afiliación principal de este paper y el investigador principal es Indio. dime, dime ¿Te puedo interrumpir un momento? Es que estoy leyendo los comentarios en el chat cuando preguntaste cómo sería una IA entrenada. Ah, ¿qué has dicho? Hay gente diciendo, bueno, de todo. A ver, miedo me da. Hay quien dice, haría muchos chistes…
María Ribes informa sobre la afiliación principal del artículo PodGPT, identificándola como la Universidad de Boston y presentando al investigador principal, Indio Vijaya Kolachalama.
Habla: María RibesPalabras #3investigación google indio vijaya kolachalamaingeniero aeroespacial universidad bostonafiliación principal universidad boston…todo esto, perdona. Pues sí, eso es lo que aprendería, pero también sería, yo creo que sería muy afable y sobre todo muy respetuoso porque dentro de lo que cabe nosotros siempre somos respetuosos, aunque no estemos de acuerdo, ¿no? Bueno, habla por ti. Ok, lo que os decía: la afiliación principal es la Universidad de Boston y el investigador principal es Indio Vijaya Kolachalama, que he investigado un poco, como hace Héctor, una investigación exhaustiva en Google y es ingeniero aeroespacial. ¿Qué os parece? Ingeniero aeroespacial por la Universidad Bengala Occidental, así como doctor en ingeniería mecánica por Southampton en Estados Unidos Pero hoy se dedica a crear software para mejorar el diagnóstico clínico y sobre todo crear grandes modelos neuronales para…
María Ribes explica que los creadores de PodGPT ofrecen un benchmark y pipeline para evaluar el sistema, pero no una demostración funcional.
Habla: María RibesPalabras #4transcripción podcasts gratuitos señal y ruidoproblemas legales publicación transcripciones…A no ser que uses el de pago, pues se lo inventa, entonces tú tienes este chat GPT, este pod GPT que no se puede probar; yo he querido probarlo. Tiene un repositorio en GitHub y he ido ahí a ver si me dejaba: había una demo, o algo, pero no. Lo que tienen es el benchmark, el pipeline para poder evaluarlo, pero no hay demo probable. Y también tienen una transcripción de los podcasts que son gratuitos; por ejemplo, el nuestro sí que estaría, pero la mayoría de los podcasts que han escuchado son de pago. Entonces, claro, por cosas legales no lo publican. Entonces, Supuestamente, lo que ellos han puesto en práctica, lo que han probado con este enorme LLM, el usuario le hace una pregunta y lo que hace el sistema busca en todo lo que ha aprendido de los podcasts y contesta según imitando una conversación humana. Hombre,…
Héctor Socas menciona que el investigador principal detrás del benchmark MedExpQA es de origen indio y ha incorporado varios idiomas a la prueba, incluyendo español, inglés, francés, hindi y mandarín.
Habla: María RibesSignificado #1 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqabenchmark medexpqa investigador indioidiomas prueba medexpqa español hindirepositorio coffee break entrenamiento llm…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no,…