Búsqueda · 31 momentos en 18 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetprueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqaMMLUMedExpQABenchmarkMaría RibesPodGPTHéctor SocasGitHubChatGPTLLMSeñal y RuidoUniversidad Bengala OccidentalSouthamptonEstados UnidosRhoda AuFramingham Heart StudyRetrieval Augmented GenerationRAC
Prueba estándar PodGPT
Con
0:000:301:001:302:002:303:003:28
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…
Significado #1 · Palabras #1
Héctor Socas introduce un artículo llamado PodGPT, el cual considera muy interesante y por eso prefirió esperar para mencionarlo hasta después de una pregunta.
Habla: Héctor SocasSignificado #6 · Palabras #2artículo podgpt hector socaspodgpt artículo interesantepodgpt podcast ciencia médicaredes neuronales modelos lenguaje grandespodcast potenciado audio investigación…sea, qué sé yo, no sé, no tengo ni idea. Si Francis está solo, pues muy bien; yo creo que contestaría con exactitud todas las cosas. Si hubiera más de una pregunta a la vez, Francis diría: pues no, está mal. Te empezaría a decir cosas como: Wikipedia miente. Es que es un artículo muy chulo, por eso no quería que dijera el título antes de hacer esta pregunta, porque se llama PodGPT. El artículo se llama PodGPT, se llama Cuando me dijiste lo de PodGPT ya asumí, porque parezca que no, pero tengo ciertas luces, o sea, yo tengo cierta capacidad aquí. Dentro y claro, yo PodGPT pensé: esto va a ser algo de podcast y de redes neuronales y grandes modelos de lenguaje. Es podcast de ciencia, además. Así es, pero son podcasts médicos. El título es, vamos a ver una traducción, que hagamos así: un modelo de lenguaje de gran escala, potenciado con audio para la investigación y la educación. Así se llama todo el título. Y bueno, antes de entrar en materia, quería hablaros de los autores, porque los primeros firmantes son unos estudiantes de doctorado y luego está el investigador principal y son de todo el mundo. El primer firmante es Xu Yue Chia, que es de Hong Kong, es…
María Ribes continúa describiendo a los autores del artículo PodGPT, detallando sus formaciones académicas y áreas de investigación. Menciona a Indio Vijaya Kolachalama como ingeniero aeroespacial y a Rhoda Au, una investigadora en neurociencia.
Habla: María RibesPalabras #8indio vijaya kolachalama ingeniero aeroespacialrhoda au investiga demencia envejecimiento cerebralframingham heart study factores riesgo cardiovascularpodgpt entrenado con podcast ciencia medicina…Ok, lo que os decía: la afiliación principal es la Universidad de Boston y el investigador principal es Indio Vijaya Kolachalama, que he investigado un poco, como hace Héctor, una investigación exhaustiva en Google y es ingeniero aeroespacial. ¿Qué os parece? Ingeniero aeroespacial por la Universidad Bengala Occidental, así como doctor en ingeniería mecánica por Southampton en Estados Unidos Pero hoy se dedica a crear software para mejorar el diagnóstico clínico y sobre todo crear grandes modelos neuronales para interactuar y procesar la información clínica Y también quería mencionar a una autora que es una mujer que es Rhoda Au y es una figura conocida en neurociencia, investiga demencia, envejecimiento cerebral y trabaja en una especie de fundación de estudios que se llama Framingham Heart Study que lo que hacen es estudiar los factores de riesgo cardiovascular o sea que toda esta gente se ha unido para crear este PODGPT al que han alimentado, han entrenado solo con podcast como dices tú Héctor, con podcast de ciencia pero principalmente medicina Yo, fíjate, no había caído, acabo de darme cuenta ahora, De la relación entre Bengala, esa región, y el tema pirotécnico hasta que me hablaste de un ingeniero aeroespacial. Y ahora se explica todo; yo estaba escuchando así atentamente, digo, ¿qué nos va a revelar? Pues sí, de ahí viene, y ya está; eso es lo que…
María Ribes explica las limitaciones del ChatGPT gratuito, señalando que tiende a inventar información incluso cuando se le pide buscar fuentes.
Habla: María RibesSignificado #2chat gpt inventa fuenteschatgpt gratuito inventa informaciónpod gpt sin prueba disponiblerepositorio github chatgpttranscripción podcasts gratuitos señal y ruidoproblemas legales publicación transcripcionespodgpt imitando conversación humanatécnicas tertulianos en modelos grandesusuario pregunta podcastssistema busca aprendido señal y ruido…la persona que le está preguntando cosas, porque es para preguntarle cosas de medicina. Entonces no es solo para que pueda producir respuestas con lo que ya sabe, sino que también le meten el RAC, este RAC es Retrieval Augmented Generation con los artículos. Del Nehem y el PubMed para que pueda consultar ahí y de las fuentes, o sea, que te diga esto es así porque lo he escuchado pero aquí tienes la fuente y que no se invente la fuente como nos hace el chat GPT normalmente, que no sé si habéis probado que aunque le digas búscalo en internet, dame la fuente. A no ser que uses el de pago, pues se lo inventa, entonces tú tienes este chat GPT, este pod GPT que no se puede probar; yo he querido probarlo. Tiene un repositorio en GitHub y he ido ahí a ver si me dejaba: había una demo, o algo, pero no. Lo que tienen es el benchmark, el pipeline para poder evaluarlo, pero no hay demo probable. Y también tienen una transcripción de los podcasts que son gratuitos; por ejemplo, el nuestro sí que estaría, pero la mayoría de los podcasts que han escuchado son de pago. Entonces, claro, por cosas legales no lo publican. Entonces, Supuestamente, lo que ellos han puesto en práctica, lo que han probado con este enorme LLM, el usuario le hace una pregunta y lo que hace el sistema busca en todo lo que ha aprendido de los podcasts y contesta según imitando una conversación humana. Hombre, eso lo hacen todos los grandes modelos, como sabéis, pero contesta con las técnicas que ha aprendido de los tertulianos. También a veces se enfada o tiene algún tipo de contestación así, que es lo que nos gustaría a todos que nos dijeran: pues cállate, pues búscalo tú. Pero sobre Todo lo que hace es buscar en esa base de datos, entonces te lo confirma; es decir, me duele la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos…
María Ribes explica que PodGPT incluye una prueba estándar para evaluar su rendimiento, similar a un 'megatest', y menciona específicamente la prueba MMLU (Multitask Linguistic Usefulness) para medir su comprensión del contenido médico.
Habla: María RibesSignificado #1 · Palabras #1prueba estándar podgptmegatest rendimiento podgptprueba mmlu comprensión médicabenchmark médico medexpqa…la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos chats, con esos podcasts, pero aparte te buscan la base de datos y te da la fuente para que Tú puedas comprobar que es verdad. Entonces tiene un benchmark, no sé cómo traducir esto, una prueba estándar, un megatest, ¿cómo lo traducís eso? ¿O no lo traducís? Yo no lo traduzco, pero sería una prueba estándar, me gusta. No sé, tiene una prueba MMLU de Multitask Linguistic Usefulness, o sea, para que entienda no solamente del contenido, del contenido médico que también tiene un benchmark que es, ahora os digo cómo se llama el benchmark médico. Bueno, se llama con unas siglas MedExpQA, ¿vale? Como pregunta-respuesta. Tiene el benchmark de contenido medicinal científico exacto y el benchmark lingüístico porque, Como el investigador principal es indio, pues le ha metido también otras lenguas, entre ellas el español, ¿vale? Las lenguas que tienes: el inglés, el español, el francés, el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un…