Búsqueda · 34 momentos en 20 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetmodelo whisper comprobación humanatérminos técnicos prefijos griegosconfusión términos modelo whispertérminos médicos raíces griegasrendimiento modelo whisper idiomasinfluencia prefijos latinos traducciónwhisper y lenguas equivalentesWhisperGriegosMaría RibesWhisper Large V3PodGPTNew England Journal of Medicine (NEHM)MedPubJosé Miguel RoblesCoffee BreakGoogle DeepMindGriegasLatínInglésLLMRACRetrieval Augmented GenerationCoffee Break: Señal y Ruido
Modelo Whisper comprobación humana
Con
0:000:301:001:302:002:303:003:28
María Ribes menciona que el modelo Whisper incluye una comprobación humana para resolver confusiones en términos técnicos, especialmente aquellos con prefijos de origen griego.
…que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso también me pregunto yo. Esto me lo estoy preguntando yo. Que en el mundo, en el contexto médico o clínico hay muchas palabras griegas y latinas que eso se transfiere muy bien a otras lenguas porque una cosa que dicen es que el rendimiento es igual en todas las lenguas o que a partir del inglés se transfiere a las otras lenguas pero como hay muchas palabras que son iguales, que tienen prefijos griegos, latinos, me pregunto yo, no sé si eso influirá en que suba esa mejora. No, simplemente termina porque lo que yo voy a decir creo que es un poco independiente del tema que estás contando, así que prefiero que termines y luego el comentario. Bueno, pues que al final hay una parte de protección de datos y ética clínica, que tienen…
Significado #1 · Palabras #1
María Ribes explica cómo se han generado 42 millones de tokens de texto a partir de más de 3.700 horas de audio, utilizando el Whisper Large V3 para la transcripción.
Habla: María RibesSignificado #2 · Palabras #4whisper large v3 transcripción audiotokens de texto medicina diagnósticotertulia preguntas respuestas reexplicacioneshector socas habla solo tertuliaturnos conversación maria ribesinteracción eficaz inteligencia artificialpreguntas medicina racretrieval augmented generation artículos…vino a la mente, yo qué sé, alguna palabra árabe o algo así. Pero es que, es que en egipcio antiguo, Nehem es eternidad, porque tenemos una oyente, pues que es Luciana, que ella también es medio egipcia, Nehem significa la eternidad, ¿vale? Ahí lo dejo. Ok. Todas esas horas de audio han dado 42 millones de tokens de texto, ¿de acuerdo? Y han transcrito con el Whisper, con el Whisper Large V3 y lo que pretenden entrenar no solamente que aprenda cuestiones de medicina, de diagnóstico, sino que el objetivo de entrenarlo con audios es porque cuando hablamos en la tertulia, como hacemos aquí ahora mismo, porque estoy hablando solo yo, pero cuando hablamos y uno pregunta ¿y eso qué es? y otro contesta, otro contesta y otro reexplica y también cuando estamos en tertulia y nos vemos, lo que hacemos. Es respetar los turnos de conversación, tú sabes, por la forma que tiene uno de terminar la frase, no solo físicamente, me refiero a lingüísticamente, por el audio, por la forma que tiene uno de terminar la frase o de empezarla, sabes; se te va a dar pie a que contestes o va a seguir con su rollo o sigue aunque le interrumpan. Entonces eso le hace al sistema crear una interacción más eficaz en el humano cuando habla con la persona que le está preguntando cosas, porque es para preguntarle cosas de medicina. Entonces no es solo para que pueda producir respuestas con lo que ya sabe, sino que también le meten el RAC, este RAC es Retrieval Augmented Generation con los artículos. Del Nehem y el PubMed para que pueda consultar ahí y de las fuentes, o sea, que te diga esto es así porque lo he escuchado pero aquí tienes la fuente y que no se invente la fuente como nos hace el chat GPT normalmente, que no sé si habéis probado que aunque…
María Ribes explica cómo PodGPT funciona, respondiendo preguntas imitando una conversación humana y utilizando técnicas aprendidas de tertulianos, similar a los modelos grandes existentes.
Habla: María RibesSignificado #17podgpt imitando conversación humanatécnicas tertulianos en modelos grandesusuario pregunta podcastssistema busca aprendido señal y ruido…no hay demo probable. Y también tienen una transcripción de los podcasts que son gratuitos; por ejemplo, el nuestro sí que estaría, pero la mayoría de los podcasts que han escuchado son de pago. Entonces, claro, por cosas legales no lo publican. Entonces, Supuestamente, lo que ellos han puesto en práctica, lo que han probado con este enorme LLM, el usuario le hace una pregunta y lo que hace el sistema busca en todo lo que ha aprendido de los podcasts y contesta según imitando una conversación humana. Hombre, eso lo hacen todos los grandes modelos, como sabéis, pero contesta con las técnicas que ha aprendido de los tertulianos. También a veces se enfada o tiene algún tipo de contestación así, que es lo que nos gustaría a todos que nos dijeran: pues cállate, pues búscalo tú. Pero sobre Todo lo que hace es buscar en esa base de datos, entonces te lo confirma; es decir, me duele la rodilla o cuáles son los síntomas de un infarto. Esto podría ser un síntoma, me duele el dedo, ¿qué me pasa? Entonces el sistema te da lo que he aprendido con esos…
María Ribes menciona que el modelo Whisper incluye una comprobación humana para resolver confusiones en términos técnicos, especialmente aquellos con prefijos de origen griego.
Habla: María RibesSignificado #1 · Palabras #1modelo whisper comprobación humanatérminos técnicos prefijos griegosconfusión términos modelo whispertérminos médicos raíces griegasrendimiento modelo whisper idiomasinfluencia prefijos latinos traducciónwhisper y lenguas equivalentes…que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes que gastarte mucho dinero. Puedes tener un modelo pequeñito con no muchos subsets de Benchmark MMLU y mejora bastante, pero no lo he podido probar; está todavía en progreso. Y tiene una cosa que también te quería decir: que el whisper tiene una comprobación humana, porque hay muchos términos aquí al final del archivo. Especifican todos los términos que dan lugar a confusión, confunde los prefijos, sobre todo los griegos; que eso también me pregunto yo. Esto me lo estoy preguntando yo. Que en el mundo, en el contexto médico o clínico hay muchas palabras griegas y latinas que eso se transfiere muy bien a otras lenguas porque una cosa que dicen es que el rendimiento es igual en todas las lenguas o que a partir del inglés se transfiere a las otras lenguas pero como hay muchas palabras que son iguales, que tienen prefijos griegos, latinos, me pregunto yo, no sé si eso influirá en que suba esa mejora. No, simplemente termina porque lo que yo voy a decir creo que es un poco independiente del tema que estás contando, así que prefiero que termines y luego el comentario. Bueno, pues que al final hay una parte de protección de datos y ética clínica, que tienen…
Héctor Socas y María Ribes discuten sobre las mejoras continuas del modelo Gemma de Google DeepMind, destacando su entrenamiento constante con transcripciones y ajustes realizados por humanos.
Habla: Héctor SocasPalabras #2pre-entrenamiento humano podcastfine tuning anotado humanoswhisper transcribe podcastherramienta jose miguel robles cb…el comentario. Bueno, pues que al final hay una parte de protección de datos y ética clínica, que tienen mucho cuidado de no difundir información clínica ni datos personales de los podcasts que han escuchado o de los historiales clínicos de las personas. Y otra cosa que también, como está en progreso, no es que funcione perfectamente; tiene entrenamiento continuo, con todas las transcripciones, o sea, cada vez que le metes un nuevo podcast hay un pre-entrenamiento humano y un fine tuning anotado por humanos en última instancia. Pero bueno, el Gema que ha superado 12 puntos me ha parecido muy chulo, 12 puntos, ok. Lo que iba a decir es que recuerda mucho, además con el uso de Whisper para transcribir y todo, a la herramienta esta que se curró nuestro amigo José Miguel Robles; no quiero equivocarme con el apellido, para hacer consultas en la bibliografía de Coffee Break, que les recuerdo, tiene puesta una página web que es cb.cb, como de Coffee Break. Y también tiene una base de datos vectorial para hacer búsquedas que además son elásticas y la verdad que si no la han probado les recomiendo que se entretengan jugando un poquito con esa herramienta porque la verdad que es divertida. ¿Sí que lo has probado,…