Búsqueda · 16 momentos en 12 episodios
Isabel CorderoBorja TosarJosé EdelsteinFrancis VillatoroHéctor SocasMaría RibesGastón Giribetmp3 podcast señal y ruidomodelos lenguaje gemmahéctor socas impacto llmmodelo gemma google deepmindgemma 2000 millones parámetrosescalas medición google versus otrosgemma de google deepmindidioma influencia modelos geminihablar inglés gemini maria ribesgemma google deepmindproblemas entendimiento gemmagemma mejora en acribia científicallama meta con 70000 parámetrosmodelo gemma supera a llamaGemmaGeminiMaría RibesGoogle DeepMindGoogleDeepMindGitHubMP3Héctor SocasSeñal y RuidoSheldon CooperKripkeWest of WandsMMLULlamaMetaWhisperJosé Miguel RoblesCoffee BreakNew England Journal of MedicineNEHMMedPubLuciana
Gemma
Con
0:000:301:001:302:002:303:003:28
María Ribes, explicando la diferencia entre los modelos Gemma de Google DeepMind y cómo su uso en español puede ser influenciado por el idioma.
…el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no, bueno, por lo que vi un poco por encima, pero vamos, ni idea. Pero es que han usado varios modelos, o sea, modelos pequeñitos como el Gemma, el Gemma, el Gemma tiene dos gemas, ese es el de Google, el de DeepMind, tiene uno de, creo que son 2.000 millones de parámetros y otro tiene como 7.000 millones, o sea, son billones suyos que son millones nuestros, ¿no? Millones de millones, mil millones Miles de millones, sí Eso Es, miles de millones. Entonces el Gema, es Gemma, pero yo digo Gemma, ¿vale? Porque soy española, ¿qué pasa? Igual que digo Gemini, o decís Gemini, o decís Wi-Fi cuando habláis español, a ver. No, no, lo peor es mi caso, que yo aún hablando inglés digo Gemini. Eso explica un poco mi vida social también. Ok. el Gema. Sí, Gemini, no sé qué. ¿Te entiende? No, no me entiende la mierda. Es como el amigo de Sheldon, el jefe de Sheldon, Kripke, que no le iba a decir una mierda, no entiende. Porque decía, sí güey, oye, sí güey, West of Wands, ¿os acordáis de aquel episodio? Sí, no me entiende, porque no pronunciaba bien. Entonces, el Gema ha mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes…
Significado #1 · Palabras #1
María Ribes explica cómo los autores de PodGPT han creado una base de datos vectorial para recuperar y contrastar información, utilizando fuentes como el New England Journal of Medicine (NEHM) y MedPub.
Habla: María RibesSignificado #16new england journal medicine nehmmedpub jornales importantesluciana descendiente egipcia nehem eternidad…¿vale? De estos de ciencia, tecnología, ingeniería Y son dos M's, porque solamente hay una M, que es matemáticas, pero aquí he añadido dos M's que son medicina que es medicina, ¿vale? Entonces, han entrenado al sistema escuchando todos esos podcasts, pero También han creado una base de datos, una base de datos vectorial, para recuperar información y contrastar información, un RAG y lo han sacado del NEHM, que es el New England Journal of Medicine y el MedPub, que son unos jornales bastante importantes. ¿Te está riendo algo del podcast? No, qué va, qué va, lo del Nehem, que me hizo gracia porque me vino a la mente, yo qué sé, alguna palabra árabe o algo así. Pero es que, es que en egipcio antiguo, Nehem es eternidad, porque tenemos una oyente, pues que es Luciana, que ella también es medio egipcia, Nehem significa la eternidad, ¿vale? Ahí lo dejo. Ok. Todas esas horas de audio han dado 42 millones de tokens de texto, ¿de acuerdo? Y han transcrito con el Whisper, con el Whisper Large V3 y lo que pretenden entrenar no solamente que aprenda cuestiones de medicina, de diagnóstico, sino que el objetivo de…
María Ribes, explicando la diferencia entre los modelos Gemma de Google DeepMind y cómo su uso en español puede ser influenciado por el idioma.
Habla: María RibesSignificado #1 · Palabras #1mp3 podcast señal y ruidomodelos lenguaje gemmahéctor socas impacto llmmodelo gemma google deepmindgemma 2000 millones parámetrosescalas medición google versus otrosgemma de google deepmindidioma influencia modelos geminihablar inglés gemini maria ribesgemma google deepmindproblemas entendimiento gemmagemma mejora en acribia científicallama meta con 70000 parámetrosmodelo gemma supera a llama…el hindi y el mandarín. Pues tenemos que hacerle llegar Coffee Break; ahí tendrá un repositorio de un montón de cosas. No sé si querrá arriesgarse a meterlo en su entrenamiento de su LLM, pero no sé si querrá arriesgarse, hombre, pero tú puedes contratar. Con él en el GitHub, le puedes vincular lo que tú quieras. Se lo voy a poner, le digo que por un módico precio le pasamos los MP3. Bueno, las mejoras, eso estuviste leyéndolo tú Héctor cuando me dijiste, tampoco es que mejore mucho, ¿no? ¿Te acuerdas? Sí, no, bueno, por lo que vi un poco por encima, pero vamos, ni idea. Pero es que han usado varios modelos, o sea, modelos pequeñitos como el Gemma, el Gemma, el Gemma tiene dos gemas, ese es el de Google, el de DeepMind, tiene uno de, creo que son 2.000 millones de parámetros y otro tiene como 7.000 millones, o sea, son billones suyos que son millones nuestros, ¿no? Millones de millones, mil millones Miles de millones, sí Eso Es, miles de millones. Entonces el Gema, es Gemma, pero yo digo Gemma, ¿vale? Porque soy española, ¿qué pasa? Igual que digo Gemini, o decís Gemini, o decís Wi-Fi cuando habláis español, a ver. No, no, lo peor es mi caso, que yo aún hablando inglés digo Gemini. Eso explica un poco mi vida social también. Ok. el Gema. Sí, Gemini, no sé qué. ¿Te entiende? No, no me entiende la mierda. Es como el amigo de Sheldon, el jefe de Sheldon, Kripke, que no le iba a decir una mierda, no entiende. Porque decía, sí güey, oye, sí güey, West of Wands, ¿os acordáis de aquel episodio? Sí, no me entiende, porque no pronunciaba bien. Entonces, el Gema ha mejorado un y pico puntos en el MMLU pero ha mejorado hasta 12 puntos en la acribia científica médica clínica, hasta 12 puntos. Los enormes modelos, el Llama, el Llama de Meta creo que tiene 70.000 millones de parámetros, ese ha mejorado pues como 3 puntos. O sea, una cosa que enfatizan ellos, los autores, es que esto sirve, como que tiene una gran relación calidad-precio, coste -eficacia porque los modelos más modestos son los que más han mejorado; entonces tú te lo puedes aplicar a tu universidad y no tienes…
Héctor Socas y María Ribes discuten sobre las mejoras continuas del modelo Gemma de Google DeepMind, destacando su entrenamiento constante con transcripciones y ajustes realizados por humanos.
Habla: Héctor SocasSignificado #6pre-entrenamiento humano podcastfine tuning anotado humanoswhisper transcribe podcastherramienta jose miguel robles cb…el comentario. Bueno, pues que al final hay una parte de protección de datos y ética clínica, que tienen mucho cuidado de no difundir información clínica ni datos personales de los podcasts que han escuchado o de los historiales clínicos de las personas. Y otra cosa que también, como está en progreso, no es que funcione perfectamente; tiene entrenamiento continuo, con todas las transcripciones, o sea, cada vez que le metes un nuevo podcast hay un pre-entrenamiento humano y un fine tuning anotado por humanos en última instancia. Pero bueno, el Gema que ha superado 12 puntos me ha parecido muy chulo, 12 puntos, ok. Lo que iba a decir es que recuerda mucho, además con el uso de Whisper para transcribir y todo, a la herramienta esta que se curró nuestro amigo José Miguel Robles; no quiero equivocarme con el apellido, para hacer consultas en la bibliografía de Coffee Break, que les recuerdo, tiene puesta una página web que es cb.cb, como de Coffee Break. Y también tiene una base de datos vectorial para hacer búsquedas que además son elásticas y la verdad que si no la han probado les recomiendo que se entretengan jugando un poquito con esa herramienta porque la verdad que es divertida. ¿Sí que lo has probado,…