Búsqueda · 31 momentos en 20 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modelosH800Sara RobiscoDeepSeekGPUChinaNVIDIA H800
2664000 Horas GPU preentrenamiento
Con
0:000:301:001:302:002:303:11
Sara Robisco explica que es necesario esperar a que otros grupos de investigación reproduzcan los resultados obtenidos con DeepSeek, un modelo de lenguaje desarrollado en China, antes de considerarlos definitivos.
…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos…
Significado #1 · Palabras #2
Sara Robisco explica que es necesario esperar a que otros grupos de investigación reproduzcan los resultados obtenidos con DeepSeek, un modelo de lenguaje desarrollado en China, antes de considerarlos definitivos.
Habla: Sara RobiscoSignificado #1 · Palabras #2deepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modelos…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos…