Búsqueda · 27 momentos en 16 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgptNVIDIA H800GPUSara RobiscoDeepSeekH800ChatGPTTPUChinaCEO de NVIDIAApple IntelligenceFrancis Villatoro
2048 GPUs h800 paralelo
Con
0:000:301:001:302:002:303:11
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #5 · Palabras #1
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
Habla: Sara RobiscoSignificado #5 · Palabras #1deepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Francis Villatoro menciona que el CEO de NVIDIA ha expresado su objetivo de permitir la ejecución de modelos de lenguaje en teléfonos móviles y hace referencia a Apple Intelligence.
Habla: Francis VillatoroSignificado #17ceo nvidia ejecución modelos lenguajemodelos lenguaje en teléfonos móvileschip inteligencia apple intelligenceapple intelligence en dispositivos móviles…o sea, no le he dado mucha caña a cuánto de inteligente es, pero la conversación es súper fluida. Creo que es el que más natural ha logrado tener la conversación con el modelo de lenguaje y de nuevo, me falta la integración total con todo lo que está. En el móvil. Ese es el tema clave de NVIDIA, o sea, lo dijo el CEO de NVIDIA; lo ha dicho ya en varias ocasiones. Su objetivo fundamental de aquí a un par de años es que todos los modelos de lenguaje se puedan ejecutar en local en tu teléfono móvil. Que tengas un chip de inteligencia; de hecho, sabéis lo de Apple Intelligence. Vamos a tener Apple Intelligence por todos. Lados, pero todavía no la tenemos en el iPhone; lo van a activar ahora, ¿no se han activado ya estos días o lo van a activar la semana que viene? Se va a activar ya inmediatamente. Pero es porque la inteligencia, ninguno de nosotros que estamos aquí confiamos…