Búsqueda · 13 momentos en 7 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgptNVIDIA H800GPUSara RobiscoDeepSeekH800CEO de NVIDIAApple IntelligenceFrancis VillatoroNVIDIAChinaIA (Inteligencia Artificial)Héctor SocasGoogleChatGPTTPU
NVIDIA H800
Con
0:000:301:001:302:002:303:11
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #1 · Palabras #1
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
Habla: Sara RobiscoSignificado #1 · Palabras #1deepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Héctor Socas explica cómo las restricciones tecnológicas actuales impiden que empresas chinas utilicen los procesadores más avanzados de NVIDIA para inteligencia artificial.
Habla: Héctor SocasSignificado #5 · Palabras #7restricciones tecnológicas nvidia chinaprocesadores nvidia para inteligencia artificialempresas chinas tecnología menos avanzadaalgoritmos optimizados sara…teníamos problemas para colaborar con gente en China y había que mandarle una cámara; uno se que había que estar pidiendo permisos especiales y demostrar que eso no era tecnología sensible que pudiera el gobierno chino hacerse con conocimiento, bueno, en fin. Entonces, ahora mismo la cosa está mucho peor y hay restricciones tecnológicas que afectan, por ejemplo, a los últimos procesadores de NVIDIA más avanzados para hacer computación en inteligencia artificial; no se pueden exportar a China. Entonces, el hecho de que una empresa china esté haciendo estos desarrollos los tiene que hacer con tecnología menos avanzada, tecnología más antigua, como dice Sara y por eso pues quizás han tenido que optimizar esos algoritmos. Es lo que ellos dicen, porque claro, eso habrá que verlo; porque uno no sabe, si bien es público los pesos y el software, uno no sabe cómo lo han entrenado, que al final es la clave en todo esto. OpenAI al principio era todo código abierto y luego lo fueron cerrando, pero los modelos de ChatGPT hasta 3 era todo abierto, creo que 3.5 empezaba a ser parcialmente; el 3.5 algunas cosas eran abiertas y otras no, que es un poco la situación en la que está…
Francis Villatoro menciona que el CEO de NVIDIA ha expresado su objetivo de permitir la ejecución de modelos de lenguaje en teléfonos móviles y hace referencia a Apple Intelligence.
Habla: Francis VillatoroSignificado #4 · Palabras #2ceo nvidia ejecución modelos lenguajemodelos lenguaje en teléfonos móvileschip inteligencia apple intelligenceapple intelligence en dispositivos móviles…o sea, no le he dado mucha caña a cuánto de inteligente es, pero la conversación es súper fluida. Creo que es el que más natural ha logrado tener la conversación con el modelo de lenguaje y de nuevo, me falta la integración total con todo lo que está. En el móvil. Ese es el tema clave de NVIDIA, o sea, lo dijo el CEO de NVIDIA; lo ha dicho ya en varias ocasiones. Su objetivo fundamental de aquí a un par de años es que todos los modelos de lenguaje se puedan ejecutar en local en tu teléfono móvil. Que tengas un chip de inteligencia; de hecho, sabéis lo de Apple Intelligence. Vamos a tener Apple Intelligence por todos. Lados, pero todavía no la tenemos en el iPhone; lo van a activar ahora, ¿no se han activado ya estos días o lo van a activar la semana que viene? Se va a activar ya inmediatamente. Pero es porque la inteligencia, ninguno de nosotros que estamos aquí confiamos…
Francis Villatoro explica que Nvidia está trabajando en tecnología que permitirá a los teléfonos móviles contar con chips dedicados a la inteligencia artificial, reemplazando las funcionalidades actuales.
Habla: Francis VillatoroSignificado #6 · Palabras #4nvidia chips dedicados inteligencia artificialteléfonos móviles chip inteligencia artificialconsumo extremo chip nvidia…funciona? Eso es que está funcionando dentro de mi móvil. Solamente cuando haya una cuestión en la que necesite recurrir al Internet, me dirá ¿Me das permiso para que me conecte a Internet y te lo resuelva gracias a Internet? Y tú ya se lo das, ¿o no? Y eso es en lo que está trabajando Nvidia, y eso va a ser revolucionario porque todos los teléfonos móviles van a tener su chip gordo de inteligencia artificial y el mierdecilla para hacer todo lo que hacen hoy en día los móviles. Y ese chip gordo tiene que tener un consumo extremadamente bajo para no cargarse la batería del móvil y eso va a aparecer ya. Es una cosa que estaba anunciada para finales de 2025 y probablemente en 2026 todos tengamos ya que cambiar de móvil y comprarnos un móvil con su chip de inteligencia artificial bien avanzado.…
Francis Villatoro describe un futuro cercano, en aproximadamente cinco años, donde la tecnología descrita se generalizará y tendrá un impacto significativo en NVIDIA.
Habla: Francis VillatoroSignificado #10 · Palabras #5nvidia y su impacto tecnológicogoogle y el futuro cercanoimpacto inmediato en nvidianvidia macroempresa en cinco años…tienda en Lugo. Si quieres te pido el vestido y te lo mando. ¿Quieres que compruebes si está tu talla? Porque además tú no le dirás qué talla tienes, él ya sabrá qué talla tienes porque conoce todo de ti. Ese es el objetivo y esa revolución que parece algo. Como muy fantasioso va a venir en cinco años, con toda seguridad todos lo tenemos y se espera. Se espera que sea inmediato, y eso le va a dar a NVIDIA el poder de convertirse en una macroempresa comparada con lo que tiene ahora; ahora es la número uno del mundo, pues dentro de nada será diez veces respecto a la segunda. Pero si es que esto Google Ya lo tenía. Espera, espera: que Gastón quería decir algo. No, no: pensaba que incluso te podía aconsejar; te voy a decir: quiero tal vestido, me lo quiero comprar; no sea ridículo, maestro. Tú te has visto. No, no: te saldrá la imagen; quieres verte y te…
Héctor Socas analiza la reacción del mercado bursátil ante las noticias relacionadas con NVIDIA y su enfoque en la fabricación de chips para inteligencia artificial.
Habla: Héctor SocasSignificado #3 · Palabras #3caída bolsa nvidia chinachips nvidia para ia superpotenteempresas chinas hacen ia competitivanvidia invierte dinero en chips…China sobre Estados Unidos y que es erróneo verlo en términos nacionales, pero que él lo ve como una victoria de open source frente a código propietario. Esa es otra reflexión interesante con las salvedades que comentamos al principio sobre tema open source. Y luego estábamos comentando las reacciones también de la bolsa, que a mucha gente le sorprendió, hubo una caída en general de las tecnológicas y sobre todo de NVIDIA, no sé si esto está actualizado este número, pero lo que vi ayer era que había caído un 17% en bolsa NVIDIA, porque claro, NVIDIA está centrándose en fabricar chips de última generación para IA superpotente que no se pueden exportar a China y ahora vemos que China, las empresas chinas, sin necesidad de esos chips de última generación, son capaces de hacer IA competitiva. Entonces, quizás esto se ha interpretado como que Envidia va a perder mucho valor porque esos chips en los que está invirtiendo tanto dinero no son necesarios. Bueno, no sé si quieren hablar sobre el tema, yo comenté antes en el descanso que me parece una reacción totalmente normal y habitual del mercado y que igual que bajó volverá a subir. Pero bueno, esta bajada ha sido aprovechada por algunas personas para invertir, para que saben que volverá a subir y seguirá…