Búsqueda · 17 momentos en 12 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetchatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgptChatGPTTPUGPUSara RobiscoDeepSeekGoogleTPUsChinaAppleFrancis VillatoroNvidiaCEO de NVIDIAApple Intelligence
TPU
Con
0:000:301:001:302:002:303:11
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
…pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #1
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoSignificado #2google tpus optimización hardwareprecisión coma flotante bits…para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
Habla: Sara RobiscoSignificado #1chatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Francis Villatoro menciona que el CEO de NVIDIA ha expresado su objetivo de permitir la ejecución de modelos de lenguaje en teléfonos móviles y hace referencia a Apple Intelligence.
Habla: Francis VillatoroSignificado #10ceo nvidia ejecución modelos lenguajemodelos lenguaje en teléfonos móvileschip inteligencia apple intelligenceapple intelligence en dispositivos móviles…o sea, no le he dado mucha caña a cuánto de inteligente es, pero la conversación es súper fluida. Creo que es el que más natural ha logrado tener la conversación con el modelo de lenguaje y de nuevo, me falta la integración total con todo lo que está. En el móvil. Ese es el tema clave de NVIDIA, o sea, lo dijo el CEO de NVIDIA; lo ha dicho ya en varias ocasiones. Su objetivo fundamental de aquí a un par de años es que todos los modelos de lenguaje se puedan ejecutar en local en tu teléfono móvil. Que tengas un chip de inteligencia; de hecho, sabéis lo de Apple Intelligence. Vamos a tener Apple Intelligence por todos. Lados, pero todavía no la tenemos en el iPhone; lo van a activar ahora, ¿no se han activado ya estos días o lo van a activar la semana que viene? Se va a activar ya inmediatamente. Pero es porque la inteligencia, ninguno de nosotros que estamos aquí confiamos…
Francis Villatoro explica que la tecnología de Nvidia permitirá a los teléfonos móviles contar con chips dedicados a la inteligencia artificial, lo que probablemente obligará a cambiar de móvil para tener esta capacidad avanzada.
Habla: Francis VillatoroSignificado #6 · Palabras #2nvidia y chips inteligencia artificialcambiar móvil chip inteligencia artificialapple m4 y tpu integradabatería móvil consumo tecnología nvidia…Nvidia, y eso va a ser revolucionario porque todos los teléfonos móviles van a tener su chip gordo de inteligencia artificial y el mierdecilla para hacer todo lo que hacen hoy en día los móviles. Y ese chip gordo tiene que tener un consumo extremadamente bajo para no cargarse la batería del móvil y eso va a aparecer ya. Es una cosa que estaba anunciada para finales de 2025 y probablemente en 2026 todos tengamos ya que cambiar de móvil y comprarnos un móvil con su chip de inteligencia artificial bien avanzado. Eso ya lleva tiempo, ya hay móviles que llevan años metiendo una TPU para estos modelos Sí, sí, Apple lo lleva metido en todos los chips ahora, está integrado en todos los propios chips, el M4, el M2, todo eso tiene su parte de... Pero eso todavía no está completamente integrado con el teléfono móvil, está más integrado en PC que en móvil. Y esa va a ser la gran revolución, porque de repente nadie necesita una inteligencia artificial para nada, pero en el momento en el que todo el…