Búsqueda · 18 momentos en 15 episodios
TPUs
Con
0:000:301:001:302:002:303:11
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
…pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #1 · Palabras #2
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoSignificado #5 · Palabras #4google tpus optimización hardwareprecisión coma flotante bits…para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
Habla: Sara RobiscoSignificado #1 · Palabras #2chatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Francis Villatoro explica que la tecnología de Nvidia permitirá a los teléfonos móviles contar con chips dedicados a la inteligencia artificial, lo que probablemente obligará a cambiar de móvil para tener esta capacidad avanzada.
Habla: Francis VillatoroSignificado #9nvidia y chips inteligencia artificialcambiar móvil chip inteligencia artificialapple m4 y tpu integradabatería móvil consumo tecnología nvidia…Nvidia, y eso va a ser revolucionario porque todos los teléfonos móviles van a tener su chip gordo de inteligencia artificial y el mierdecilla para hacer todo lo que hacen hoy en día los móviles. Y ese chip gordo tiene que tener un consumo extremadamente bajo para no cargarse la batería del móvil y eso va a aparecer ya. Es una cosa que estaba anunciada para finales de 2025 y probablemente en 2026 todos tengamos ya que cambiar de móvil y comprarnos un móvil con su chip de inteligencia artificial bien avanzado. Eso ya lleva tiempo, ya hay móviles que llevan años metiendo una TPU para estos modelos Sí, sí, Apple lo lleva metido en todos los chips ahora, está integrado en todos los propios chips, el M4, el M2, todo eso tiene su parte de... Pero eso todavía no está completamente integrado con el teléfono móvil, está más integrado en PC que en móvil. Y esa va a ser la gran revolución, porque de repente nadie necesita una inteligencia artificial para nada, pero en el momento en el que todo el…