Búsqueda · 28 momentos en 17 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgptChatGPTTPUGPUSara RobiscoDeepSeekChinaSaraDeep SeekHéctor SocasGoogleTPUs
TPUs ChatGPT menor consumo eléctrico
Con
0:000:301:001:302:002:303:11
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
…menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #1 · Palabras #1
Héctor Socas comenta sobre la proliferación de modelos de lenguaje adaptados para uso práctico, destacando el predominio actual de ChatGPT pero reconociendo la existencia de otros modelos igualmente competentes.
Habla: Héctor SocasPalabras #10chatgpt predominio actualmodelos lenguaje uso prácticodeep seek chinagrandes modelos lenguaje nivel…está todo el mundo probando; los servidores están petados ahí, pero más o menos, va sacando la cabeza fuera del agua y poco a poco va dando abasto en algunas cosas y podemos estar probando un nuevo actor en este escenario de los grandes modelos de lenguaje. y sobre todo de los adaptados para el uso práctico, los que hemos venido usando yo creo todo el mundo, últimamente con sobre todo ChatGPT, también en menor medida otros muchos que hay que siempre nos olvidamos, parece que siempre que solo está ChatGPT, pero hay muchos otros con muy buen nivel, es realmente asombroso lo que pueden hacer hoy en día estos grandes modelos de lenguaje y ahora ha irrumpido con fuerza otro, que Sara nos va a hablar de Deep Seek, que además viene de China, con todo lo que eso lo involucra. Sí, la verdad es que tenemos... Empieza bien el año de la serpiente. Empiezan los chinos, empiezan sembrados, empiezan a tope. Sí, tenemos este nuevo modelo sobre el que habéis oído muchísimas noticias, cosas muy tremendas y claro aquí estamos para separar la…
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoSignificado #15 · Palabras #19google tpus optimización hardwareprecisión coma flotante bits…para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
Habla: Sara RobiscoSignificado #1 · Palabras #1deepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…