Búsqueda · 34 momentos en 23 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek aplica divide vencerásmodelo gigantesco deepseek optimizadopequeños modelos trabajando juntos deepseekdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekNVIDIA H800GPUSara RobiscoDeepSeekGoogleTPUsChinaHéctor SocasITERFrancis VillatoroWestEast
Ahorro costes modelos pequeños
Con
0:000:301:001:302:002:303:11
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
…sino que te crea un chorro de palabras varias juntas. ¿Esto qué hace? Pues se aumenta mucho la velocidad de inferencia. A la hora de darte una respuesta es más rápido y esto es una ventaja muy buena porque claro, a más velocidad con menos recursos vas bien. Y luego han aplicado una cosa que nos gusta mucho en informática: que es el sistema de dividir y vencerás. ¿En qué consiste? Divide y vencerás es una técnica que usamos mucho; es cuando tienes un problema grande, algo que es poco abarcable, lo dividimos en problemas más pequeños, que son fácilmente abarcables, y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea…
Significado #1 · Palabras #1
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoPalabras #6google tpus optimización hardwareprecisión coma flotante bits…para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica las ventajas de la técnica 'divide y vencerás' aplicada a DeepSeek, destacando el ahorro de costes al entrenar modelos más pequeños.
Habla: Sara RobiscoSignificado #1 · Palabras #1deepseek aplica divide vencerásmodelo gigantesco deepseek optimizadopequeños modelos trabajando juntos deepseekdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseek…sino que te crea un chorro de palabras varias juntas. ¿Esto qué hace? Pues se aumenta mucho la velocidad de inferencia. A la hora de darte una respuesta es más rápido y esto es una ventaja muy buena porque claro, a más velocidad con menos recursos vas bien. Y luego han aplicado una cosa que nos gusta mucho en informática: que es el sistema de dividir y vencerás. ¿En qué consiste? Divide y vencerás es una técnica que usamos mucho; es cuando tienes un problema grande, algo que es poco abarcable, lo dividimos en problemas más pequeños, que son fácilmente abarcables, y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea…
Sara Robisco explica que el postentrenamiento de DeepSeek requirió 5000 horas de GPU, aunque estas fueron más económicas y de menor consumo que las utilizadas por otros modelos.
Habla: Sara RobiscoSignificado #9 · Palabras #10deepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modelos…menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos…
Tras comentar sobre la viralización de DeepSeek y los problemas técnicos derivados del alto número de usuarios, se discute la posibilidad de descargar e instalar el modelo localmente para su uso.
Habla: Sara RobiscoSignificado #11descargar deepseek localmentemodelo deepseek tamaño reducidoproblemas técnicos deepseek usuarios…les debe haber venido una avalancha de peticiones de repente de todo el mundo. Esto se ha hecho tan viral que está todo el mundo queriendo probar el nuevo sistema, ¿no? Así que no he podido usar la app y a ver si de aquí a la semana que viene tengo tiempo. Una cosa también muy curiosa que a mí me ha gustado es que se puede, te puedes descargar y puedes trabajar en el local. Sí, pero es un modelo más pequeño. Sí, claro, hombre, obviamente tiene que ser más pequeñito para que funcione en tu equipo. Y nada, y genial por lo demás, he probado a ponerle, por ejemplo, papers y que le hago las típicas preguntas y demás Y hay cosas hasta que me gustan más que cómo las hace GPT No sé si es por el efecto novedad, siempre tenemos este sesgo de cuando algo nuevo nos encandila más la novelería que decimos en…
Francis Villatoro explica el propósito de los reactores de fusión pequeños como West (en Francia) y East (en China), destacando su función para probar tecnologías de control del plasma antes de implementarlas en ITER.
Habla: Francis VillatoroPalabras #13reactores west francia control plasmareactores east china estabilidad plasmaiter prueba tecnologías control plasma…ITER, y una de las cosas que hacen los países que pertenecen a ITER es tener pequeños reactores de fusión para hacer experimentos. En Europa hay dos reactores de fusión relativamente gemelos; se llaman West y East. West está en Francia y East está en China. Y son reactores que son pequeñitos y se utilizan básicamente para probar tecnologías de control de la estabilidad del plasma que después se implementarán en ITER. La idea es que si en un reactor pequeño yo puedo probar ciertas cosas que acabaré probando en ITER, si las pruebo en un reactor pequeño y veo que funcionan mejor o peor, etc., eso me puede ahorrar tiempo a la hora de hacer las pruebas en ITER. De tal manera que yo puedo, la fase inicial de Iter, porque inicialmente Iter iba a estar la obra conclusa, acabada, pues alrededor de 2025 y íbamos a tener unos 10 años de pruebas de diferentes tecnologías de control de los plasmas y después ya en 2037, por ahí, ya íbamos a hacer la primera inyección de…
Francis Villatoro explica la utilidad de los reactores pequeños en relación con el proyecto ITER, destacando que sirven para probar tecnologías de control y reducir el riesgo en proyectos más grandes.
Habla: Héctor SocasPalabras #18reactores pequeños control itertecnologías control proyecto iterriesgo reducido en iterconfianza agencias financiadoras iter…que está en Europa, probablemente en un año o dos años vuelva a aparecer. Y los europeos también lo hemos hecho; hemos superado los mil segundos. En realidad, son cositas, son reactores pequeñitos y están ahí haciendo una investigación que es muy importante. porque es una investigación sobre todo porque están probando tecnologías de control que después se van a probar en ITER. Entonces, si yo tengo 10 posibles tecnologías de control y estos pequeños reactores me descartan 6, pues yo solo tengo que probar 4, las 4 mejores en ITER y eso me ahorra tiempo en ITER. Digamos, esa es la gran utilidad de estos pequeños reactores. Supongo que también aporta confianza, ¿no? Agencias financiadoras que van a gastar un montón de pasta en construir ITER, el demostrar que hay vías que funcionan, que te permiten controlar el plasma en una escala de tiempo que ya es comparable a la que va a tener ITER, aunque sea más pequeño y a una escala diferente, pero a lo mejor tiene un cierto valor de prototipo y darte confianza para ir dando pasitos, ¿no? No lo sé. No sé, bueno, es que esto era parte del acuerdo de China cuando se incorporó a eso; es que no solo los franceses tuvieran el pequeño reactor West para comprobar ese tipo de tecnologías en Francia, sino que ellos se incorporaban a ITER, también con la…