Búsqueda · 30 momentos en 21 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek compresión índices claveinferencias reducción memoria virtualredes recurrentes trabajan textossistema deepseek predice bloquesvelocidad inferencia deepseek aumentarespuesta rápida gracias deepseekmenos recursos con deepseekSara RobiscoDeepSeekChinaChar G.P.T.ChatGPT
Inferencias reducción memoria virtual
Con
0:000:301:001:302:002:303:11
Sara Robisco explica cómo DeepSeek ha comprimido los índices clave para realizar inferencias, logrando una reducción del 93% en el uso de memoria virtual y mejorando la eficiencia. Además, describe un método diferente al utilizado por ChatGPT: predecir tokens (palabras) uno a la vez.
…usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT, como hacen todos los modelos actuales que van prediciendo token a token, a ver nosotros cuando hablamos de token es Estas redes recurrentes que trabajan con textos les van entrando tokens, sería un poco las palabras, van entrando palabras y ellos predicen cuál sería la siguiente palabra a decir Entonces en función del texto de cómo va evolucionando van prediciendo palabra a palabra, Bueno pues este sistema no predice palabra a palabra sino que te crea un chorro de palabras varias juntas. ¿Esto qué hace? Pues se aumenta mucho la velocidad de inferencia. A la hora de darte una respuesta es más rápido y esto es una ventaja muy buena porque claro, a más velocidad con menos recursos vas bien. Y luego han aplicado una cosa que nos gusta mucho en informática: que es el sistema de dividir y vencerás. ¿En qué consiste? Divide y vencerás es una técnica que usamos mucho; es cuando tienes un problema grande, algo que es poco abarcable, lo dividimos en…
Significado #1 · Palabras #1
Sara Robisco explica cómo DeepSeek ha comprimido los índices clave para realizar inferencias, logrando una reducción del 93% en el uso de memoria virtual y mejorando la eficiencia. Además, describe un método diferente al utilizado por ChatGPT: predecir tokens (palabras) uno a la vez.
Habla: Sara RobiscoSignificado #1 · Palabras #1deepseek compresión índices claveinferencias reducción memoria virtualredes recurrentes trabajan textossistema deepseek predice bloquesvelocidad inferencia deepseek aumentarespuesta rápida gracias deepseekmenos recursos con deepseek…usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT, como hacen todos los modelos actuales que van prediciendo token a token, a ver nosotros cuando hablamos de token es Estas redes recurrentes que trabajan con textos les van entrando tokens, sería un poco las palabras, van entrando palabras y ellos predicen cuál sería la siguiente palabra a decir Entonces en función del texto de cómo va evolucionando van prediciendo palabra a palabra, Bueno pues este sistema no predice palabra a palabra sino que te crea un chorro de palabras varias juntas. ¿Esto qué hace? Pues se aumenta mucho la velocidad de inferencia. A la hora de darte una respuesta es más rápido y esto es una ventaja muy buena porque claro, a más velocidad con menos recursos vas bien. Y luego han aplicado una cosa que nos gusta mucho en informática: que es el sistema de dividir y vencerás. ¿En qué consiste? Divide y vencerás es una técnica que usamos mucho; es cuando tienes un problema grande, algo que es poco abarcable, lo dividimos en…