Búsqueda · 30 momentos en 16 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdeepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgptChatGPTTPUGPUSara RobiscoDeepSeekGoogleTPUsChinaGPTOpenAIDeepSyncHéctor SocasChat GPTNintendoYouTubeAPISaraDeep SeekNVIDIA H800OpenIALlamaFrancis VillatoroH800
ChatGPT usa TPUs no GPUs
Con
0:000:301:001:302:002:303:11
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Significado #1 · Palabras #1
Héctor Socas comenta sobre la proliferación de modelos de lenguaje adaptados para uso práctico, destacando el predominio actual de ChatGPT pero reconociendo la existencia de otros modelos igualmente competentes.
Habla: Héctor SocasSignificado #10chatgpt predominio actualmodelos lenguaje uso prácticodeep seek chinagrandes modelos lenguaje nivel…está todo el mundo probando; los servidores están petados ahí, pero más o menos, va sacando la cabeza fuera del agua y poco a poco va dando abasto en algunas cosas y podemos estar probando un nuevo actor en este escenario de los grandes modelos de lenguaje. y sobre todo de los adaptados para el uso práctico, los que hemos venido usando yo creo todo el mundo, últimamente con sobre todo ChatGPT, también en menor medida otros muchos que hay que siempre nos olvidamos, parece que siempre que solo está ChatGPT, pero hay muchos otros con muy buen nivel, es realmente asombroso lo que pueden hacer hoy en día estos grandes modelos de lenguaje y ahora ha irrumpido con fuerza otro, que Sara nos va a hablar de Deep Seek, que además viene de China, con todo lo que eso lo involucra. Sí, la verdad es que tenemos... Empieza bien el año de la serpiente. Empiezan los chinos, empiezan sembrados, empiezan a tope. Sí, tenemos este nuevo modelo sobre el que habéis oído muchísimas noticias, cosas muy tremendas y claro aquí estamos para separar la…
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoSignificado #4 · Palabras #7google tpus optimización hardwareprecisión coma flotante bits…para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
Habla: Sara RobiscoSignificado #1 · Palabras #1deepseek y técnica divide vencerásahorro costes modelos pequeñosnvidia h800 en deepseekcautela con informe técnico deepseekreproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamientodeepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…y así resolvemos antes los problemas. Ellos han hecho lo mismo: en lugar de usar un modelo gigantesco, monolítico, lo que han hecho es que lo han dividido en pequeños modelos más pequeñitos y los han puesto a trabajar juntos. ¿En qué ganamos con esto? Fácil, estos pequeños modelitos se entrenan con menos necesidad de potencia y menos GPU, así que es un ahorro de costes bastante majete. También os digo, hay que ser un poquito escépticos; ellos nos comentan cosas interesantes en su artículo, como por ejemplo que usan 2048 GPUs NVIDIA H800, que no son lo último pero bueno, no están mal, pero tienen bastante buen resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Sara Robisco explica la importancia de tener modelos de código abierto como alternativa a sistemas cerrados como ChatGPT, destacando que esto refleja positivamente sobre el desarrollo tecnológico en China.
Habla: Sara RobiscoSignificado #15chatgpt modelo cerradoalternativa código abierto chinadesarrollo tecnológico en china…me parece interesante en este sentido se defiende francamente a niveles casi de prácticamente como ChatGPT como el último y tiene en las gráficas la verdad es que se le ve bien lo que pasa es que el tema es ya os digo coger un poquito con pinzas porque porque Eso, porque esto hasta que no lo reproduzcan, pero como todo o sea ChatGPT es un modelo cerrado. No tenemos tampoco nada con que comparar, pero sí que me parece importante eso: el que tenemos un modelo de código abierto ahora mismo disponible, que eso también dice mucho a favor de los chinos. Yo quiero hacer un par de comentarios porque he visto en medios de comunicación y por ahí que como además todo lo que nos llega está tan politizado que hay mucha controversia sobre que China ha hecho o ha dejado de hacer y tal. Y hay que tener en cuenta que…
Héctor Socas explica cómo OpenAI inicialmente fue de código abierto, pero posteriormente cerró su acceso, y comenta sobre la evolución del modelo ChatGPT, donde las versiones hasta la 3 eran completamente abiertas.
Habla: Héctor SocasSignificado #16openai inicialmente código abiertochatgpt versiones hasta 3 abiertaschatgpt 3 5 parcialmente abierto…y por eso pues quizás han tenido que optimizar esos algoritmos. Es lo que ellos dicen, porque claro, eso habrá que verlo; porque uno no sabe, si bien es público los pesos y el software, uno no sabe cómo lo han entrenado, que al final es la clave en todo esto. OpenAI al principio era todo código abierto y luego lo fueron cerrando, pero los modelos de ChatGPT hasta 3 era todo abierto, creo que 3.5 empezaba a ser parcialmente; el 3.5 algunas cosas eran abiertas y otras no, que es un poco la situación en la que está DeepSeek. entonces claro, hay que verlo, hay gente que dice, hay un rumor por ahí en una leyenda urbana de que OpenAI le ha puesto una demanda porque dice que les han copiado, eso no es cierto lo que si es cierto que se ha dicho es que Microsoft en particular, que es…
Héctor Socas comenta sobre el uso legítimo de técnicas como la destilación para entrenar modelos de lenguaje, contrastándolo con las restricciones impuestas por OpenAI en relación a ChatGPT.
Habla: Héctor SocasSignificado #11destilación modelos lenguaje openaitécnicas destilación chatgpt restriccionespruebas gpt interfaz char gpt…y respuestas al otro modelo y usas eso para entrenar el tuyo. Sí, de hecho en el propio artículo lo dicen; ellos mismos dicen que han destilado, pero han destilado a Llama y hay otra que han destilado también; han destilado dos modelos de código abierto. Para esos códigos es legítimo, pero por ejemplo OpenIA no te permite hacer eso con ChatGPT, no está permitido por los términos de uso, entonces habrá que verlo, pero lo que está claro es que a mí me parece que es buenísimo, funciona maravillosamente bien, yo lo he estado probando y tengo algunos comentarios que no sé si tenemos tiempo, quizás sí podemos entrar un poquito en eso. A ver, de entrada se parece muchísimo a echar GPT hasta la interfaz, e incluso la forma en la que te responde Cierto A mí, yo la verdad que lo he estado probando bastante y me gusta. No he podido hacer pruebas sistemáticas porque tiene también una API, igual que con GPT hay una API que tú puedes usar para, yo uso; yo tengo la API de GPT, o sea pago por tener el acceso y…
Héctor Socas explica cómo está experimentando con DeepSeek y destaca una característica importante: su API es compatible con la de GPT.
Habla: Héctor SocasSignificado #14api deepseek compatible con gptadaptación trivial programas gpt…experimentos. O sea, una cosa es poner ahí una preguntita en un prompt, pero realmente para comparar modelos y tal, tienes que hacer experimentos. Claro, tiene que ser sistemático, tienes que repetirlo muchas veces, hacer estadística de los resultados y tal. Entonces eso lo hago con una API. Resulta que vi y me pareció chulísimo que DeepSeek, una de las cosas guays que ha hecho es que ha hecho su API compatible con la de GPT, o sea que si tú tienes un programa que use GPT en principio es trivial de adaptarlo para que use la de. DeepSeek. Entonces lo estuve intentando pero lleva desde ayer caída; bueno, caída está cerrada por mantenimiento la página, o sea ellos dicen que sí que tienen su app y que puedes acceder y tal y de hecho he estado mirando la documentación ya me he hecho el…
Héctor Socas explica su preferencia continua por el modelo GPT, destacando las ventajas de OpenAI más allá del campo de la inteligencia artificial, incluyendo su infraestructura tradicional.
Habla: Héctor SocasSignificado #5gpt modelo preferencia héctor socasventaja openai infraestructura tradicionaldeep sync vs openai informática…y bueno, íbamos a hablar de las reacciones de la bolsa, de otra gente y tal, pero antes quería comentar una cosa: a mí me parece que efectivamente, como dice Francis, la producción de OpenAI pues tiene cosas preparadas que va a ir sacando próximamente. Yo, con lo que hay ahora mismo, la razón por la que sigo usando el modelo GPT es por todo lo que le rodea; donde sí que hay una ventaja en OpenAI con respecto a DeepSync es la informática tradicional, quitando aparte lo de la inteligencia artificial y toda una serie de cosas que OpenAI ha ido construyendo alrededor por. ejemplo, el tema de que puedes crear estos asistentes que están especializados para ciertas tareas, yo esto lo uso mucho el tema de que ahora hace un par de semanas sacaron esta integración con tareas programadas, que me parece genial, que puedes programar…
Héctor Socas lamenta la falta de aplicaciones externas a la web Chat GPT, destacando el potencial sin explotar de la API de GPT.
Habla: Héctor SocasSignificado #8api de gpt sin explotarjuego nintendo usa gptgpt en juego de rol…es la misma, pero digamos que son añadidos de informática tradicional que se le han puesto alrededor y que son muy útiles; y eso va. Y es lo que yo todavía, por cierto, hago un inciso para decir que es lo que sigo echando de menos en todos estos desarrollos. Me falta que, por ejemplo, que GPT salga de la web, que salga de Chat GPT. O sea, que tengan la API. O sea, ¿por qué no está todo lleno de aplicaciones? Hace poco alguien comentaba en el chat de YouTube, que efectivamente, además yo lo he visto, hay un juego de Nintendo que usa GPT para hacer las conversaciones con los personajes. O sea, cuando interactúas con un personaje del juego, te responde siguiendo, o sea, usa GPT para generar las respuestas, ese tipo de cosas, ¿no? Hace poco vi que hay un juego de rol; digo, bueno, pues ya estábamos tardando, o sea, hay un montón de posibilidades ahí para explorar y que todavía no se están explorando, ¿no? Yo creo que la primera gran revolución que van a tener estos modelos va a ser como nuestro asistente virtual. La posibilidad de tener un secretario que te ayuda a hacer toda la gestión y todas las cosas, o sea, faltará integrar esto con el mail y yo a esto,…
Francis Villatoro explica cómo la adopción generalizada de inteligencia artificial podría cambiar radicalmente la forma en que interactuamos con la tecnología, incluso llegando a reemplazar el uso de navegadores web.
Habla: Francis VillatoroPalabras #11chatgpt como navegador webnavegación internet con char gptcompra de billetes por inteligencia artificialfoto vestido compra asistida ia…el teléfono móvil, está más integrado en PC que en móvil. Y esa va a ser la gran revolución, porque de repente nadie necesita una inteligencia artificial para nada, pero en el momento en el que todo el mundo usa una necesidad artificial y tú seas el tonto que No la usa, te vas a encontrar con que te genera esa necesidad y toda tu vida va a rondar por a ti de ahí; o sea, tú ya vas a dejar de olvidarte de lo que es usar un navegador web, le vas a pedir que ChatGPT, algo equivalente como se llame, sea el que te navegue por internet y te busque las cosas por internet. Tú no comprarás billetes, te lo comprará él; tú no comprarás, te comprará él; tú irás por la calle, harás una foto a un vestido y dirás si este vestido me gustaría comprarlo y él Te dirá pues ahora mismo es de la temporada de hace dos años de tal tienda y ahora mismo está disponible en stock en no sé qué tienda en Lugo. Si quieres te pido el vestido y te lo mando. ¿Quieres que compruebes si está tu talla? Porque además tú no le dirás…