Búsqueda · 30 momentos en 18 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetrestricciones exportación chinahardware inteligencia artificial chinaoptimización software años 80 y 90google tpus optimización hardwareprecisión coma flotante bitsGoogleTPUsChinaSara RobiscoInteligencia ArtificialSoftwareAños 80Años 90ChatGPTTPUGPUDeepSeekAppleFrancis VillatoroNvidiaIngenieríaPlasmaCEO de NVIDIAApple IntelligenceHéctor SocasRestaurante
Google TPUs optimización hardware
Con
0:000:301:001:302:002:303:11
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
…se nos ha olvidado. En las últimas décadas, por desgracia, en el desarrollo de software intentamos gastar todo lo que dé la máquina; vamos a aprovechar todos los recursos de la máquina y eso es un error. El problema que tiene China es que tiene un problema. De control de exportaciones, este tema de control de exportaciones lo que hace es que las empresas chinas no pueden adquirir los últimos modelos de hardware para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Significado #1 · Palabras #1
Sara Robisco continúa la conversación sobre DeepSeek, un modelo de lenguaje originario de China, comparándolo con las optimizaciones realizadas por Google a través del desarrollo de sus TPUs.
Habla: Sara RobiscoSignificado #1 · Palabras #1restricciones exportación chinahardware inteligencia artificial chinaoptimización software años 80 y 90google tpus optimización hardwareprecisión coma flotante bits…se nos ha olvidado. En las últimas décadas, por desgracia, en el desarrollo de software intentamos gastar todo lo que dé la máquina; vamos a aprovechar todos los recursos de la máquina y eso es un error. El problema que tiene China es que tiene un problema. De control de exportaciones, este tema de control de exportaciones lo que hace es que las empresas chinas no pueden adquirir los últimos modelos de hardware para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué eficiencia han hecho? vamos por partes, la primera es que han disminuido un poquito la precisión, los modelos actuales estaban usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT,…
Sara Robisco explica que los modelos ChatGPT utilizan TPUs en lugar de GPUs, lo que implica un menor consumo eléctrico y una menor generación de calor.
Habla: Sara RobiscoSignificado #3 · Palabras #5deepseek postentrenamiento 5000 horas gpugpus deepseek más baratas consumoahorro entrenamiento deepseek vs otros modeloschatgpt usa tpus no gpustpus chatgpt menor consumo eléctricomodelos chatgpt generan menos calorsarah robisco modelos chatgpt…menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener un ahorro, pero también os digo: estamos comparando GPU contra GPU. que pasa que muchos de estos modelos ChatGPT usa TPUs, no usa GPUs, entonces que consumen menos, consumen menos electricidad, se calientan menos entonces también esas cosas tenemos que tenerlas en cuenta, está muy bien pero también tiene cositas que tenemos que tener muy en cuenta para darnos cuenta un poco de la realidad y la situación. Esto, sí, os digo que aunque diga estas cosas que sí es muy interesante y a mí me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han…
Héctor Socas explica cómo las restricciones tecnológicas actuales impiden que empresas chinas utilicen los procesadores más avanzados de NVIDIA para inteligencia artificial.
Habla: Héctor SocasSignificado #18restricciones tecnológicas nvidia chinaprocesadores nvidia para inteligencia artificialempresas chinas tecnología menos avanzadaalgoritmos optimizados sara…teníamos problemas para colaborar con gente en China y había que mandarle una cámara; uno se que había que estar pidiendo permisos especiales y demostrar que eso no era tecnología sensible que pudiera el gobierno chino hacerse con conocimiento, bueno, en fin. Entonces, ahora mismo la cosa está mucho peor y hay restricciones tecnológicas que afectan, por ejemplo, a los últimos procesadores de NVIDIA más avanzados para hacer computación en inteligencia artificial; no se pueden exportar a China. Entonces, el hecho de que una empresa china esté haciendo estos desarrollos los tiene que hacer con tecnología menos avanzada, tecnología más antigua, como dice Sara y por eso pues quizás han tenido que optimizar esos algoritmos. Es lo que ellos dicen, porque claro, eso habrá que verlo; porque uno no sabe, si bien es público los pesos y el software, uno no sabe cómo lo han entrenado, que al final es la clave en todo esto. OpenAI al principio era todo código abierto y luego lo fueron cerrando, pero los modelos de ChatGPT hasta 3 era todo abierto, creo que 3.5 empezaba a ser parcialmente; el 3.5 algunas cosas eran abiertas y otras no, que es un poco la situación en la que está…
Francis Villatoro menciona que el CEO de NVIDIA ha expresado su objetivo de permitir la ejecución de modelos de lenguaje en teléfonos móviles y hace referencia a Apple Intelligence.
Habla: Francis VillatoroSignificado #16ceo nvidia ejecución modelos lenguajemodelos lenguaje en teléfonos móvileschip inteligencia apple intelligenceapple intelligence en dispositivos móviles…o sea, no le he dado mucha caña a cuánto de inteligente es, pero la conversación es súper fluida. Creo que es el que más natural ha logrado tener la conversación con el modelo de lenguaje y de nuevo, me falta la integración total con todo lo que está. En el móvil. Ese es el tema clave de NVIDIA, o sea, lo dijo el CEO de NVIDIA; lo ha dicho ya en varias ocasiones. Su objetivo fundamental de aquí a un par de años es que todos los modelos de lenguaje se puedan ejecutar en local en tu teléfono móvil. Que tengas un chip de inteligencia; de hecho, sabéis lo de Apple Intelligence. Vamos a tener Apple Intelligence por todos. Lados, pero todavía no la tenemos en el iPhone; lo van a activar ahora, ¿no se han activado ya estos días o lo van a activar la semana que viene? Se va a activar ya inmediatamente. Pero es porque la inteligencia, ninguno de nosotros que estamos aquí confiamos…
Francis Villatoro explica que la tecnología de Nvidia permitirá a los teléfonos móviles contar con chips dedicados a la inteligencia artificial, lo que probablemente obligará a cambiar de móvil para tener esta capacidad avanzada.
Habla: Francis VillatoroSignificado #7nvidia chips dedicados inteligencia artificialteléfonos móviles chip inteligencia artificialconsumo extremo chip nvidianvidia y chips inteligencia artificialcambiar móvil chip inteligencia artificialapple m4 y tpu integradabatería móvil consumo tecnología nvidia…funciona? Eso es que está funcionando dentro de mi móvil. Solamente cuando haya una cuestión en la que necesite recurrir al Internet, me dirá ¿Me das permiso para que me conecte a Internet y te lo resuelva gracias a Internet? Y tú ya se lo das, ¿o no? Y eso es en lo que está trabajando Nvidia, y eso va a ser revolucionario porque todos los teléfonos móviles van a tener su chip gordo de inteligencia artificial y el mierdecilla para hacer todo lo que hacen hoy en día los móviles. Y ese chip gordo tiene que tener un consumo extremadamente bajo para no cargarse la batería del móvil y eso va a aparecer ya. Es una cosa que estaba anunciada para finales de 2025 y probablemente en 2026 todos tengamos ya que cambiar de móvil y comprarnos un móvil con su chip de inteligencia artificial bien avanzado. Eso ya lleva tiempo, ya hay móviles que llevan años metiendo una TPU para estos modelos Sí, sí, Apple lo lleva metido en todos los chips ahora, está integrado en todos los propios chips, el M4, el M2, todo eso tiene su parte de... Pero eso todavía no está completamente integrado con el teléfono móvil, está más integrado en PC que en móvil. Y esa va a ser la gran revolución, porque de repente nadie necesita una inteligencia artificial para nada, pero en el momento en el que todo el…
Sara Robisco comenta sobre el objetivo de un asistente que recuerde tallas de ropa y calzado para toda la familia, haciendo referencia a funcionalidades ya existentes como las del asistente de Google.
Habla: Sara RobiscoPalabras #19asistente google reserva mesatallas ropa calzado familia asistentesasistente google funcionalidades existentes…el de cualquiera de tu familia y tú no tendrás que acordarte ni de la talla de los zapatos ni de la talla de nadie de tu familia; se acordará el bicho porque el bicho lo detectará automáticamente a partir de tus fotos. Algo así como un secretario para pobres. Sí, exactamente ese es el objetivo. Pero eso ya lleva asistiendo el asistente de Google. Claro, claro existe, pero nadie lo usa ¿por qué nadie lo usa? Porque no funciona. El asistente de Google es capaz de llamar al restaurante y reservar de mesa y todo, pero desde hace años. Sí, pero me falta, insisto, la integración con todo. Eso que decía Francis, de que da miedo que vea tus mails, tus fotos. Yo debo tener una vida muy aburrida porque yo no tengo ningún problema que una inteligencia artificial vea todos mis mails, mis mensajes,…
Tras una conversación sobre la financiación de proyectos científicos y la capacidad de innovación con recursos limitados, Francis Villatoro comenta sobre la necesidad de optimizar los procesos en el desarrollo de reactores.
Habla: Francis VillatoroPalabras #8optimiza procesos desarrollo reactoresreactores para estudiar plasmasingeniería optimización proyectos científicosfrancis villatoro innovación recursos limitados…euros adicionales. Pues es mal momento para sacar esa conversación porque ahora está todo el mundo diciendo que total no se falta dinero porque los chinos han demostrado que con pocos recursos y un poco de imaginación se pueden hacer las cosas igual de bien, Así que ahora ya todo el que pida dinero se dirá: no, no, no. Aplica imaginación y tira para adelante; optimiza, que eso es muy ingeniería. Optimiza, pero bueno, ya os digo, este tipo de reactores son eso, son muy interesantes para estudiar plasmas, pero lo que tienen que saber. Nuestros oyentes es primero que esto es un... Bueno, es el encendido del reactor, ¿vale? Ahora ya pueden empezar a hacer física experimental, y claro, es una muy buena noticia. Que desde España, este es un reactor que tenemos en Sevilla, pero también tenemos…