Héctor Socas introduce los temas que se tratarán en el programa 'Coffee Break: Señal y Ruido', incluyendo avances en fusión nuclear, el proyecto SMART en Sevilla y el modelo de lenguaje Deep Seek.
Habla: Héctor SocasSignificado #12fusión nuclear chinaproyecto smart sevillamodelo lenguaje deep seekrotura simetría paridad universorelojes atómicos materia oscura…desfasados, sino que ayer comenzó el año nuevo chino, y total, por probabilidad elemental, lo más probable es que sean ustedes chinos, o indios, todo lo más. En cualquier caso, feliz año de la serpiente; están ustedes escuchando Coffee Break, Señal y Ruido. Precisamente de China hablaremos bastante hoy; de sus progresos hacia la fusión nuclear, también de fusión pero más cerca de casa ha sido noticia el proyecto SMART en Sevilla. Y siguiendo con China, está dando mucho que hablar el gran modelo de lenguaje Deep Seek que rivaliza con Chad GPT, con Gemini y compañía. Y hablaremos también de física teórica, de la rotura de simetría de paridad en el universo y de la búsqueda de materia oscura con relojes atómicos y cavidades láser. Ya Saben que tenemos una página web en donde pueden encontrar toda la información sobre este programa: es señalirruido.com. Y además, en esa página tienen todos los episodios anteriores y tienen todas las referencias de los temas que tratamos cada semana: los…
Sara Robisco introduce un nuevo modelo de lenguaje llamado DeepSeek, originario de China, tras una serie de noticias impactantes sobre él.
Habla: Sara RobiscoSignificado #3 · Palabras #6chatgpt predominio actualmodelos lenguaje uso prácticodeep seek chinagrandes modelos lenguaje nivelmodelo lenguaje deepseek chinanoticias impactantes deepseekseparar señal ruido deepseekdeepseek modelo lenguaje chinaevolución sistemas expertos década 90entrenamiento deepseek información genéricamodelo deepseek open sourcedeepseek comparativa sistemas expertospesos de entrenamiento deepseek liberadosconjunto datos deepseek no compartidodeepseek framework redes neuronalessoftware descargable investigación entrenamientoredes neuronales reproducir sistema deepseekarquitectura deepseek no es simpledeepseek basado en open sourcemodelos lenguaje papers publicadosoptimización deepseek carreraeficiencia algoritmos informática villatorométodos optimización desarrollo softwarerecursos máquina desarrollo softwarerestricciones exportación chinahardware inteligencia artificial chinaoptimización software años 80 y 90…está todo el mundo probando; los servidores están petados ahí, pero más o menos, va sacando la cabeza fuera del agua y poco a poco va dando abasto en algunas cosas y podemos estar probando un nuevo actor en este escenario de los grandes modelos de lenguaje. y sobre todo de los adaptados para el uso práctico, los que hemos venido usando yo creo todo el mundo, últimamente con sobre todo ChatGPT, también en menor medida otros muchos que hay que siempre nos olvidamos, parece que siempre que solo está ChatGPT, pero hay muchos otros con muy buen nivel, es realmente asombroso lo que pueden hacer hoy en día estos grandes modelos de lenguaje y ahora ha irrumpido con fuerza otro, que Sara nos va a hablar de Deep Seek, que además viene de China, con todo lo que eso lo involucra. Sí, la verdad es que tenemos... Empieza bien el año de la serpiente. Empiezan los chinos, empiezan sembrados, empiezan a tope. Sí, tenemos este nuevo modelo sobre el que habéis oído muchísimas noticias, cosas muy tremendas y claro aquí estamos para separar la señal de ruido, el grano de la paja, entonces vamos a ver un poquito qué es DeepSeek. DeepSeek es un nuevo modelo de lenguaje, rollo Llama, Chat GPT, que para mí es una evolución que nosotros teníamos en los años 90, llamados sistemas expertos; solo que en el caso de estos modelos suelen ser sistemas expertos en nada porque se nutren, se entrenan con una información muy genérica. Deepseek es un modelo open source, no es un modelo cerrado como por ejemplo ChatGPT y esto es bastante positivo. Ellos han liberado; se puede descargar de arquitectura, tienes el modelo liberado. Tienes los pesos de entrenamiento, también los han compartido; lo único que no han compartido es el conjunto de datos de entrenamiento y test. Y eso se guardan para ellos, pero lo que es arquitectura, todo lo que el software lo tienen Más que un modelo, tenemos que hablar de un framework, porque ya es un sistema bastante complejo ya que lo que tú te descargas para investigación, lo que nos podemos descargar si queremos jugar, si queremos entrenar otra red, si queremos reproducir lo que ellos han hecho te vas a descargar el sistema que han diseñado para entrenarlo, te vas a descargar las redes neuronales, todo entonces no es algo tan simple como un modelete, como una red de citar neuronal, una arquitectura y tira, no, es un poquito más complejo Entonces, ¿qué han hecho? ¿Por qué ahora ha salido? Pues esto es un poco la fuerza y tenemos que insistir en esto, la fuerza y la ventaja de tener Modelos open source porque esta gente no ha partido de cero. En DeepSync no sale de cero, lo que han hecho es que se han basado en más modelos que han ido saliendo en papers que se han publicado, en otros modelos de código abierto y ellos han estado mirando, comparando y en base a esto han generado su propio modelo al cual han aplicado optimización, lo que en la carrera. De informática, Francis, seguro que coincide, que se da en los primeros años: que es eficiencia de algoritmos, métodos de optimización, todo esto que es tan importante y que en las últimas décadas se nos ha olvidado. En las últimas décadas, por desgracia, en el desarrollo de software intentamos gastar todo lo que dé la máquina; vamos a aprovechar todos los recursos de la máquina y eso es un error. El problema que tiene China es que tiene un problema. De control de exportaciones, este tema de control de exportaciones lo que hace es que las empresas chinas no pueden adquirir los últimos modelos de hardware para desarrollar inteligencia artificial. ¿Esto qué propicia? Que hagas lo que puedes con lo que tienes. ¿Esto a qué se parece? A lo que se hacía en los años 80 y 90, que es cuando más auge teníamos en la optimización de software, a nivel de software. pero esto no es nada nuevo, ya Google hizo una optimización de sus sistemas a nivel de hardware desarrollando sus TPUs en 2016 que siguen publicándolas y siguen usándolas entonces algo mega novedoso no es pero está muy bien, entonces ¿qué mejoras, qué…
Sara Robisco explica que es necesario esperar a que otros grupos de investigación reproduzcan los resultados obtenidos con DeepSeek, un modelo de lenguaje desarrollado en China, antes de considerarlos definitivos.
Habla: Sara RobiscoSignificado #20reproducir resultados deepseek grupos investigaciónentrenamiento pre entrenamiento extensión post2048 gpus h800 paralelo2664000 horas gpu preentrenamiento…resultado. Si lo habéis conseguido probar este modelo, oye, responde muy bien. Entonces, mi duda es realmente han usado estas GPUs este paper; bueno, ellos lo ponen dar un informe técnico bastante interesante, pero lo que tenemos es que ser cautelosos ahora. Y esperar. ¿Esperar a qué? A que otros grupos de investigación repitan, reproduzcan esto, porque si lo han conseguido esto tiene que ser reproducible. Así que por ahora bien, pero vamos a dejar un poquito como todo en cuarentena. Para que os hagáis una idea ellos también dividen el entrenamiento, no es entrenamiento test y producción sino hacen un pre-entrenamiento, luego una extensión de contexto y un post-entrenamiento así dividen el entrenamiento en tres pequeñas partes. Para esto usan 2.048 GPUs trabajando en paralelo de este tipo, unas H800. En el preentrenamiento ha tardado menos de dos meses con 2.664.000 horas de GPUs. En la extensión de la longitud del contexto para mejorar su predicción, 119.000 horas de GPU, estamos hablando de que se ha tirado para desarrollar este modelo y tenerlo funcionando necesita mucho tiempo. Y luego 5000 horas de GPU de postentrenamiento, lo cual es bastante, pero si tenemos en cuenta que estas horas de entrenamiento han sido con GPUs más baratas y de menor consumo que el último modelo que están usando otra gente, pues bueno, sí que parece tener…
Sara Robisco explica que DeepSeek funciona bien en inglés y chino, pero tiene problemas al procesar español.
Habla: Sara RobiscoSignificado #5 · Palabras #4deepseek funciona bien inglés chinoproblemas deepseek procesar españoldeepseek nivel chat gpt ingléscastellano deepseek mezcla inglésmodelo r1 de deepseek españolconversaciones largas modelo deepseekdeepseek habla inglés y chino…me parece que es un avance y que tener más modelos de código abierto que podamos probar y jugar está interesante. Bueno, ahora vamos a hablar un poco de los resultados: le han puesto a trabajar en distintos benchmarks, que son bancos de pruebas ¿Y qué nos da? Deepseek solo habla inglés y chino, ¿vale? Y en inglés y chino se defiende muy bien; está al nivel de un chat GPT. ¿Por qué es recomendable, ellos os recomiendan, que hables con él en inglés o chino? Porque en otros tú le puedes hablar en español, sí, en castellano, pero se traba. Va a tener problemas de liarse entre lenguajes, o sea, no te extrañe que tú estés hablando en castellano y el tío mezcle palabras en inglés y castellano. Perdona Sara, será a lo mejor modelos anteriores; yo he estado usando el R1 que es el más novedoso y habla perfectamente español y en inglés sin ningún problema. Sí, inglés o habla. He tenido conversaciones largas y no tiene problema. Sí, habla inglés y chino, pero en las recomendaciones te piden que procures hablar en inglés y chino porque sí que hace saltos. Yo lo he estado usando en español y no da ningún problema. Yo lo que pone en el documento técnico, que ellos dicen de V1, vamos, de este. Claro, lo que pasa es que han sacado varios modelos muy rápidamente. Yo estoy usando el último que está público, que es el R1. Eso, R1. Es posible…
Héctor Socas aclara que DeepSeek, un modelo de lenguaje, no fue creado por el gobierno chino, sino por una empresa llamada DeepSeek, respaldada por un fondo de inversión llamado High Flyer.
Habla: Héctor SocasSignificado #2 · Palabras #1modelo lenguaje deepseek high flyerfondo inversión high flyer chinamicrosoft archirrival linux open sourceopen source grandes empresas microsoft…que nos llega está tan politizado que hay mucha controversia sobre que China ha hecho o ha dejado de hacer y tal. Y hay que tener en cuenta que aquí, aunque realmente subyace detrás cierta estrategia geopolítica y lo demás, aquí estamos hablando de empresas. Exacto. Esto no es el gobierno chino quien ha creado este modelo de lenguaje. Es una empresa que se llama DeepSeek, que pertenece a un fondo de inversión que se llama High Flyer, que está radicado en China. Pero es una empresa china que pertenece a un fondo de inversión chino, tampoco es un grupo de chavales en su garaje. Exacto, tienen pasta. Claro, cuando uno dice open source puede llevarse a cierto engaño pensando en la comunidad Linux. Open source también se usa en grandes empresas y bueno, Microsoft por ejemplo ha sido muy emblemático como ha terminado por abrazar, de haber pasado a ser el archirrival del mundo open source de Linux. Ahora Microsoft usa Linux en sus servidores internamente y es uno de los grandes desarrolladores del open source de Linux. Sí, para haceros una idea, Llama, que es el modelo conversacional de chat GPT de Facebook, de Meta, es open source. No te meta con él. Exacto, Llama es open source. La tarjeta, dijimos que me iba a estar quietito. No tengo tarjetas, tienes vía libre pues eso,…
Héctor Socas y Sara Robisco discuten la importancia geopolítica de DeepSeek, un modelo de lenguaje desarrollado por una empresa china, en relación con las restricciones de exportación tecnológica.
Habla: Héctor SocasSignificado #4 · Palabras #3implicación geopolítica empresa china…haceros una idea, Llama, que es el modelo conversacional de chat GPT de Facebook, de Meta, es open source. No te meta con él. Exacto, Llama es open source. La tarjeta, dijimos que me iba a estar quietito. No tengo tarjetas, tienes vía libre pues eso, llama a. eso, pensos, y es una empresa la que está detrás, una empresa como meta, o sea que no tenemos que pensar que son un puñado de hippies Exacto, hay una implicación geopolítica muy importante que es el hecho de que, o sea, el hecho de que esta empresa esté en China sí que tiene una implicación muy importante por las restricciones de exportaciones tecnológicas a China Claro, es desencadenante además de que puedan hacer Siempre un problema; yo recuerdo desde que yo estaba en Estados Unidos ya teníamos problemas para colaborar con gente en China y había que mandarle una cámara; uno se que había que estar pidiendo permisos especiales y demostrar que eso no era tecnología…
Héctor Socas aborda un rumor sobre una supuesta demanda de OpenAI contra DeepSeek por copia y aclara que no es cierta, aunque sí se ha comentado que Microsoft, un importante patrocinador de OpenAI, podría estar involucrado en alguna acción legal.
Habla: Héctor SocasSignificado #14openai demanda a deepseekmicrosoft patrocinador de openairumor copia por openai…principio era todo código abierto y luego lo fueron cerrando, pero los modelos de ChatGPT hasta 3 era todo abierto, creo que 3.5 empezaba a ser parcialmente; el 3.5 algunas cosas eran abiertas y otras no, que es un poco la situación en la que está DeepSeek. entonces claro, hay que verlo, hay gente que dice, hay un rumor por ahí en una leyenda urbana de que OpenAI le ha puesto una demanda porque dice que les han copiado, eso no es cierto lo que si es cierto que se ha dicho es que Microsoft en particular, que es uno de los grandes patrocinadores de OpenAI Microsoft está investigando; no es que hayan puesto una demanda, todavía no han llegado a ese punto, pero están investigando si se ha hecho una cosa que se llama destilar, que consiste en, digamos que tú haces preguntas y respuestas al otro modelo y usas eso…
Héctor Socas explica cómo está experimentando con DeepSeek y destaca una característica importante: su API es compatible con la de GPT.
Habla: Héctor SocasSignificado #8api deepseek compatible con gptadaptación trivial programas gptpágina web deepseek caída mantenimientoregistro requerido para acceder deepseek…experimentos. O sea, una cosa es poner ahí una preguntita en un prompt, pero realmente para comparar modelos y tal, tienes que hacer experimentos. Claro, tiene que ser sistemático, tienes que repetirlo muchas veces, hacer estadística de los resultados y tal. Entonces eso lo hago con una API. Resulta que vi y me pareció chulísimo que DeepSeek, una de las cosas guays que ha hecho es que ha hecho su API compatible con la de GPT, o sea que si tú tienes un programa que use GPT en principio es trivial de adaptarlo para que use la de. DeepSeek. Entonces lo estuve intentando pero lleva desde ayer caída; bueno, caída está cerrada por mantenimiento la página, o sea ellos dicen que sí que tienen su app y que puedes acceder y tal y de hecho he estado mirando la documentación ya me he hecho el programa y todo pero tienes que digamos que apuntarte, tienes que registrarte que Te den la clave y tal, y esa página lleva desde ayer por la mañana en mantenimiento. Entonces, claro, yo me imagino que les debe haber venido una avalancha de peticiones de repente de todo el mundo. Esto se ha hecho tan viral que está todo el mundo queriendo…
Francis Villatoro señala una peculiaridad en los papers publicados en Archive donde DeepSeek aparece como primer autor, explicando que a menudo se incluye el nombre de la empresa seguido de las personas que trabajan allí.
Habla: Francis VillatoroPalabras #7deepseek primer autor en archivepapers deepseek empresa autorespdf deepseek solo empresa…que es que también hemos de pensar que son chinos y los chinos cuando publican papers, acordaos hace unos años que no se entendía y que costaba mucho, ¿verdad? y ahora la verdad es que yo creo que en formato, todo, yo creo que la he ayudado en la edición. Un pequeño detalle, creo que te equivocas: pone el nombre de la empresa y después pone las personas que pertenecen a la empresa como autores, pero es el clásico; después miras, por ejemplo, el PDF y te encuentras debajo del título solamente el nombre de la empresa. Ah, no es, vale, es que yo estoy viendo el... Título, nombre de la empresa y al final te aparece el listado de personas que trabajan en la empresa. Claro, en Archive está incluido ese primer nombre de la empresa como primer autor, pero no porque el primer…
Héctor Socas agradece a los oyentes su compañía e introduce la segunda parte del episodio número 497 de Coffee Break, donde se analizará el modelo de lenguaje DeepSeek, originario de China pero financiado por un fondo de inversión.
Habla: Héctor SocasSignificado #1 · Palabras #2modelo lenguaje deepseek chinaapi deepseek coste openaifondo inversión deepseek empresa chinarecursos modelo deepseeksospechas destilación deepseek infundadassam altman ceo openai bienvenida competenciamodelo r1 impresionante según sam altmancapacidad computo modelo deepseek limitada…allí para seguir. Vamos a seguir la conversación sobre este y otros temas muy interesantes que tenemos a continuación, y si no nos despedimos hasta la semana que viene. Pero venga, vuelvan con nosotros; búsquenos en el podcast. Hasta ahora, chau, chau, chau. Gracias por seguirnos acompañando o por seguir acompañándonos, como prefieran. Empezamos aquí la cara B de este episodio número 497 de Coffee Break, que empieza a acercarse a un número bastante redondo y vamos a seguir destripando un poco este gran modelo de lenguaje DeepSeek, que nos viene de China, aunque insisto, no del gobierno chino, de una empresa, una empresa china, de un fondo de inversión. Estas cosas son caras, aunque se ha dicho y es importante resaltarlo, que es más barato; efectivamente, la API de hecho es como menos de la décima parte de lo que cuesta la de OpenAI, la de GPT es mucho más barato y también parece, en principio, por lo que sabemos, que cuesta también menos recursos correr este modelo. Vamos a seguir hablando de esto; vamos a ser bien pensados y vamos a asumir que está todo correcto, o sea, que estas sospechas que hay de haber estado destilando cosas que no deberían son infundadas. Sam Altman, por cierto, el CEO de OpenAI en su línea habitual con su discurso de terciopelo no ha sido agresivo sino que al contrario ha dicho que es bienvenido un competidor más; que cuanto más sean mejor; que le parece impresionante el modelo R1; que le impresiona mucho lo que han podido conseguir con tan poco, con menos capacidad de cómputo. Y que esto es algo positivo, pero que no se piense nadie que ya OpenAI ha llegado hasta su techo; o sea, que ellos ya tienen muchas cosas más avanzadas que las van a ir sacando este año, o sea, lanza un mensaje de buen rollista, como suele hacer él siempre,…
Héctor Socas introduce el tema del modelo de lenguaje DeepSeek y anticipa un análisis sobre las reacciones en la bolsa.
Habla: Héctor SocasPalabras #5producción openai proximas novedadesfrancis y la producción openai…a mí la, no sé, no soy tan hipócrita como para sacarle una tarjeta a nadie. Hola, Gastón, hola, hola, hola ¿qué tal? He tenido problemas con el audio, no sé qué había pasado. Bueno, se te escucha bien como siempre, si te acercas el micrófono a la boca mejor. Y estamos hablando, Gastón, del Deep Seek, el nuevo modelo de lenguaje que sacó esta empresa china homónima y bueno, íbamos a hablar de las reacciones de la bolsa, de otra gente y tal, pero antes quería comentar una cosa: a mí me parece que efectivamente, como dice Francis, la producción de OpenAI pues tiene cosas preparadas que va a ir sacando próximamente. Yo, con lo que hay ahora mismo, la razón por la que sigo usando el modelo GPT es por todo lo que le rodea; donde sí que hay una ventaja en OpenAI con respecto a DeepSync es la informática tradicional, quitando aparte lo de la inteligencia artificial y toda…
Héctor Socas comenta la reacción de Jan Lecun a Deep Seek, un proyecto de inteligencia artificial, y explica su perspectiva sobre el significado de este desarrollo.
Habla: Héctor SocasSignificado #11jan lecun y deep seekvictoria open source metadeep seek china estados unidoscaída bolsa nvidia chinachips nvidia para ia superpotenteempresas chinas hacen ia competitivanvidia invierte dinero en chips…por terminar este tema, había un par de cositas que queríamos comentar sobre reacciones y demás. Yo había comentado antes la de OpenAI, bueno, la de Sam, por lo menos la de Altman. A mí me gustó mucho la reacción de Jan Lecun, que saben que es uno de Los padres de la inteligencia artificial, que ahora es una de las personas que dirige o creo que el máximo responsable de la división de Meta de IA, y dijo que mucha gente se está equivocando interpretando Deep Seek como una victoria de China sobre Estados Unidos y que es erróneo verlo en términos nacionales, pero que él lo ve como una victoria de open source frente a código propietario. Esa es otra reflexión interesante con las salvedades que comentamos al principio sobre tema open source. Y luego estábamos comentando las reacciones también de la bolsa, que a mucha gente le sorprendió, hubo una caída en general de las tecnológicas y sobre todo de NVIDIA, no sé si esto está actualizado este número, pero lo que vi ayer era que había caído un 17% en bolsa NVIDIA, porque claro, NVIDIA está centrándose en fabricar chips de última generación para IA superpotente que no se pueden exportar a China y ahora vemos que China, las empresas chinas, sin necesidad de esos chips de última generación, son capaces de hacer IA competitiva. Entonces, quizás esto se ha interpretado como que Envidia va a perder mucho valor porque esos chips en los que está invirtiendo tanto dinero no son necesarios. Bueno, no sé si quieren hablar sobre el tema, yo comenté antes en el descanso que me parece una reacción totalmente normal y habitual del mercado y que igual que bajó volverá a subir. Pero bueno, esta bajada ha sido aprovechada por algunas personas para invertir, para que saben que volverá a subir y seguirá…
Francis Villatoro, junto con Héctor Socas, discute sobre el desarrollo de la fusión nuclear, mencionando los avances logrados por China y planteando interrogantes sobre la participación de empresas privadas en este campo.
Habla: Francis VillatoroPalabras #13fusión nuclear china hace 15 añosempresas privadas bill gates financiacióninversores convencen a bill gatesinvestigación pública fondos públicos…y Smith; que son los proyectos que van a estudiar qué materiales son los adecuados para un futuro reactor después de ITER, DEMO, que permita soportar estar durante días haciendo fusión. Y ya verás tú cuando empiezan a salir las noticias de que ITER. Ha arrancado la reacción y ha durado 5 milisegundos o 4 segundos. Los chinos ya la tenían 20 minutos, hace 15 años. Eso va a ser así. Eso se olvidará, eso ya estará. Pero que nadie se acuerde de que los chinos lo tenían. La cuestión es: ¿habrá empresas privadas que sí se posicionarán? Ya hay muchas empresas privadas que están vendiendo el oro y el moro. O sea, las empresas privadas tienen que venderlo. Entonces tienen inversores y tienen que convencer a Bill Gates de que les deje 50 millones de dólares para conseguir lo que están haciendo grupos de investigación pública con dinero público de pocos millones de dólares. Pero los públicos no logran hacer lo que nosotros hacemos porque solo tienen 5 millones de dólares; nosotros lo vamos a hacer con 50. Denos los 50 millones que ya verás como bien lo gastamos. Nosotros sabemos gastar dinero de escándalo; te vamos a un maquinón…