Héctor Socas introduce los temas que se tratarán en el programa 'Coffee Break: Señal y Ruido', incluyendo avances en fusión nuclear, el proyecto SMART en Sevilla y el modelo de lenguaje Deep Seek.
Habla: Héctor SocasSignificado #8 · Palabras #5fusión nuclear chinaproyecto smart sevillamodelo lenguaje deep seekrotura simetría paridad universorelojes atómicos materia oscura…desfasados, sino que ayer comenzó el año nuevo chino, y total, por probabilidad elemental, lo más probable es que sean ustedes chinos, o indios, todo lo más. En cualquier caso, feliz año de la serpiente; están ustedes escuchando Coffee Break, Señal y Ruido. Precisamente de China hablaremos bastante hoy; de sus progresos hacia la fusión nuclear, también de fusión pero más cerca de casa ha sido noticia el proyecto SMART en Sevilla. Y siguiendo con China, está dando mucho que hablar el gran modelo de lenguaje Deep Seek que rivaliza con Chad GPT, con Gemini y compañía. Y hablaremos también de física teórica, de la rotura de simetría de paridad en el universo y de la búsqueda de materia oscura con relojes atómicos y cavidades láser. Ya Saben que tenemos una página web en donde pueden encontrar toda la información sobre este programa: es señalirruido.com. Y además, en esa página tienen todos los episodios anteriores y tienen todas las referencias de los temas que tratamos cada semana: los…
Héctor Socas comenta sobre la proliferación de modelos de lenguaje adaptados para uso práctico, destacando el predominio actual de ChatGPT pero reconociendo la existencia de otros modelos igualmente competentes.
Habla: Héctor SocasSignificado #13 · Palabras #13nuevo modelo lenguaje deep seekservidores petados deep seekinvestigación ciencia tecnología actualidadchatgpt predominio actualmodelos lenguaje uso prácticodeep seek chinagrandes modelos lenguaje nivel…pronto tendremos cositas también divertidas que anunciar sin llegar a ese nivel que nos ha planteado José, pero para los cientófilos y amantes de este programa pues yo creo que pronto les traeremos buenas noticias de cositas que van a pasar, cosas divertidas. Ya, más que nada para no estar mezclando, pues son escalas diferentes; no hay que mezclar escalas. Otro día, yo creo que la próxima semana podemos empezar a hablar de algunas cositas que pueden ser de interés para los oyentes de este programa. Vamos entonces con más cosas de interés, en este caso ya sí de la actualidad del mundo de la investigación, la ciencia y tecnología en los últimos días; está todo el mundo hablando: es el run run en la calle. El nuevo gran modelo de lenguaje, el Deep Seek, está todo el mundo probando; los servidores están petados ahí, pero más o menos, va sacando la cabeza fuera del agua y poco a poco va dando abasto en algunas cosas y podemos estar probando un nuevo actor en este escenario de los grandes modelos de lenguaje. y sobre todo de los adaptados para el uso práctico, los que hemos venido usando yo creo todo el mundo, últimamente con sobre todo ChatGPT, también en menor medida otros muchos que hay que siempre nos olvidamos, parece que siempre que solo está ChatGPT, pero hay muchos otros con muy buen nivel, es realmente asombroso lo que pueden hacer hoy en día estos grandes modelos de lenguaje y ahora ha irrumpido con fuerza otro, que Sara nos va a hablar de Deep Seek, que además viene de China, con todo lo que eso lo involucra. Sí, la verdad es que tenemos... Empieza bien el año de la serpiente. Empiezan los chinos, empiezan sembrados, empiezan a tope. Sí, tenemos este nuevo modelo sobre el que habéis oído muchísimas noticias, cosas muy tremendas y claro aquí estamos para separar la…
Sara Robisco explica las características del modelo DeepSeek, originario de China, comparándolo con sistemas expertos de la década de 1990.
Habla: Sara RobiscoSignificado #10modelo deepseek open sourcedeepseek comparativa sistemas expertospesos de entrenamiento deepseek liberadosconjunto datos deepseek no compartidodeepseek framework redes neuronalessoftware descargable investigación entrenamientoredes neuronales reproducir sistema deepseekarquitectura deepseek no es simple…rollo Llama, Chat GPT, que para mí es una evolución que nosotros teníamos en los años 90, llamados sistemas expertos; solo que en el caso de estos modelos suelen ser sistemas expertos en nada porque se nutren, se entrenan con una información muy genérica. Deepseek es un modelo open source, no es un modelo cerrado como por ejemplo ChatGPT y esto es bastante positivo. Ellos han liberado; se puede descargar de arquitectura, tienes el modelo liberado. Tienes los pesos de entrenamiento, también los han compartido; lo único que no han compartido es el conjunto de datos de entrenamiento y test. Y eso se guardan para ellos, pero lo que es arquitectura, todo lo que el software lo tienen Más que un modelo, tenemos que hablar de un framework, porque ya es un sistema bastante complejo ya que lo que tú te descargas para investigación, lo que nos podemos descargar si queremos jugar, si queremos entrenar otra red, si queremos reproducir lo que ellos han hecho te vas a descargar el sistema que han diseñado para entrenarlo, te vas a descargar las redes neuronales, todo entonces no es algo tan simple como un modelete, como una red de citar neuronal, una arquitectura y tira, no, es un poquito más complejo Entonces, ¿qué han hecho? ¿Por qué ahora ha salido? Pues esto es un poco la fuerza y tenemos que insistir en esto, la fuerza y la ventaja de tener Modelos open source porque esta gente no ha partido de cero. En DeepSync no sale de cero, lo que han hecho es que se han basado en más modelos que han ido saliendo en papers que se han publicado, en otros modelos de código abierto y ellos han estado mirando,…
Sara Robisco explica cómo DeepSeek ha comprimido los índices clave para realizar inferencias, logrando una reducción del 93% en el uso de memoria virtual y mejorando la eficiencia. Además, describe un método diferente al utilizado por ChatGPT: predecir tokens (palabras) uno a la vez.
Habla: Sara RobiscoSignificado #16deepseek compresión índices claveinferencias reducción memoria virtualredes recurrentes trabajan textos…usando números en coma flotante con una precisión de 32 bits para coma flotante y ellos dicen bueno vamos a usar 8 bits, tampoco pierdes tanto en comparación con lo que ahorras, entonces esto en que repercute en un ahorro de memoria RAM bastante grande, bien, luego los índices clave valor en los que se basa para hacer inferencias los han comprimido, han llegado a alcanzar un 93% de radio de compresión reduciendo el uso de memoria virtual, vale, más eficiente, luego en lugar de ir prediciendo como hace ChattGPT, como hacen todos los modelos actuales que van prediciendo token a token, a ver nosotros cuando hablamos de token es Estas redes recurrentes que trabajan con textos les van entrando tokens, sería un poco las palabras, van entrando palabras y ellos predicen cuál sería la siguiente palabra a decir Entonces en función del texto de cómo va evolucionando van prediciendo palabra a palabra, Bueno pues este sistema no predice palabra a palabra sino que te crea un chorro de palabras varias juntas. ¿Esto qué hace? Pues se aumenta mucho la velocidad de inferencia. A la hora de darte una respuesta es más rápido y esto es una ventaja muy buena porque…
Sara Robisco explica las características del modelo R1 de DeepSeek, mencionando la existencia de versiones como V3 y V1, y detallando cómo se implementan el aprendizaje por refuerzo y el aprendizaje supervisado en su desarrollo.
Habla: Sara RobiscoSignificado #9modelo deepseek r1 procesa españoldeepseek v1 documento técnicoúltimo modelo público deepseek r1modelo deepseek r1 versiones v3 v1aprendizaje reforzado en deepseek v3aprendizaje supervisado mejora deepseek v3deepseek v3 bucles infinitosaprendizaje refuerzo deepseek funcionamientomodelo deepseek código fuentedeepseek matemáticas fenomenal…y en inglés sin ningún problema. Sí, inglés o habla. He tenido conversaciones largas y no tiene problema. Sí, habla inglés y chino, pero en las recomendaciones te piden que procures hablar en inglés y chino porque sí que hace saltos. Yo lo he estado usando en español y no da ningún problema. Yo lo que pone en el documento técnico, que ellos dicen de V1, vamos, de este. Claro, lo que pasa es que han sacado varios modelos muy rápidamente. Yo estoy usando el último que está público, que es el R1. Eso, R1. Es posible que haya mejorado. Sí, R1, lo que pasa es que ya te digo. En el documento técnico te dicen que sí, pero que si ves que puedes ver algún salto que aún no está muy bien perfeccionado; de hecho, el V3, que es el R1 pero con una capa, el V3 va con aprendizaje por refuerzo y luego lo que lleva es el V1. Después de estas capas de aprendizaje por refuerzo lleva una capa de aprendizaje supervisado que mejora un poquito al V3. ¿Salta menos de lenguaje? Sí, pero y refuerza eso. Pero V3 decían que era desastroso, que tenía, entraba en bucles infinitos, hacía ahí, por eso ya han metido este aprendizaje por refuerzo, ¿vale? Luego, cosas que mejora también, ¿dónde tiene los puntos fuertes? Es muy fuerte y muy bueno en código fuente; el tío entiende fenomenal, sabe programar muy bien, matemáticas se entiende bien. Y a la hora de razonar, entendemos por razonar, que además te lo recomiendan en el documento técnico, que tú le pidas que te dé las respuestas paso a paso explicándote por qué ha llegado a una conclusión y parece que lo hace francamente bien. Entonces, ¿por…
Héctor Socas aclara que DeepSeek, un modelo de lenguaje, no fue creado por el gobierno chino, sino por una empresa llamada DeepSeek, respaldada por un fondo de inversión llamado High Flyer.
Habla: Héctor SocasSignificado #6modelo lenguaje deepseek high flyerfondo inversión high flyer chinamicrosoft archirrival linux open sourceopen source grandes empresas microsoft…que nos llega está tan politizado que hay mucha controversia sobre que China ha hecho o ha dejado de hacer y tal. Y hay que tener en cuenta que aquí, aunque realmente subyace detrás cierta estrategia geopolítica y lo demás, aquí estamos hablando de empresas. Exacto. Esto no es el gobierno chino quien ha creado este modelo de lenguaje. Es una empresa que se llama DeepSeek, que pertenece a un fondo de inversión que se llama High Flyer, que está radicado en China. Pero es una empresa china que pertenece a un fondo de inversión chino, tampoco es un grupo de chavales en su garaje. Exacto, tienen pasta. Claro, cuando uno dice open source puede llevarse a cierto engaño pensando en la comunidad Linux. Open source también se usa en grandes empresas y bueno, Microsoft por ejemplo ha sido muy emblemático como ha terminado por abrazar, de haber pasado a ser el archirrival del mundo open source de Linux. Ahora Microsoft usa Linux en sus servidores internamente y es uno de los grandes desarrolladores del open source de Linux. Sí, para haceros una idea, Llama, que es el modelo conversacional de chat GPT de Facebook, de Meta, es open source. No te meta con él. Exacto, Llama es open source. La tarjeta, dijimos que me iba a estar quietito. No tengo tarjetas, tienes vía libre pues eso,…
Héctor Socas explica cómo está experimentando con DeepSeek y destaca una característica importante: su API es compatible con la de GPT.
Habla: Héctor SocasSignificado #2api deepseek compatible con gptadaptación trivial programas gptpágina web deepseek caída mantenimientoregistro requerido para acceder deepseek…experimentos. O sea, una cosa es poner ahí una preguntita en un prompt, pero realmente para comparar modelos y tal, tienes que hacer experimentos. Claro, tiene que ser sistemático, tienes que repetirlo muchas veces, hacer estadística de los resultados y tal. Entonces eso lo hago con una API. Resulta que vi y me pareció chulísimo que DeepSeek, una de las cosas guays que ha hecho es que ha hecho su API compatible con la de GPT, o sea que si tú tienes un programa que use GPT en principio es trivial de adaptarlo para que use la de. DeepSeek. Entonces lo estuve intentando pero lleva desde ayer caída; bueno, caída está cerrada por mantenimiento la página, o sea ellos dicen que sí que tienen su app y que puedes acceder y tal y de hecho he estado mirando la documentación ya me he hecho el programa y todo pero tienes que digamos que apuntarte, tienes que registrarte que Te den la clave y tal, y esa página lleva desde ayer por la mañana en mantenimiento. Entonces, claro, yo me imagino que les debe haber venido una avalancha de peticiones de repente de todo el mundo. Esto se ha hecho tan viral que está todo el mundo queriendo…
Héctor Socas recuerda cómo Char GPT también experimentó problemas de colapso al principio y explica una ventaja del plan de pago: mayor prioridad para evitar esos fallos. Luego comenta una peculiaridad observada en los papers publicados en Archive, donde Deep Seek aparece como primer autor.
Habla: Sara RobiscoSignificado #1 · Palabras #8deepseek requiere insistencia técnicarespuestas deepseek detalles rápidosexceso demanda deepseek inaccesiblecolapso inicial chargptprioridad plan de pago chargptdeep seek primer autor archivepublicaciones deep seek formato edición…un poco más técnico o sea, tienes que sacarle con cuchara. Debe estar muy alineado para que sea muy didáctico y muy pedagógico y es como muy, o sea, te cuesta, ¿no? Tienes que insistirle bastante para que te explique cosas con un cierto nivel técnico, ¿no? Y sin embargo me da la impresión de que este no tanto, o sea que enseguida la primera respuesta era muy superficial pero en cuanto le rascas un poquito y le preguntas un poquito más por los detalles ya sí que va más rápidamente a los detalles y eso me pareció más interesante; pero bueno también es verdad que estos dos días que lo he estado probando había muchas veces que estaba inaccesible, que estaba colgado, que tal, que supongo que es por el exceso de demanda que está teniendo. También eso pasaba, me acuerdo; al principio con CharGPT había muchas veces que estaba colapsado y de hecho una de las ventajas de pagar el plus era que no te garantizaban pero sí te decían que tenías más prioridad y era menos probable que te lo encontraras colapsado. Una cosa curiosa que me ha llamado mucha atención y me ha hecho muchas gracias es que los papers publicados en Archive, todos los que han publicado, tienen como autor, como primer autor a la propia Deep Seek. Ah sí, qué graciosos; son muy simpáticos. Que entonces la verdad es que te hace gracia porque está simpaticón. Pero yo creo que es que también hemos de pensar que son chinos y los chinos cuando publican papers, acordaos hace unos años que no se entendía y que costaba mucho, ¿verdad? y ahora la verdad es que yo creo que en formato, todo, yo creo que la he ayudado en la edición. Un pequeño detalle, creo que te equivocas: pone el nombre de la empresa y después pone las personas que pertenecen a la empresa como autores, pero es el clásico; después miras, por ejemplo, el PDF y te encuentras debajo del título solamente el nombre de la…
Héctor Socas agradece a los oyentes su compañía e introduce la segunda parte del episodio número 497 de Coffee Break, donde se analizará el modelo de lenguaje DeepSeek, originario de China pero financiado por un fondo de inversión.
Habla: Héctor SocasSignificado #11modelo lenguaje deepseek chinaapi deepseek coste openaifondo inversión deepseek empresa chinarecursos modelo deepseek…allí para seguir. Vamos a seguir la conversación sobre este y otros temas muy interesantes que tenemos a continuación, y si no nos despedimos hasta la semana que viene. Pero venga, vuelvan con nosotros; búsquenos en el podcast. Hasta ahora, chau, chau, chau. Gracias por seguirnos acompañando o por seguir acompañándonos, como prefieran. Empezamos aquí la cara B de este episodio número 497 de Coffee Break, que empieza a acercarse a un número bastante redondo y vamos a seguir destripando un poco este gran modelo de lenguaje DeepSeek, que nos viene de China, aunque insisto, no del gobierno chino, de una empresa, una empresa china, de un fondo de inversión. Estas cosas son caras, aunque se ha dicho y es importante resaltarlo, que es más barato; efectivamente, la API de hecho es como menos de la décima parte de lo que cuesta la de OpenAI, la de GPT es mucho más barato y también parece, en principio, por lo que sabemos, que cuesta también menos recursos correr este modelo. Vamos a seguir hablando de esto; vamos a ser bien pensados y vamos a asumir que está todo correcto, o sea, que estas sospechas que hay de haber estado destilando cosas que no deberían son infundadas. Sam Altman, por cierto, el CEO de OpenAI en su línea…
Héctor Socas introduce el tema del modelo de lenguaje DeepSeek y anticipa un análisis sobre las reacciones en la bolsa.
Habla: Héctor SocasPalabras #9producción openai proximas novedadesfrancis y la producción openai…a mí la, no sé, no soy tan hipócrita como para sacarle una tarjeta a nadie. Hola, Gastón, hola, hola, hola ¿qué tal? He tenido problemas con el audio, no sé qué había pasado. Bueno, se te escucha bien como siempre, si te acercas el micrófono a la boca mejor. Y estamos hablando, Gastón, del Deep Seek, el nuevo modelo de lenguaje que sacó esta empresa china homónima y bueno, íbamos a hablar de las reacciones de la bolsa, de otra gente y tal, pero antes quería comentar una cosa: a mí me parece que efectivamente, como dice Francis, la producción de OpenAI pues tiene cosas preparadas que va a ir sacando próximamente. Yo, con lo que hay ahora mismo, la razón por la que sigo usando el modelo GPT es por todo lo que le rodea; donde sí que hay una ventaja en OpenAI con respecto a DeepSync es la informática tradicional, quitando aparte lo de la inteligencia artificial y toda…
Héctor Socas comenta la reacción de Jan Lecun a Deep Seek, un proyecto de inteligencia artificial, y explica su perspectiva sobre el significado de este desarrollo.
Habla: Héctor SocasSignificado #3 · Palabras #3jan lecun y deep seekvictoria open source metadeep seek china estados unidos…por terminar este tema, había un par de cositas que queríamos comentar sobre reacciones y demás. Yo había comentado antes la de OpenAI, bueno, la de Sam, por lo menos la de Altman. A mí me gustó mucho la reacción de Jan Lecun, que saben que es uno de Los padres de la inteligencia artificial, que ahora es una de las personas que dirige o creo que el máximo responsable de la división de Meta de IA, y dijo que mucha gente se está equivocando interpretando Deep Seek como una victoria de China sobre Estados Unidos y que es erróneo verlo en términos nacionales, pero que él lo ve como una victoria de open source frente a código propietario. Esa es otra reflexión interesante con las salvedades que comentamos al principio sobre tema open source. Y luego estábamos comentando las reacciones también de la bolsa, que a mucha gente le sorprendió, hubo una caída en general de las tecnológicas y sobre todo de NVIDIA, no sé si esto está actualizado este número, pero lo que vi ayer era que había caído un 17%…
Francis Villatoro comenta la gran influencia que tienen ciertos usuarios en redes sociales y cómo se atribuyen méritos por predicciones financieras.
Habla: Francis VillatoroSignificado #4 · Palabras #1eco mediático en redes socialespredicciones financieras usuariosdeep zip análisis papersfrancis villatoro y deep zip…única y exclusivamente por los especuladores. Porque los aconsejadores de especuladores tienen millones de seguidores en redes sociales, gente que, y entonces la gente que dijo dos horas antes, ahora hay que comprar envidia porque va a pegar un bajón. Tienen un eco mediático en redes sociales absolutamente increíble, ¿no? Y después lo presumen de ellos, ¡eh! Que yo lo dije, ¡eh! Fijaros que lo dije dos horas antes, ¡eh! Vosotros no fuisteis capaces, lo hicisteis hace dos minutos, yo lo hice hace dos horas, ¡qué listo soy! ¡Seguirme! Y voy, le sigo un montón de gente, y tienen un enorme poder. Entonces, ha empezado la gente en redes sociales a decir cosas de deep zip; tú decías, pero ¿qué me estás diciendo? Pero este señor se ha leído el paper, ¿sabes de qué está hablando? ¿Qué está contando? Si está diciendo tonterías. Y después mira quién es y es un especulador; no tiene nada, lo único que tiene es el título de especulador, no sabe nada de económica, ni de empresa, ni de absolutamente nada, lo único que sabe es que una vez metió dinero en Bitcoin, ganó dinerillo, y resulta…
Héctor Socas invita a Tomás Vila a buscar información sobre una pregunta compleja relacionada con ondas gravitacionales, quiralidad y la teoría de twistores, utilizando herramientas como Deep Seek o ChatGPT.
Habla: Héctor SocasSignificado #12 · Palabras #4ondas gravitacionales quiralidad twistoresdeep seek o chatgpt para preguntasgoogly problem en teoría twistores…especular. Entonces uno diría: estamos viendo los efectos de este nuevo término en las ecuaciones que van más allá de los efectos. Esa sería una forma de violar la paridad en la teoría gravitacional. Hay muchas formas de violar. Tengo la respuesta ya y. es bastante larga y profusa, así que no la voy a leer entera le invito al amigo Thomas a que ponga la pregunta en Deep Seek o en ChatGPT, empieza diciendo excelente pregunta, vamos a desglosar este tema que combina conceptos de ondas gravitacionales, quiralidad y la teoría de twistores una explicación estupenda y además estructurado y el segundo punto es el Googly Problem en la teoría de twistores que es la parte que yo no me suena de nada, dice teoría de twistores es un marco matemático desarrollado por Roger Penrose y otros para reformular la física en términos de objetos geométricos llamados twistores. Estos twistores están relacionados con las simetrías del espacio-tiempo y pueden…
Héctor Socas reflexiona sobre el posible reemplazo del podcast Coffee Break: Señal y Ruido por herramientas como Deep Seek, comparándolo con la persistencia de las competiciones deportivas a pesar de la existencia de alternativas más rápidas.
Habla: Héctor SocasSignificado #7 · Palabras #6deep seek compitiendo con francisgoogle y el críquetatletismo versus moto rápida…teoría de twistores y ayudará a resolver el googly problem. Sin embargo, hasta ahora no hay evidencia observacional de quiralidad en las ondas gravitacionales, por lo que este sigue siendo un tema de investigación activa en la física teórica y experimental. Amigos, creo que definitivamente hemos quedado obsoletos Es el fin de Coffee Break Podemos cerrar el podcast ya definitivamente Somos prescindibles Queda solamente Francis y Deep Seek compidiendo Ahí que dice para favor Google viene por una cosa en el críquet o algo así Yo creo que seguiríamos siendo importantes por la misma razón que la gente ve competiciones de atletismo con seres humanos corriendo a pesar de que alguien podría coger una moto e ir más rápido. Creo que será la única razón. A ver estos humanos, a ver cómo cuentan estas cosas. Yo creo que siempre pienso en eso, pienso en que el teatro ha sobrevivido, ha sobrevivido al cine, ha sobrevivido a la televisión. La mera existencia del teatro a mí me hace…