Búsqueda · 27 momentos en 13 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetdestilación modelo deepseek microsoftentrenamiento con llama y char gptinvestigación microsoft sobre destilacióndestilación modelos lenguaje openaitécnicas destilación chatgpt restriccionespruebas gpt interfaz char gptOpenIAChatGPTGPTHéctor SocasDeepSeekLlamaMicrosoftOpenAISam AltmanFrancis VillatoroDeepSyncGastón GiribetChinaPlaneta 9Coffee Break: Señal y Ruido
Destilación modelos lenguaje OpenAI
Con
0:000:301:001:302:002:303:11
Héctor Socas comenta sobre el uso legítimo de técnicas como la destilación para entrenar modelos de lenguaje, contrastándolo con las restricciones impuestas por OpenAI en relación a ChatGPT.
…dice, hay un rumor por ahí en una leyenda urbana de que OpenAI le ha puesto una demanda porque dice que les han copiado, eso no es cierto lo que si es cierto que se ha dicho es que Microsoft en particular, que es uno de los grandes patrocinadores de OpenAI Microsoft está investigando; no es que hayan puesto una demanda, todavía no han llegado a ese punto, pero están investigando si se ha hecho una cosa que se llama destilar, que consiste en, digamos que tú haces preguntas y respuestas al otro modelo y usas eso para entrenar el tuyo. Sí, de hecho en el propio artículo lo dicen; ellos mismos dicen que han destilado, pero han destilado a Llama y hay otra que han destilado también; han destilado dos modelos de código abierto. Para esos códigos es legítimo, pero por ejemplo OpenIA no te permite hacer eso con ChatGPT, no está permitido por los términos de uso, entonces habrá que verlo, pero lo que está claro es que a mí me parece que es buenísimo, funciona maravillosamente bien, yo lo he estado probando y tengo algunos comentarios que no sé si tenemos tiempo, quizás sí podemos entrar un poquito en eso. A ver, de entrada se parece muchísimo a echar GPT hasta la interfaz, e incluso la forma en la que te responde Cierto A mí, yo la verdad que lo he estado probando bastante y me gusta. No he podido hacer pruebas sistemáticas porque tiene también una API, igual que con GPT hay una API que tú puedes usar para, yo uso; yo tengo la API de GPT, o sea pago por tener el acceso y…
Significado #1
Héctor Socas explica cómo OpenAI inicialmente fue de código abierto, pero posteriormente cerró su acceso, y comenta sobre la evolución del modelo ChatGPT, donde las versiones hasta la 3 eran completamente abiertas.
Habla: Héctor SocasSignificado #14openai inicialmente código abiertochatgpt versiones hasta 3 abiertaschatgpt 3 5 parcialmente abierto…y por eso pues quizás han tenido que optimizar esos algoritmos. Es lo que ellos dicen, porque claro, eso habrá que verlo; porque uno no sabe, si bien es público los pesos y el software, uno no sabe cómo lo han entrenado, que al final es la clave en todo esto. OpenAI al principio era todo código abierto y luego lo fueron cerrando, pero los modelos de ChatGPT hasta 3 era todo abierto, creo que 3.5 empezaba a ser parcialmente; el 3.5 algunas cosas eran abiertas y otras no, que es un poco la situación en la que está DeepSeek. entonces claro, hay que verlo, hay gente que dice, hay un rumor por ahí en una leyenda urbana de que OpenAI le ha puesto una demanda porque dice que les han copiado, eso no es cierto lo que si es cierto que se ha dicho es que Microsoft en particular, que es…
Héctor Socas comenta sobre el uso legítimo de técnicas como la destilación para entrenar modelos de lenguaje, contrastándolo con las restricciones impuestas por OpenAI en relación a ChatGPT.
Habla: Héctor SocasSignificado #1destilación modelo deepseek microsoftentrenamiento con llama y char gptinvestigación microsoft sobre destilacióndestilación modelos lenguaje openaitécnicas destilación chatgpt restriccionespruebas gpt interfaz char gpt…dice, hay un rumor por ahí en una leyenda urbana de que OpenAI le ha puesto una demanda porque dice que les han copiado, eso no es cierto lo que si es cierto que se ha dicho es que Microsoft en particular, que es uno de los grandes patrocinadores de OpenAI Microsoft está investigando; no es que hayan puesto una demanda, todavía no han llegado a ese punto, pero están investigando si se ha hecho una cosa que se llama destilar, que consiste en, digamos que tú haces preguntas y respuestas al otro modelo y usas eso para entrenar el tuyo. Sí, de hecho en el propio artículo lo dicen; ellos mismos dicen que han destilado, pero han destilado a Llama y hay otra que han destilado también; han destilado dos modelos de código abierto. Para esos códigos es legítimo, pero por ejemplo OpenIA no te permite hacer eso con ChatGPT, no está permitido por los términos de uso, entonces habrá que verlo, pero lo que está claro es que a mí me parece que es buenísimo, funciona maravillosamente bien, yo lo he estado probando y tengo algunos comentarios que no sé si tenemos tiempo, quizás sí podemos entrar un poquito en eso. A ver, de entrada se parece muchísimo a echar GPT hasta la interfaz, e incluso la forma en la que te responde Cierto A mí, yo la verdad que lo he estado probando bastante y me gusta. No he podido hacer pruebas sistemáticas porque tiene también una API, igual que con GPT hay una API que tú puedes usar para, yo uso; yo tengo la API de GPT, o sea pago por tener el acceso y…
Francis Villatoro explica el uso del aprendizaje con refuerzo en versiones recientes como la R1 y cómo OpenAI inicialmente evitó esta técnica debido a sus fracasos anteriores.
Habla: Francis VillatoroSignificado #9 · Palabras #5aprendizaje refuerzo versiones recientes r1fracaso aprendizaje refuerzo modelos lenguajeopenai evita aprendizaje refuerzo 2022…en otro contexto. Tienen gente muy fresca, con una enorme capacidad y con muy poco conocimiento de lo que ya se conoce para que sean muy creativos y generen cosas realmente muy nuevas que al final puedan tener éxito o no. Aquí lo que más se ha comentado es la versión esta R1 que utiliza aprendizaje con refuerzo El aprendizaje con refuerzo se ha estado usando en los últimos 15 años por cantidad de personas para entrenar este tipo de modelos de lenguaje y siempre ha sido un fracaso porque no eran lo suficientemente grandes y sorprendentemente, pues OpenAI, por ejemplo, no lo usaba porque decía, es que esto va a fallar, porque fallaba en 2022 con los modelos de lenguaje de 2022. Sin embargo, en 2023 ha pegado un salto de gigante y en 2024 lo tenemos en Dixit funcionando de escándalo. Y ha sido fundamentalmente el superar la barrera esa de los 500.000 millones de parámetros. Y luego otro tema muy interesante es que igual, que no son…
Héctor Socas plantea la hipótesis de que las sospechas sobre la destilación de información no autorizada en DeepSeek son infundadas y comenta las declaraciones de Sam Altman, CEO de OpenAI.
Habla: Héctor SocasPalabras #2modelo lenguaje deepseek chinaapi deepseek coste openaifondo inversión deepseek empresa chinarecursos modelo deepseeksospechas destilación deepseek infundadassam altman ceo openai bienvenida competenciamodelo r1 impresionante según sam altmancapacidad computo modelo deepseek limitada…allí para seguir. Vamos a seguir la conversación sobre este y otros temas muy interesantes que tenemos a continuación, y si no nos despedimos hasta la semana que viene. Pero venga, vuelvan con nosotros; búsquenos en el podcast. Hasta ahora, chau, chau, chau. Gracias por seguirnos acompañando o por seguir acompañándonos, como prefieran. Empezamos aquí la cara B de este episodio número 497 de Coffee Break, que empieza a acercarse a un número bastante redondo y vamos a seguir destripando un poco este gran modelo de lenguaje DeepSeek, que nos viene de China, aunque insisto, no del gobierno chino, de una empresa, una empresa china, de un fondo de inversión. Estas cosas son caras, aunque se ha dicho y es importante resaltarlo, que es más barato; efectivamente, la API de hecho es como menos de la décima parte de lo que cuesta la de OpenAI, la de GPT es mucho más barato y también parece, en principio, por lo que sabemos, que cuesta también menos recursos correr este modelo. Vamos a seguir hablando de esto; vamos a ser bien pensados y vamos a asumir que está todo correcto, o sea, que estas sospechas que hay de haber estado destilando cosas que no deberían son infundadas. Sam Altman, por cierto, el CEO de OpenAI en su línea habitual con su discurso de terciopelo no ha sido agresivo sino que al contrario ha dicho que es bienvenido un competidor más; que cuanto más sean mejor; que le parece impresionante el modelo R1; que le impresiona mucho lo que han podido conseguir con tan poco, con menos capacidad de cómputo. Y que esto es algo positivo, pero que no se piense nadie que ya OpenAI ha llegado hasta su techo; o sea, que ellos ya tienen muchas cosas más avanzadas que las van a ir sacando este año, o sea, lanza un mensaje de buen rollista, como suele hacer él siempre,…
Héctor Socas explica su preferencia continua por el modelo GPT, destacando las ventajas de OpenAI más allá del campo de la inteligencia artificial, incluyendo su infraestructura tradicional.
Habla: Héctor SocasSignificado #7 · Palabras #17producción openai proximas novedadesfrancis y la producción openaigpt modelo preferencia héctor socasventaja openai infraestructura tradicionaldeep sync vs openai informática…a mí la, no sé, no soy tan hipócrita como para sacarle una tarjeta a nadie. Hola, Gastón, hola, hola, hola ¿qué tal? He tenido problemas con el audio, no sé qué había pasado. Bueno, se te escucha bien como siempre, si te acercas el micrófono a la boca mejor. Y estamos hablando, Gastón, del Deep Seek, el nuevo modelo de lenguaje que sacó esta empresa china homónima y bueno, íbamos a hablar de las reacciones de la bolsa, de otra gente y tal, pero antes quería comentar una cosa: a mí me parece que efectivamente, como dice Francis, la producción de OpenAI pues tiene cosas preparadas que va a ir sacando próximamente. Yo, con lo que hay ahora mismo, la razón por la que sigo usando el modelo GPT es por todo lo que le rodea; donde sí que hay una ventaja en OpenAI con respecto a DeepSync es la informática tradicional, quitando aparte lo de la inteligencia artificial y toda una serie de cosas que OpenAI ha ido construyendo alrededor por. ejemplo, el tema de que puedes crear estos asistentes que están especializados para ciertas tareas, yo esto lo uso mucho el tema de que ahora hace un par de semanas sacaron esta integración con tareas programadas, que me parece genial, que puedes programar…
Héctor Socas explica cómo OpenAI permite añadir funcionalidades informáticas tradicionales a sus modelos de lenguaje, como recordatorios o la creación de guiones.
Habla: Héctor SocasPalabras #10openai añade funcionalidades informáticasrecordatorios con modelos lenguaje openaiguiones creados con informática tradicionalhéctor socas echa de menos funcionalidades…relevantes y cualquier cosa que tenga que ver con el Planeta 9, por ejemplo Puedes pedirle ese tipo de tareas recurrentes. O los jueves por la mañana recuérdame que tengo que hacer el podcast y prepárame un guión de lo que tengo que decir en la presentación. Cosas así se pueden hacer. Que eso realmente no es un avance del modelo en sí, la inteligencia que tiene es la misma, pero digamos que son añadidos de informática tradicional que se le han puesto alrededor y que son muy útiles; y eso va. Y es lo que yo todavía, por cierto, hago un inciso para decir que es lo que sigo echando de menos en todos estos desarrollos. Me falta que, por ejemplo, que GPT salga de la web, que salga de Chat GPT. O sea, que tengan la API. O sea, ¿por qué no está todo lleno de aplicaciones? Hace poco alguien comentaba en el chat de YouTube, que efectivamente, además yo lo he visto, hay un juego…