Búsqueda · 21 momentos en 9 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetaprendizaje refuerzo versiones recientes r1fracaso aprendizaje refuerzo modelos lenguajeopenai evita aprendizaje refuerzo 2022aprendizaje refuerzo avance 2023implementación aprendizaje refuerzo dixit 2024barrera parámetros superar 500000OpenAIFrancis VillatoroSara RobiscoDeepSeekDixit500.000 millones de parámetrosGPTDeepSyncHéctor Socas
OpenAI evita aprendizaje refuerzo 2022
Con
0:000:301:001:302:002:303:11
Francis Villatoro explica el uso del aprendizaje con refuerzo en versiones recientes como la R1 y cómo OpenAI inicialmente evitó esta técnica debido a sus fracasos anteriores.
…en otro contexto. Tienen gente muy fresca, con una enorme capacidad y con muy poco conocimiento de lo que ya se conoce para que sean muy creativos y generen cosas realmente muy nuevas que al final puedan tener éxito o no. Aquí lo que más se ha comentado es la versión esta R1 que utiliza aprendizaje con refuerzo El aprendizaje con refuerzo se ha estado usando en los últimos 15 años por cantidad de personas para entrenar este tipo de modelos de lenguaje y siempre ha sido un fracaso porque no eran lo suficientemente grandes y sorprendentemente, pues OpenAI, por ejemplo, no lo usaba porque decía, es que esto va a fallar, porque fallaba en 2022 con los modelos de lenguaje de 2022. Sin embargo, en 2023 ha pegado un salto de gigante y en 2024 lo tenemos en Dixit funcionando de escándalo. Y ha sido fundamentalmente el superar la barrera esa de los 500.000 millones de parámetros. Y luego otro tema muy interesante es que igual, que no son cuatro matazos. Espera, espera, si tienes un tema. muy interesante. No, no, es cortito; los autores son más de 100 personas, para que os hagáis una idea del equipo de desarrollo. Vale, vale, muy bien; pues vamos a seguir hablando de esto en un momentito. Llegados a este punto hacemos nuestra pausita habitual…
Significado #1 · Palabras #1
Sara Robisco explica las características del modelo R1 de DeepSeek, mencionando la existencia de versiones como V3 y V1, y detallando cómo se implementan el aprendizaje por refuerzo y el aprendizaje supervisado en su desarrollo.
Habla: Sara RobiscoSignificado #13 · Palabras #3modelo deepseek r1 versiones v3 v1aprendizaje reforzado en deepseek v3aprendizaje supervisado mejora deepseek v3deepseek v3 bucles infinitosaprendizaje refuerzo deepseek funcionamientomodelo deepseek código fuentedeepseek matemáticas fenomenal…técnico, que ellos dicen de V1, vamos, de este. Claro, lo que pasa es que han sacado varios modelos muy rápidamente. Yo estoy usando el último que está público, que es el R1. Eso, R1. Es posible que haya mejorado. Sí, R1, lo que pasa es que ya te digo. En el documento técnico te dicen que sí, pero que si ves que puedes ver algún salto que aún no está muy bien perfeccionado; de hecho, el V3, que es el R1 pero con una capa, el V3 va con aprendizaje por refuerzo y luego lo que lleva es el V1. Después de estas capas de aprendizaje por refuerzo lleva una capa de aprendizaje supervisado que mejora un poquito al V3. ¿Salta menos de lenguaje? Sí, pero y refuerza eso. Pero V3 decían que era desastroso, que tenía, entraba en bucles infinitos, hacía ahí, por eso ya han metido este aprendizaje por refuerzo, ¿vale? Luego, cosas que mejora también, ¿dónde tiene los puntos fuertes? Es muy fuerte y muy bueno en código fuente; el tío entiende fenomenal, sabe programar muy bien, matemáticas se entiende bien. Y a la hora de razonar, entendemos por razonar, que además te lo recomiendan en el documento técnico, que tú le pidas que te dé las respuestas paso a paso explicándote por qué ha llegado a una conclusión y parece que lo hace francamente bien. Entonces, ¿por…
Francis Villatoro explica el uso del aprendizaje con refuerzo en versiones recientes como la R1 y cómo OpenAI inicialmente evitó esta técnica debido a sus fracasos anteriores.
Habla: Francis VillatoroSignificado #1 · Palabras #1aprendizaje refuerzo versiones recientes r1fracaso aprendizaje refuerzo modelos lenguajeopenai evita aprendizaje refuerzo 2022aprendizaje refuerzo avance 2023implementación aprendizaje refuerzo dixit 2024barrera parámetros superar 500000…en otro contexto. Tienen gente muy fresca, con una enorme capacidad y con muy poco conocimiento de lo que ya se conoce para que sean muy creativos y generen cosas realmente muy nuevas que al final puedan tener éxito o no. Aquí lo que más se ha comentado es la versión esta R1 que utiliza aprendizaje con refuerzo El aprendizaje con refuerzo se ha estado usando en los últimos 15 años por cantidad de personas para entrenar este tipo de modelos de lenguaje y siempre ha sido un fracaso porque no eran lo suficientemente grandes y sorprendentemente, pues OpenAI, por ejemplo, no lo usaba porque decía, es que esto va a fallar, porque fallaba en 2022 con los modelos de lenguaje de 2022. Sin embargo, en 2023 ha pegado un salto de gigante y en 2024 lo tenemos en Dixit funcionando de escándalo. Y ha sido fundamentalmente el superar la barrera esa de los 500.000 millones de parámetros. Y luego otro tema muy interesante es que igual, que no son cuatro matazos. Espera, espera, si tienes un tema. muy interesante. No, no, es cortito; los autores son más de 100 personas, para que os hagáis una idea del equipo de desarrollo. Vale, vale, muy bien; pues vamos a seguir hablando de esto en un momentito. Llegados a este punto hacemos nuestra pausita habitual…
Francis Villatoro comenta sobre la serie de anuncios realizados por OpenAI en diciembre, destacando su frecuencia e irrelevancia inicial, pero mencionando la presentación del modelo O3.
Habla: Francis VillatoroSignificado #16anuncios irrelevantes openai diciembremodelo o3 de openaicomparación dixie con o1…cosas, ¿no? Francis quería comentar algo, pero espera, Francis, porque veo que tenemos a Gastón por aquí; vamos a irle dando paso. Venga, y lo presentas. A lo mejor quiere decir algo también, bueno, en lo que va entrando y ajustándose el audio y tal, vete. diciendo eso que quería Bueno, quería comentar que en diciembre hubo una serie de anuncios de OpenAI, era como un anuncio cada semana o así, o cada día Eran como un anuncio cada día, los primeros 20 días, muchos anuncios eran bastante chichinados, no decían nada pero eran cosas muy irrelevantes pero uno de los anuncios fue que ya tienen el modelo O3 no se puede llamar O2 por el tema de que hay una compañía que se llama O2 entonces saltan de lo 1 a lo 3 esta comparación de Dixie ha sido con O1 estoy escuchándome con eco probablemente alguien tiene el YouTube encendido y entonces claro O3 está ahí entonces si esto es un poquito mejor que O1 y en algunas cosas es un poquito peor, pero en la mayoría de las cosas es un poquito mejor y O3 era bastante por encima de lo que enseñaron, era publicidad, era un anuncio de estos de un vídeo de YouTube en el que ven las posibilidades de O3 y la gente se…
Héctor Socas explica su preferencia continua por el modelo GPT, destacando las ventajas de OpenAI más allá del campo de la inteligencia artificial, incluyendo su infraestructura tradicional.
Habla: Héctor SocasSignificado #20gpt modelo preferencia héctor socasventaja openai infraestructura tradicionaldeep sync vs openai informática…y bueno, íbamos a hablar de las reacciones de la bolsa, de otra gente y tal, pero antes quería comentar una cosa: a mí me parece que efectivamente, como dice Francis, la producción de OpenAI pues tiene cosas preparadas que va a ir sacando próximamente. Yo, con lo que hay ahora mismo, la razón por la que sigo usando el modelo GPT es por todo lo que le rodea; donde sí que hay una ventaja en OpenAI con respecto a DeepSync es la informática tradicional, quitando aparte lo de la inteligencia artificial y toda una serie de cosas que OpenAI ha ido construyendo alrededor por. ejemplo, el tema de que puedes crear estos asistentes que están especializados para ciertas tareas, yo esto lo uso mucho el tema de que ahora hace un par de semanas sacaron esta integración con tareas programadas, que me parece genial, que puedes programar…