Búsqueda · 18 momentos en 9 episodios
Sara RobiscoJosé EdelsteinFrancis VillatoroHéctor SocasGastón Giribetaprendizaje refuerzo versiones recientes r1fracaso aprendizaje refuerzo modelos lenguajeopenai evita aprendizaje refuerzo 2022aprendizaje refuerzo avance 2023implementación aprendizaje refuerzo dixit 2024barrera parámetros superar 500000OpenAIFrancis VillatoroSara RobiscoDeepSeekHéctor SocasChinaDixit500.000 millones de parámetros
Aprendizaje refuerzo versiones recientes r1
Con
0:000:301:001:302:002:303:11
Francis Villatoro explica el uso del aprendizaje con refuerzo en versiones recientes como la R1 y cómo OpenAI inicialmente evitó esta técnica debido a sus fracasos anteriores.
…en otro contexto. Tienen gente muy fresca, con una enorme capacidad y con muy poco conocimiento de lo que ya se conoce para que sean muy creativos y generen cosas realmente muy nuevas que al final puedan tener éxito o no. Aquí lo que más se ha comentado es la versión esta R1 que utiliza aprendizaje con refuerzo El aprendizaje con refuerzo se ha estado usando en los últimos 15 años por cantidad de personas para entrenar este tipo de modelos de lenguaje y siempre ha sido un fracaso porque no eran lo suficientemente grandes y sorprendentemente, pues OpenAI, por ejemplo, no lo usaba porque decía, es que esto va a fallar, porque fallaba en 2022 con los modelos de lenguaje de 2022. Sin embargo, en 2023 ha pegado un salto de gigante y en 2024 lo tenemos en Dixit funcionando de escándalo. Y ha sido fundamentalmente el superar la barrera esa de los 500.000 millones de parámetros. Y luego otro tema muy interesante es que igual, que no son cuatro matazos. Espera, espera, si tienes un tema. muy interesante. No, no, es cortito; los autores son más de 100 personas, para que os hagáis una idea del equipo de desarrollo. Vale, vale, muy bien; pues vamos a seguir hablando de esto en un momentito. Llegados a este punto hacemos nuestra pausita habitual…
Significado #1 · Palabras #1
Sara Robisco explica las características del modelo R1 de DeepSeek, mencionando la existencia de versiones como V3 y V1, y detallando cómo se implementan el aprendizaje por refuerzo y el aprendizaje supervisado en su desarrollo.
Habla: Sara RobiscoSignificado #2 · Palabras #2modelo r1 de deepseek españolconversaciones largas modelo deepseekdeepseek habla inglés y chinomodelo deepseek r1 procesa españoldeepseek v1 documento técnicoúltimo modelo público deepseek r1modelo deepseek r1 versiones v3 v1aprendizaje reforzado en deepseek v3aprendizaje supervisado mejora deepseek v3deepseek v3 bucles infinitosaprendizaje refuerzo deepseek funcionamientomodelo deepseek código fuentedeepseek matemáticas fenomenal…él en inglés o chino? Porque en otros tú le puedes hablar en español, sí, en castellano, pero se traba. Va a tener problemas de liarse entre lenguajes, o sea, no te extrañe que tú estés hablando en castellano y el tío mezcle palabras en inglés y castellano. Perdona Sara, será a lo mejor modelos anteriores; yo he estado usando el R1 que es el más novedoso y habla perfectamente español y en inglés sin ningún problema. Sí, inglés o habla. He tenido conversaciones largas y no tiene problema. Sí, habla inglés y chino, pero en las recomendaciones te piden que procures hablar en inglés y chino porque sí que hace saltos. Yo lo he estado usando en español y no da ningún problema. Yo lo que pone en el documento técnico, que ellos dicen de V1, vamos, de este. Claro, lo que pasa es que han sacado varios modelos muy rápidamente. Yo estoy usando el último que está público, que es el R1. Eso, R1. Es posible que haya mejorado. Sí, R1, lo que pasa es que ya te digo. En el documento técnico te dicen que sí, pero que si ves que puedes ver algún salto que aún no está muy bien perfeccionado; de hecho, el V3, que es el R1 pero con una capa, el V3 va con aprendizaje por refuerzo y luego lo que lleva es el V1. Después de estas capas de aprendizaje por refuerzo lleva una capa de aprendizaje supervisado que mejora un poquito al V3. ¿Salta menos de lenguaje? Sí, pero y refuerza eso. Pero V3 decían que era desastroso, que tenía, entraba en bucles infinitos, hacía ahí, por eso ya han metido este aprendizaje por refuerzo, ¿vale? Luego, cosas que mejora también, ¿dónde tiene los puntos fuertes? Es muy fuerte y muy bueno en código fuente; el tío entiende fenomenal, sabe programar muy bien, matemáticas se entiende bien. Y a la hora de razonar, entendemos por razonar, que además te lo recomiendan en el documento técnico, que tú le pidas que te dé las respuestas paso a paso explicándote por qué ha llegado a una conclusión y parece que lo hace francamente bien. Entonces, ¿por…
Francis Villatoro explica el uso del aprendizaje con refuerzo en versiones recientes como la R1 y cómo OpenAI inicialmente evitó esta técnica debido a sus fracasos anteriores.
Habla: Francis VillatoroSignificado #1 · Palabras #1aprendizaje refuerzo versiones recientes r1fracaso aprendizaje refuerzo modelos lenguajeopenai evita aprendizaje refuerzo 2022aprendizaje refuerzo avance 2023implementación aprendizaje refuerzo dixit 2024barrera parámetros superar 500000…en otro contexto. Tienen gente muy fresca, con una enorme capacidad y con muy poco conocimiento de lo que ya se conoce para que sean muy creativos y generen cosas realmente muy nuevas que al final puedan tener éxito o no. Aquí lo que más se ha comentado es la versión esta R1 que utiliza aprendizaje con refuerzo El aprendizaje con refuerzo se ha estado usando en los últimos 15 años por cantidad de personas para entrenar este tipo de modelos de lenguaje y siempre ha sido un fracaso porque no eran lo suficientemente grandes y sorprendentemente, pues OpenAI, por ejemplo, no lo usaba porque decía, es que esto va a fallar, porque fallaba en 2022 con los modelos de lenguaje de 2022. Sin embargo, en 2023 ha pegado un salto de gigante y en 2024 lo tenemos en Dixit funcionando de escándalo. Y ha sido fundamentalmente el superar la barrera esa de los 500.000 millones de parámetros. Y luego otro tema muy interesante es que igual, que no son cuatro matazos. Espera, espera, si tienes un tema. muy interesante. No, no, es cortito; los autores son más de 100 personas, para que os hagáis una idea del equipo de desarrollo. Vale, vale, muy bien; pues vamos a seguir hablando de esto en un momentito. Llegados a este punto hacemos nuestra pausita habitual…