Búsqueda · 36 momentos en 19 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindreglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificialFrancis Villatorociclo de SarosHéctor SocasEgipto
Evitar sobreaprendizaje repetición datos
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o…
Significado #1 · Palabras #1
Francis Villatoro explica las consecuencias del sobreaprendizaje en redes neuronales, señalando que es contraproducente y requiere un aprendizaje suave pero extenso con una red neuronal lo suficientemente grande.
Habla: Francis VillatoroSignificado #2olvidar filólogos lenguaje naturalcorrelaciones datos comprensión lenguajetokens información aprendizaje automáticoevitar sobreaprendizaje modelos lenguajesobreaprendizaje en redes neuronalesaprendizaje suave con red neuronaltamaño similar a conjunto tokensinteligencia artificial romper paradigmas…niños, los bebés, los pequeñitos aprenden el idioma sin necesidad de ese conocimiento ortocintáctico. Entonces, en inteligencia artificial teníamos ese gran problema, por eso quería ahí meterle chicha a María. No, voy a rogar diferir y te lo voy a justificar. Pero bueno, lo que quiero decir es eso: el gran avance en la comprensión del lenguaje natural fue el momento en el que dijimos Olvídate de todo lo que saben los filólogos, lo único que tienes que hacer es aprender correlaciones entre datos y los datos es leer muchos textos, tener muchos tokens, y cuanto más tokens tienes, cuanto más información tienes aprendida, y eso sí, no sobreaprendida, porque como Sobreaprendas, peor todavía. Tienes que aprender en muy poquitas épocas, tienes que aprender de manera muy suave, pero mucho, con una red neuronal suficientemente grande para que tenga un tamaño similar al conjunto de tokens y eso era romper completamente todo lo que se sabía de inteligencia artificial y cuando se hizo eso se descubrió que el lenguaje natural es. trivial, las correlaciones que aprenden los bebés y los niños las aprenden fácilmente porque en realidad el lenguaje es trivial y lo mismo hemos observado con el ajedrez o lo hemos observado con el go; son juegos humanos por lo tanto son triviales. Si tú…
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
Habla: Francis VillatoroSignificado #1 · Palabras #1reglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificial…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o…
Héctor Socas reflexiona sobre el conocimiento que pudo tener la civilización egipcia antigua acerca del ciclo de Saros, un fenómeno astronómico relacionado con la repetición de eclipses solares.
Habla: Héctor SocasPalabras #10ciclo de saros eclipses solareseclipse solar repetición estocásticarepetición eclipses ciclo 15 añosobservabilidad eclipses longitudes planeta…menciones a oscuridad en el día o a perturbación de los cielos y tal, como si fuera algo que no te atreves a decirlo explícitamente, pero en cualquier caso son como demasiado pocas para una civilización de 10.000 años que algunos eclipses deben haber visto. Y entonces, bueno, yo el ciclo de Saros me parece que es posible que no lo conozcan, porque el ciclo de Saros, recordemos que es una repetición: los eclipses solares se repiten cada cierto tiempo pero no coinciden en el mismo sitio. Lo que es un poco estocástico es que cada cuánto se van a repetir donde tú vives, pero hay un ciclo de eclipses; no recuerdo ahora cuánto es, creo que son 15 años o algo así, o un poquito más. Me suena a 19, pero estoy hablando de 19, algo así, de ese orden, se van repitiendo los eclipses de sol, pero van rodándose en donde se da, donde son observables; entonces se va en longitudes diferentes del planeta. entonces claro, tú vives además una civilización como la egipcia que vive básicamente en una longitud a lo largo del Nilo, que tú lo ves en el mapa y está vertical, o sea, hay una longitud ahí; entonces ver lo que ha pasado en otras longitudes, a lo mejor su…