Búsqueda · 33 momentos en 12 episodios
María RibesAlberto ApariciJuan Carlos GilIgnacio CrespoFrancis VillatoroHéctor SocasLuisa AchaerandioPushmeet Kohli · DeepMindThore Graepel · DeepMindreglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificiallimitaciones cómputo entrenamiento modelos lenguajebillones tokens aprendizaje épocas entrenamientointeligencia artificial wikipedia todos idiomasFrancis VillatoroWikipedia
Reglas en Inteligencia Artificial modelos lenguaje
Con
0:000:301:001:302:002:303:003:33
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o sea, no se puede hacer más, y eso es más que suficiente. Es decir, y resulta que una inteligencia artificial recibe toda la Wikipedia y solo por ver toda la Wikipedia en todos los idiomas, ya es capaz de hablar en todos los idiomas. Pero ¿por qué habla? Y las mete ahí. Son puras correlaciones. Y hace todo eso sin necesidad de saber lo que es un verbo, lo que es un adjetivo, lo que es un plural. Pero sí lo sabe, igual que tú lo sabes y no lo sabes. O sea, la mayoría de las personas cuando estamos hablando una…
Significado #1 · Palabras #1
Francis Villatoro explica por qué el análisis ortosintáctico, basado en el conocimiento de los filólogos, resulta ineficaz para comprender el lenguaje natural desde la perspectiva de la inteligencia artificial.
Habla: Francis VillatoroPalabras #15análisis ortosintáctico filólogos ineficazlenguaje natural inteligencia artificial ambiguoconocimiento filólogos lenguaje trivial…que si no ponías un árbol de Monte Carlo como se había hecho toda la vida para hacer juegos parecía como que la inteligencia artificial no iba a ser capaz de profundizar más y eso es una cosa que me gustaría ya que está aquí María y es un tema interesante. Conectarlo con el lenguaje natural de toda la vida en inteligencia artificial se ha dicho que el lenguaje natural era tan ambiguo, tan complicado. Todo el conocimiento de los filólogos sobre el lenguaje, el análisis ortosintáctico es trivial. El análisis ortosintáctico no permite entender un idioma, una lengua. Los hablantes no usamos el análisis ortosintáctico y la conexión semántica, y no usamos ese tipo de conceptos que teóricamente es lo que desde la inteligencia artificial estábamos usando para entender el lenguaje natural. Intentábamos entenderlo utilizando el conocimiento de los filólogos, pero es. Que el conocimiento de los filólogos es irrelevante, todo lo contrario a ser un beneficio, es un lastre, porque los niños, los bebés, los pequeñitos aprenden el idioma sin necesidad de ese conocimiento ortocintáctico. Entonces, en inteligencia artificial…
Francis Villatoro explica cómo la aplicación de reglas a grandes modelos de lenguaje en inteligencia artificial implica que estas redes neuronales sean tan extensas como el conjunto de datos y se expongan repetidamente a los mismos datos para evitar el sobreaprendizaje.
Habla: Francis VillatoroSignificado #1 · Palabras #1reglas en inteligencia artificial modelos lenguajeevitar sobreaprendizaje repetición datosfrancis villatoro reglas inteligencia artificiallimitaciones cómputo entrenamiento modelos lenguajebillones tokens aprendizaje épocas entrenamientointeligencia artificial wikipedia todos idiomas…lo que puedes aceptar que cometa errores en las construcciones y en los modismos, que no entienda bien ciertos dejes, ciertos dobles sentidos porque ha aprendido una segunda lengua o sea, se planteaban eso como casos pilotos para montar un test de Turing y De repente, cuando te llegan los grandes modelos de lenguaje con el modelo de atención y tú aplicas una serie de reglas que nunca se habían aplicado en inteligencia artificial, que es básicamente las redes neuronales tienen que ser muy grandes, tan grandes como el conjunto de datos, y las redes no tienen que aprender muchas veces. Muéstrale todos los datos una, dos, tres, cuatro, cinco veces, pero no las muestres muchas más que sobreaprenden y entonces lo hacen peor. Son reglas muy tontas, muy sencillitas, claro. Ahora ya estás trabajando con billones, literalmente, billones de tokens en los aprendizajes y estamos hablando de una o dos épocas de entrenamiento, no más, porque literalmente no hay cómputo para hacer más; o sea, no se puede hacer más, y eso es más que suficiente. Es decir, y resulta que una inteligencia artificial recibe toda la Wikipedia y solo por ver toda la Wikipedia en todos los idiomas, ya es capaz de hablar en todos los idiomas. Pero ¿por qué habla? Y las mete ahí. Son puras correlaciones. Y hace todo eso sin necesidad de saber lo que es un verbo, lo que es un adjetivo, lo que es un plural. Pero sí lo sabe, igual que tú lo sabes y no lo sabes. O sea, la mayoría de las personas cuando estamos hablando una…