Búsqueda · 26 momentos en 10 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasentrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datosFrancis VillatoroChatGPTMaría RibesHéctor SocasMetaLearningGPT-3.5
Entrenamiento modelos lenguaje ChatGPT
Con
0:000:301:001:302:002:303:003:33
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no…
Significado #1 · Palabras #1
María Ribes agradece a alguien y continúa la conversación sobre el entrenamiento de grandes modelos de lenguaje como ChatGPT, señalando los sesgos lingüísticos y culturales inherentes a estos sistemas.
Habla: María RibesSignificado #1 · Palabras #1entrenamiento modelos lenguaje chatgptsesgos lingüísticos en chatgptsesgos culturales en sistemas de lenguajefrancis y la contaminación de datos…valga. No adquiere nunca la lengua si no está viendo a otra persona. Pero evidentemente cuando yo le muestro las cosas, lo aprende más rápido. Pero no es sine qua non. Lo que es completamente indispensable es que vea y que se relacione con esa otra persona. Ok, gracias. Un placer. Entonces, lo que querían hacer ellos es: vamos a entrenar a un gran modelo de lenguaje porque, por ejemplo, el chat GPT, ya sabéis que se entrena con millones de datos, millones de datos y aparte de la contaminación, como decía Francis, entran ahí todos esos sesgos, sesgos lingüísticos, sesgos culturales que no siempre son buenos y ChatGPT no habla, no sabe lo que dice y es el gran problema de nuestro tiempo. Yo creo que es antropomorfizar al modelo de lenguaje. O sea, cuando ChatGPT te dice a ti: qué grande eres, qué buena frase me has dicho, estoy muy contento de poderte ayudar; ChatGPT no está contento. Eso no es lenguaje, porque para que sea un enunciado lingüístico tiene que haber una emoción ¿vale? y ChatGPT no…
María Ribes expresa su asombro ante la cantidad masiva de tokens utilizados en el entrenamiento de modelos como GPT-3.5, anticipando que los nuevos modelos superarán esa cifra y comentando sobre un modelo agnóstico de MetaLearning.
Habla: María RibesSignificado #19tokens en entrenamiento gpt3 5modelo agnóstico de metalearningsesgos inductivos con datos…fue esto: el MAML. Depende a lo que te refieras con datos, porque si son cosas como tokens, o sea, los GPT, el antiguo, o sea, del último que dieron publicación total, creo que fue el 3.0; no sé, el 3.5, eran billones los conjuntos de entrenamiento de tokens. Es increíble. Y los nuevos, claro, serán muchísimo más, evidentemente. Pero de eso no han dado toda la información detallada. Que lo consigue con este sistema, que es un modelo para que aprenda tareas rápidamente y es agnóstico, porque le da igual el modelo que le des, va a trabajar con lo que tiene. Entonces va a crear sus sesgos inductivos con los datos que tú le das y lo llaman así, modelo agnóstico de MetaLearning. Y yo no lo había leído nunca. Yo la verdad que no lo puedo explicar fácilmente El día que volviera a leerme el artículo, este es un artículo clásico de aprendizaje Y no me acuerdo de los detalles, yo esto lo leí hace siglos Grosso modo, en los procesos de aprendizaje tú creas podemos de…
Héctor Socas reflexiona sobre cómo los grandes modelos de lenguaje pueden ser reentrenados para otras aplicaciones, superando incluso a las redes neuronales diseñadas específicamente para esas tareas.
Habla: Héctor SocasSignificado #15redes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…