Búsqueda · 21 momentos en 11 episodios
María RibesBorja TosarGastón GiribetFrancis VillatoroHéctor Socasembeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socasHéctor SocasMarteM87
Red Neuronal y embeddings de Héctor Socas
Con
0:000:301:001:302:002:303:003:33
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
…una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…
Significado #1 · Palabras #1
Héctor Socas introduce una serie de temas científicos que se abordarán durante el programa, incluyendo la terraformación de Marte y el aprendizaje acelerado del lenguaje en redes neuronales.
Habla: Héctor SocasPalabras #19terraformación de marte tecnologíaaprendizaje acelerado lenguaje redes neuronaleserror ciencia exoplanetas sigmas universochorros relativistas acreción agujero negro m87…como siempre, aquí les proponemos una actualidad diferente, no rabiosa sino radiante, no bélica sino bella, no corrupta sino correcta en lo político y en lo intelectual Porque las noticias de la ciencia suelen ser buenas noticias, no siempre, pero a menudo Y Aquí entre los rescoldos de la actualidad vamos a hablar de qué haría falta para terraformar Marte, no en recalificación urbanística, sino en cuanto a tecnología; de cómo acelerar el aprendizaje de la lengua en redes neuronales; de un error muy extendido en ciencia de exoplanetas, con eso de las sigmas y del universo; de la intermitencia de los chorros relativistas y de la acreción del agujero negro supermasivo en M87. Todo eso son los temas que hablaremos dentro de un momento. Antes les quiero recordar rápidamente que tenemos una página web que es señalirruido.com Señal y ruido, con la ñ, todo junto, señalirruido.com. En esa página pueden encontrar toda la información de todos los episodios anteriores, las referencias, los papers…
Héctor Socas continúa reflexionando sobre la capacidad de los grandes modelos de lenguaje para aprender, comparándolos con las redes neuronales y destacando su potencial como una vía prometedora para el aprendizaje general.
Habla: Héctor SocasSignificado #4 · Palabras #14redes neuronales y modelos lenguajeaprendizaje general con modelos lenguajereentrenamiento modelos lenguaje otras aplicacionesredes neuronales específicas para tareasaprender lenguaje sistema capacidad aprendizajegran modelo lenguaje héctor socas…una capacidad de aprendizaje rápido comparado con lo que son en general las redes neuronales o en particular con los grandes modelos de lenguaje que hasta donde tengo entendido sí que son buenos aprendedores en ese sentido y eso a su vez me lleva a. Algo que a mí siempre me ha fascinado mucho y es que justamente los grandes modelos de lenguaje parecen ser una excelente, o sea, pensando de forma agnóstica simplemente en redes neuronales parecen ser una avenida fantástica para el aprendizaje general hasta el punto de que muchos se usan luego para. Otras cosas, se puede coger un gran modelo de lenguaje y reentrenarlo para otras aplicaciones que no son el lenguaje y funcionan mejor incluso que aplicaciones, que redes neuronales entrenadas específicamente para ese propósito. Lo cual parece dar a entender, parece sugerir que aprender el lenguaje es una buena forma de desarrollar un sistema que tiene una capacidad fuerte de aprender. Creo que va por ahí un poco la cosa, lo cual no deja de resultarme muy fascinante. Sí, y estaba buscando una cita que también tenía un poco de ver con eso que decías que lo que quieren es superar esas limitaciones de las redes neuronales modernas aunque aprenden muy bien para que adquieran cualquier otra lengua no necesariamente desde el…
Héctor Socas aborda la cuestión de si los modelos de lenguaje funcionan traduciendo o a través de un proceso diferente, mencionando la existencia de embeddings como una capa inicial que abstrae el lenguaje en conceptos.
Habla: Héctor SocasSignificado #1 · Palabras #1embeddings como abstracción del lenguajetokenización de conceptos en modelosred neuronal y embeddings de héctor socas…una especie de supremacía de un idioma frente a otros en su forma de funcionar. Pues sí. Pero no sé si funciona traduciendo, yo me extrañaría que eso fuera así, de hecho. No, no funciona traduciendo. Hay una primera capa que son embeddings. Pero ahora os diré una cosa. Vale, sé que hay una primera parte del modelo que son los embeddings, que todavía no es parte de la red neuronal en sí; que es una especie de abstracción del lenguaje a conceptos, que es lo que luego se tokeniza. Pero bueno, no sé, me parece una pregunta interesante, no tengo claro el asunto. Si tienes razón, tenéis razón, pero Dentro de mi campo, dentro de la lingüística, sí que bromeamos con que ChatGPT tiene lengua 1 de inglés, quizás porque sea el corpus mayoritario en inglés, pero es que el sesgo lingüístico, que es lo que estoy trabajando yo ahora, no el sesgo cultural, ni…
Héctor Socas explica cómo las redes neuronales utilizan una función de pérdida para ajustarse a los datos, comparándola con la motivación humana basada en reacciones bioquímicas de placer y dolor.
Habla: Héctor SocasSignificado #6 · Palabras #13función de pérdida en redes neuronalesmotivación de redes neuronales minimizando lossreacciones bioquímicas placer dolor motivación…todos los sutiles y ricas y complejas que se quieran de eso, que es la forma de la evolución a lo largo de 500 millones de años de decirnos haz esto y evita esto otro, que es como te va a ir bien y vamos a seleccionar estos genes para que se sigan propagando. Entonces, en el caso de nuestras redes neuronales tenemos lo que se llama una función de pérdida, la loss function, que es lo que te dice cuánto de bien está haciendo el ajuste a los datos que le están metiendo. Entonces, ese es el equivalente, de una forma muy burda quizás, de transmitirle una motivación. O sea, una red neuronal está motivada a hacer lo que tú le has inducido a que haga mediante la minimización de esa función de pérdida. Entonces, esa es la motivación, que en nuestro caso la motivación es una reacción bioquímica que en última instancia son reacciones de placer-dolor. Entonces, para mí es lo equivalente. Ahora mismo es algo demasiado simple Pero igual que a nadie le parecía concebible Que la computación pudiera llevar a inteligencia o incluso a conciencia Yo creo que ahora ya nadie tiene eso tan claro Es más, yo como mecanicista convencido estoy seguro de que…