Búsqueda · 39 momentos en 22 episodios
Meta
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
…fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…
Significado #1
Héctor Socas menciona el lujo de entrevistar a Pushmeet Kohli y Thore Graepel, pioneros en DeepMind relacionados con AlphaGo.
Habla: Héctor SocasSignificado #18pushmeet kohli vicepresidente deepmindthore graepel equipo original alfagodeepmind y alpha go…Alfa Folk, que llegó a ganar el premio Nobel de Química en 2024 y que hemos hablado como una de las grandes revoluciones en el campo de la bioquímica para entender mejor la estructura de las proteínas. Entonces hay una serie de eventos y nosotros hemos tenido El lujo y el privilegio de poder entrevistar a dos de los pioneros de toda esta saga que son Pushmeet Kohli y Thore Graepel, que son vicepresidente de ciencia de DeepMind y, en el caso de Thor, uno de los miembros del equipo original que diseñó Alfago. Entonces, bueno, ya hemos grabado esa entrevista con ellos y espero que la semana que viene podamos, a ver, espero que la semana. ¿Que viene la podamos publicar? Pero les digo una cosa: normalmente el hacer todo el doblaje lleva bastante trabajo y no sé si lo tendremos para la semana que viene. Es bastante posible que no; de hecho, creo que la última se nos fue más de un mes en hacer el…
Héctor Socas introduce un artículo científico sobre las 'alucinaciones' en modelos de lenguaje, mencionando que lo descubrió a través de una conversación en Twitter.
Habla: Héctor SocasSignificado #16alucinaciones en modelos de lenguajepaper openai septiembre 2025adam taumann kalai openai…pues muchas eran cosas totalmente inservibles. Pero de vez en cuando encontraban ideas que les abrían caminos para avanzar, porque dentro de ese mundo de fabulaciones, de inventos que hacía la red neuronal, pues algunos eran prolíficas Entonces bueno, quería decir eso un poco. Entonces, el paper que vamos a comentar es un paper que es de septiembre del año pasado; yo lo vi comentado en Twitter y me despertó la... porque no lo había visto. Había visto otros parecidos pero este me pareció particularmente interesante y lo vi en una conversación de Twitter; lo siento pero no recuerdo quién fue la persona que me etiquetó o que me incluyó en la conversación, pero bueno, es un paper, como digo, de septiembre de 2025 que se titula ¿Por qué los modelos de lenguaje alucinan? Y está firmado por cuatro autores de OpenAI y uno de Georgia Tech; el primer autor se llama Adam Taumann-Kalai de OpenAI. Bueno, y este artículo pues bueno empieza exactamente con una analogía de este tipo, ¿no? Y conectamos aquí con lo que preguntaba Juan Carlos, de decir: no lo sé, lo que ellos dicen es lo siguiente: si tú tienes un estudiante haciendo un examen y es un examen…
Héctor Socas discute sobre la tokenización de texto en modelos de lenguaje, mencionando ejemplos de empresas como Google y Meta.
Habla: Héctor SocasSignificado #1tokenización de texto googleconjunto público de tokens metaespacio vectorial de tokens…fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos…