Búsqueda · 28 momentos en 17 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespodimensiones bases datos vectoriales ragretrieval augmented generation 1500vector de información sistemas ragRAGRetrieval Augmented GenerationJuan Carlos GilGastón GiribetHéctor SocasGoogleMetamodo EAutomóvilAutomovilístico
Vector de información sistemas rag
Con
0:000:301:001:302:002:303:003:303:45
Juan Carlos Gil comenta sobre las dimensiones típicas de las bases de datos vectoriales utilizadas en sistemas de IA, específicamente en el contexto de Retrieval Augmented Generation (RAG). Menciona que estas dimensiones suelen estar alrededor de 1500.
…Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya…
Significado #1 · Palabras #1
Héctor Socas reflexiona sobre la dificultad de convertir palabras y sus componentes en representaciones vectoriales, admitiendo que le parece un proceso mágico.
Habla: Héctor SocasSignificado #4pre-entrenamiento modelos de lenguajepredicción siguiente palabra anteriorestokens abstracción de palabrasespacio vectorial automóvil automovilísticoconversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabra…y otra que, sorpresa, se llama post-entrenamiento, lo cual está mal, porque parecería como que entrenamiento es algo que está en medio y hay un pre y un post, pero no. Quiere decir que hay un entrenamiento previo y un entrenamiento posterior. Entonces, simplificando mucho, el pre-entrenamiento es eso que se suele decir a veces que los modelos de lenguaje lo que hacen es predecir la siguiente palabra a partir de las anteriores. Eso es, bueno, la parte, el principio básico del pre-entrenamiento, solo que en realidad no es con palabras, es con tokens; tokens saben que son una especie de abstracción de las palabras, es una unidad de información más pequeña que una palabra, pero que representa un concepto relacionado con la palabra y que viven en un espacio vectorial y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras…
Héctor Socas reflexiona sobre la complejidad de convertir palabras en representaciones vectoriales y cómo se organizan en un espacio multidimensional.
Habla: Héctor SocasSignificado #2espacio multidimensional arbitrariobase de datos vectorial gastón giribetrango de vectores…tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en…
Juan Carlos Gil comenta sobre las dimensiones típicas de las bases de datos vectoriales utilizadas en sistemas de IA, específicamente en el contexto de Retrieval Augmented Generation (RAG). Menciona que estas dimensiones suelen estar alrededor de 1500.
Habla: Juan Carlos GilSignificado #1 · Palabras #1dimensiones bases datos vectoriales ragretrieval augmented generation 1500vector de información sistemas rag…Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya…
Héctor Socas explica cómo cualquier campo vectorial puede descomponerse en dos modos: el modo E, que indica la convergencia o divergencia hacia un punto, y el modo B, que describe la rotación de las flechitas.
Habla: Héctor SocasSignificado #6campo vectorial modo e convergenciadescomposición de campos héctor socas…un... el campo vemos que o bien sale o bien entra, en términos netos, hacia ese punto. O sea, que las flechitas o bien divergen hacia afuera o bien convergen hacia dentro de ese punto. Eso sería el modo E y el modo B sería cómo las flechitas se arremolinan. Alrededor de ese punto en una dirección o en la otra. Es una descomposición, cualquier campo, da igual que las flechitas vayan hacia afuera o sea dentro de un punto que roten o que no roten, sea como sea ese campo, yo lo puedo descomponer en esos dos modos. Bueno, pues la parte que se asocia con el efecto lente gravitacional es la componente E, o sea, la componente que se llama libre de rotacional. Mientras que la componente B, que es la parte que se llama libre de divergencia, debería ser nula, a primer orden, en un…