Búsqueda · 28 momentos en 12 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespodimensiones bases datos vectoriales ragretrieval augmented generation 1500vector de información sistemas ragRAGRetrieval Augmented GenerationJuan Carlos GilGastón GiribetHéctor SocasGoogleMetacampo de ShearOpenAI
Dimensiones bases datos vectoriales rag
Con
0:000:301:001:302:002:303:003:303:45
Juan Carlos Gil comenta sobre las dimensiones típicas de las bases de datos vectoriales utilizadas en sistemas de IA, específicamente en el contexto de Retrieval Augmented Generation (RAG). Menciona que estas dimensiones suelen estar alrededor de 1500.
…Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya…
Significado #1 · Palabras #1
Héctor Socas reflexiona sobre la dificultad de convertir palabras y sus componentes en representaciones vectoriales, admitiendo que le parece un proceso mágico.
Habla: Héctor SocasSignificado #14conversión palabras representaciones vectorialesprocesos mágicos héctor socastrozos de palabras fundamentos lingüísticatokens sufijos prefijos palabra…y que conceptos parecidos, por ejemplo, si digo Automóvil o Automovilístico, si eso lo tokenizamos, son vectores que están cerca en ese espacio, ¿no? Pero si digo automóvil y digo coche, pues están un poco más lejos, pero también están cerca en ese espacio. Entonces, ¿cómo hacer eso? Pues no lo sé; es una cosa complicadísima. Para mí es magia, o sea, cómo convertir no solo palabras, sino trozos de palabras que sean fundamentos, no sé cómo se dice eso en lingüística, pero... ¿o NEMAS? No, es que no son fonemas. Puede haber a lo mejor la raíz de una palabra y luego los diferentes sufijos o prefijos son diferentes tokens, etc. Y no hay una forma única; hay muchas formas de Tokenizar, cada empresa tiene la suya; hay algunas que son públicas. La de Google creo que es pública; creo que Meta tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras…
Héctor Socas reflexiona sobre la complejidad de convertir palabras en representaciones vectoriales y cómo se organizan en un espacio multidimensional.
Habla: Héctor SocasSignificado #2 · Palabras #3espacio multidimensional arbitrariobase de datos vectorial gastón giribetrango de vectores…tiene también un conjunto público de tokens también, pero que luego eso se convierta en números que estén, con eso que yo digo, que palabras relacionadas estén cerca en ese espacio y otras menos relacionadas más lejos. Bueno. No sé; eso es complicadísimo. Porque es un espacio de dimensión muy grande, ¿no? Sí, no sé tampoco qué dimensión tiene, supongo que también será arbitrario dependiendo de, cada uno tendrá su propia dimensión. Lo llaman base de datos vectorial, creo recordar, para ver el rango de esos vectores, sí. Claro, esa es la dimensión. Bueno, Gastón, venga, lárgate, vaya pregunta que. Me has hecho hasta luego, Gastón. Gracias por unirte; gracias a ustedes. La próxima semana, la tokenización es lo que convierte del idioma con el que nosotros le hablamos al modelo de lenguaje: lo convierte su idioma interno. Ellos internamente piensan en…
Héctor Socas explica la fase de 'ajuste fino' en modelos de lenguaje, donde se utilizan prompts generados aleatoriamente o extraídos de bases de datos para mejorar el modelo base resultante del pre-entrenamiento.
Habla: Héctor SocasSignificado #15prompts generados aleatoriamenteajuste fino sobre modelo baserespuestas del modelo baseoperador elige mejor respuesta…plausibles: cuáles son ciertas y cuáles no. Y para eso no queda más remedio que tener personas; hay diferentes pasos aquí, pero uno de los pasos es tener operadores humanos, gente contratada por estas empresas como OpenAI que hacen lo que se llama el post. Entrenamiento, el ajuste fino en el cual se van poniendo prompts, muchísimos, generados, no sé si sacados de alguna base de datos o con cierta aleatoriedad o si el operador lo que sea. Y entonces el modelo le da diferentes respuestas y tienen que elegir cuál es la mejor respuesta. Y entonces así se va haciendo un segundo ajuste sobre el modelo base. El modelo base es el que sale del pre-entrenamiento y luego se hace el ajuste fino en el cual un humano le va diciendo qué respuestas son ciertas y cuáles no. Entonces esta es la distinción fundamental: el pre-entrenamiento nos da respuestas plausibles, pero que pueden ser ciertas o pueden ser no, o pueden no serlo; o sea, un coche rojo compró pescado en la heladería, ¿vale? Eso podría ser una respuesta…
Juan Carlos Gil comenta sobre las dimensiones típicas de las bases de datos vectoriales utilizadas en sistemas de IA, específicamente en el contexto de Retrieval Augmented Generation (RAG). Menciona que estas dimensiones suelen estar alrededor de 1500.
Habla: Juan Carlos GilSignificado #1 · Palabras #1dimensiones bases datos vectoriales ragretrieval augmented generation 1500vector de información sistemas rag…Gracias por aportar rigor, porque efectivamente la definición creo que es esa, unidad mínima de texto, y esa es la palabra que a mí no me salía, lexemas, morfemas, ese tipo de términos que representan los bloques con los que se construyen las palabras. Yo por mi parte, rápido, he buscado el número típico de dimensiones de las bases de datos vectoriales para IA y es del orden de 1.500, no los millones que esperamos, dimensiones de ese vector donde se guardan, por ejemplo, información en los sistemas estos RAG, de Retrieval Augmented Generation, suelen tener 1.536, por lo visto, dimensiones Balance entre performance, entre capacidad y almacenamiento o complejidad. Bueno, pues este paper del que hablábamos intenta estudiar desde un punto de vista, como digo, de teoría de aprendizaje computacional el origen de las alucinaciones, las que son intrínsecas de la red neuronal, no las que aparecen, por ejemplo, porque haya…
Héctor Socas explica cómo el análisis de la distorsión de las galaxias (campo de Shear) permite descomponerlo en campos vectoriales bidimensionales.
Habla: Héctor SocasPalabras #5campo shear distorsión de galaxiasdescomposición vectorial bidimensionalhector socas analiza campos vectoriales…perfilado sino que es bastante borroso; y pero bueno aún así. Así obtenemos primero esos 15 cúmulos globulares que ya eran conocidos previamente y también vemos esos filamentos que unen cúmulos, lo cual da una idea de que lo que estamos viendo es real. Pero sobre todo hay una cosa muy chula que me gusta mucho y es que cuando... todo esto está basado en el campo de Shear, lo que dije, esta distorsión de las galaxias. ese share, esa distorsión de las galaxias es un vector, puede tener cualquier dirección en el plano del cielo entonces lo podemos ver como un campo vectorial en el cielo y cualquier campo vectorial que uno tenga, en este caso en dos dimensiones uno lo puede descomponer, de esto hemos hablado otras veces en otro contexto, uno lo puede descomponer en un campo tipo E y un campo tipo B que los modos E y modos B que solemos hablar cuando hablamos de la polarización del fondo cósmico de microondas que decimos que hay los modos E y los modos B que son los que se están buscando que no es más que si yo tengo eso un campo en el que en cada punto…