Búsqueda · 28 momentos en 14 episodios
Cecilia GarraffoJuan Carlos GilGastón GiribetFrancis VillatoroBorja Tosarespacio de tópicos inteligencia artificialformas de pensar modelos iaoperaciones lógicas gastón giribetespacio de representaciones similitud semánticaprompt ubicación significado semánticomodelo lenguaje cercanía elementosentrenamiento denso tema específicoCecilia GarraffoChatGPTWolframJuan Carlos GilGastón GiribetFrancis Villatoro
Prompt ubicación significado semántico
Ep530: Estalagmitas; Deepmind; Entrelazamiento y Gravedad; Gravitones; Halloween
30 de octubre de 20254 momentos
Con
0:000:301:001:302:002:303:003:16
Cecilia Garraffo explica cómo los modelos de lenguaje funcionan como espacios de representación donde la cercanía entre elementos indica similitud semántica.
…una máquina que esté entrenada para resolver temas B, pero no temas C, ¿no? Por ejemplo, quiere decir que haya cierta resonancia de problemas. De hecho, en este artículo justamente muestra eso, que para algunos casos no funciona también. Ok, capaz que es eso. Hay como que mapear un espacio de tópicos ahora en los cuales, no sé, diferentes formas de pensar, diferentes operaciones lógicas que haga, no sé, es interesante. Sí, pero ingenuamente si uno sabe cómo esto funciona, uno piensa: ok, no hay ningún misterio, esto uno le da un prompt, va A un espacio de representaciones donde viven cosas y la distancia entre estas cosas en el espacio de representaciones tiene un significado semántico, ¿no? Si estás cerca de algo es porque te pareces en algo más que donde estás puesto. Entonces uno dice, ok, no, no hay nada mágico, le haces un prompt, va al lugar, sabe todo lo que tiene cerca, entiende de qué estás hablando. Entonces, si no sabe mucho de un tema, lo que tenemos que hacer es entrenarlo más densamente en esa área. Pero sin embargo, Puede que no, claro. No, no, es interesante y da miedo. Aunque no sé, porque en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de…
Significado #1 · Palabras #1
Cecilia Garraffo explica la diferencia entre proporcionar contexto a un modelo de lenguaje y entrenarlo, aclarando que dar contexto implica incluir información dentro del mismo prompt o solicitud.
Habla: Cecilia GarraffoSignificado #2 · Palabras #9chatgpt cálculos humanosmodelo lenguaje grande contextoprompts chat chipiti informacióncontexto en prompts modelos lenguajeentrenamiento modifica pesos modelosdatos como contexto prompt…una manera diferente y más compacta. Cuando uno quiere hacer un modelo multimodal lo más común es usar lo que se llama Contrastive Learning, que es alinear de alguna manera estos dos para tener un modelo que pueda aceptar datos y texto. Nosotros hicimos eso. Pero después encontramos que si probamos con un modelo de lenguaje grande y le damos contexto, en vez de darle los datos a un modelo de datos, dárselos directamente a un modelo de lenguaje con contexto, funciona mejor. ¿Qué diferencia hay entre contexto y educar? Si yo quiero una definición, ¿qué es dar contexto? Darle un, lo que se llama prompts es cuando uno le pide algo al chat chipiti, le da como información. Si vos le das contexto, a lo que uno se refiere en general es que le estás dando en el mismo prompt cuando le preguntas algo o cuando le das los datos; le estás diciendo que estos datos son bla bla bla bla y le hablas del contexto en general. Sin embargo, el entrenamiento modifica los pesos, el disparo de las neuronas Claro, en este caso no estamos entrenando, estamos solamente dándole contexto, de hecho encontramos que cuando puedes también armar un modelo que hace, que genera el contexto para darle a este otro modelo Y el artículo, claro, se aprovecha de que…
Gastón Giribet continúa reflexionando sobre los errores cometidos por modelos de lenguaje como ChatGPT, comparándolos con errores humanos al olvidar factores o sesgos en el proceso de cálculo y la formulación de contra-prompts.
Habla: Gastón GiribetSignificado #14errores chatgpt sesgos contra-promptsolvido factor cálculo chatgpt…que hay una cierta divergencia, una vez que yerra empieza a errar más, hay cierta frecuencia que uno puede ver pero lo que más me sorprendió a mí es lo humano que son los errores que cometen cálculos, son muy humanos los errores, cuando comete un error es Un error que alguien podría cometer, me olvido un factor, un medio, los sesgos de cuando la forma en hacer el contra prompt, digamos decirle: ¿qué raro?, yo esperaba un 32, cómo lo busca, o ¿qué raro?, yo esperaba otro número. Ese tipo de cosas a mí lo que me sorprendía es. Sobre todo cuando pasa del lenguaje al cálculo. Cuando yerra, cuán humano es el horror que comete cuando lo buscas; digamos, es muy humano el horror que comete, eso es quizá más interesante que el que no lo cometa. ¿Cuándo hicieron esto, Gastón? Diciembre. Es…
Cecilia Garraffo explica cómo los modelos de lenguaje funcionan como espacios de representación donde la cercanía entre elementos indica similitud semántica.
Habla: Cecilia GarraffoSignificado #1 · Palabras #1espacio de tópicos inteligencia artificialformas de pensar modelos iaoperaciones lógicas gastón giribetespacio de representaciones similitud semánticaprompt ubicación significado semánticomodelo lenguaje cercanía elementosentrenamiento denso tema específico…una máquina que esté entrenada para resolver temas B, pero no temas C, ¿no? Por ejemplo, quiere decir que haya cierta resonancia de problemas. De hecho, en este artículo justamente muestra eso, que para algunos casos no funciona también. Ok, capaz que es eso. Hay como que mapear un espacio de tópicos ahora en los cuales, no sé, diferentes formas de pensar, diferentes operaciones lógicas que haga, no sé, es interesante. Sí, pero ingenuamente si uno sabe cómo esto funciona, uno piensa: ok, no hay ningún misterio, esto uno le da un prompt, va A un espacio de representaciones donde viven cosas y la distancia entre estas cosas en el espacio de representaciones tiene un significado semántico, ¿no? Si estás cerca de algo es porque te pareces en algo más que donde estás puesto. Entonces uno dice, ok, no, no hay nada mágico, le haces un prompt, va al lugar, sabe todo lo que tiene cerca, entiende de qué estás hablando. Entonces, si no sabe mucho de un tema, lo que tenemos que hacer es entrenarlo más densamente en esa área. Pero sin embargo, Puede que no, claro. No, no, es interesante y da miedo. Aunque no sé, porque en realidad el único experimento justo acá sería el mismo tamaño del modelo de lenguaje. Si lo haces fine-tune con un tema, seguro funciona mejor; es lo mismo que darle contexto de…
Francis Villatoro confirma una observación anterior sobre las críticas a ciertos experimentos y destaca la importancia de abordar las sutilezas relacionadas con los conceptos de localidad y no localidad.
Habla: Francis VillatoroSignificado #20críticas a experimentos localidad no localidadlook hole localidad experimentossutilezas conceptos localidad no localidad…para escribir la trayectoria de la luz, pero existe una descripción local; entonces, ¿qué un fenómeno es no local significa no que su descripción es no local sino que es un fenómeno que no puede ser explicado localmente y eso es una afirmación muy fuerte? Sí, eso es cierto. La mayor parte de las críticas a este tipo de experimentos han venido por ahí, por la parte de las sutilezas de lo que significa local no local; si estos experimentos realmente pueden eliminar ese resquicio, el look hole que es la localidad, pero en esos Resultados hay dos elementos LOCC, localidad de los operadores y canal clásico Claro, ¿y si estudiamos qué pasa con lo del canal clásico? Porque eso no había sido estudiado y esto es lo que aportan estos dos investigadores en Nature. Estos investigadores…