Búsqueda · 33 momentos en 23 episodios
Juan Carlos GilSilvana TapiaLuisa AchaerandioGastón GiribetFrancis VillatoroHéctor SocasIgnacio Crespométricas de papers científicosproductividad científica y benchmarksvaloración de científicos jóvenesadaptar productividad a métricasHéctor SocasOpenAI
Adaptar productividad a métricas
Ep549: Agujeros Negros; IAlucinaciones; Engranajes; Materia Oscura; Doom Neuronal
12 de marzo de 20261 momento
Con
0:000:301:001:302:002:303:003:303:45
Héctor Socas compara la situación de los científicos jóvenes que buscan publicar artículos con el problema de las empresas que manipulan los 'benchmarks' para mejorar sus resultados.
…los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con…
Significado #1 · Palabras #1
Héctor Socas compara la situación de los científicos jóvenes que buscan publicar artículos con el problema de las empresas que manipulan los 'benchmarks' para mejorar sus resultados.
Habla: Héctor SocasSignificado #1 · Palabras #1métricas de papers científicosproductividad científica y benchmarksvaloración de científicos jóvenesadaptar productividad a métricas…los modelos por su precisión, ¿qué significa eso? Que se está introduciendo un sesgo, porque claro, todas las empresas y esta gente trabaja en OpenAI, o sea que saben lo que hacen las empresas van a intentar maximizar las métricas de estos benchmarks. Estos tienen el mismo problema que los jóvenes científicos y científicas con la producción de papers para, o sea, que tienes un tribunal que te va a valorar basándose en ciertas métricas; entonces, tú intentas optimizar esas métricas, tú intentas adaptar tu productividad para que te dé un buen resultado en esas métricas. pues ellos hacen lo mismo y entonces el resultado final es que los modelos de lenguaje tienen una fuerte penalización a decir no lo sé y ellos creen que este ahora mismo el principal factor que limita el hecho de que nuestros modelos no puedan funcionar con…