Búsqueda · 28 momentos en 16 episodios
Alberto ApariciBorja TosarHéctor SocasGastón GiribetFrancis Villatorovalor p biomedicina periodismo científicop hacking estadística biomedicinasoftware análisis datos valor pvalor PP-hackingFrancis VillatoroBikipifactor de BayesAlbertoAlberto Aparici
P hacking estadística biomedicina
Con
0:000:301:001:302:002:303:003:42
Francis Villatoro aborda las críticas y problemas asociados al valor P, especialmente su mal uso en biomedicina y la desconfianza que genera en el periodismo científico debido a prácticas como el 'P-hacking'.
…te dirán: pues ¿y eso qué es? ¿Es mucho? ¿Es poco? Pues 17 tiene que ser muchísimo, porque lo digo yo y lo voy a publicar. Es una muy buena revista, pero de verdad es mucho. Entonces la gente está ahora acostumbrada, pues al valor P, pero el valor P tiene la lacra de que ha sido mal usado, sobre todo en biomedicina y que a nivel de periodismo científico ahora mismo está muy derostado, ¿no? El P-hacking, ¿no? El problema del valor P es que, bueno, yo tengo software que meto en mis datos y bajo una serie de hipótesis tengo que seleccionar una serie de parámetros, una serie de distribuciones estadísticas, que esa selección es la clave De que lo que tú haces es que esté inhecho o esté mal hecho y lo suyo es que lo haga un experto, que no lo haga una persona que no tiene ni sorridea, porque la gente que no tiene ni sorridea lo que hace es los parámetros por defecto. Lo que venga en software…
Significado #1 · Palabras #1
Francis Villatoro explica una desventaja de la estadística bayesiana mal aplicada, comparándola con las técnicas frecuentistas para el contraste de hipótesis.
Habla: Francis VillatoroPalabras #11contraste de hipótesis frecuentistavalor p análisis estadísticahipótesis nula alternativa bayesianasoftware para contraste hipótesis…para que los oyentes tengan en mente eso, o sea, la diferencia entre un contraste de hipótesis basado en estadística bayesiana y una probabilidad frecuentista de cuánto de probabilidad es que ocurra algo. Y aquí un punto también importante, y eso quizás es Uno de los grandes defectos que tiene la estadística bayesiana mal hecha: El contraste de hipótesis se puede hacer de manera frecuentista, con técnicas, y hay software muy bueno, y se ha hecho toda la vida con técnicas frecuentistas. Y obtengo un valor P, obtengo si quieres un número de sismas, y hago un análisis, tengo mi hipótesis nula, mi hipótesis alternativa, y tengo unas técnicas que me permiten, pues en función de las distribuciones esperadas de probabilidad de los datos, etc. Es decir, te puedo tener un modelo, contrasto esa hipótesis en base a un modelo y obtengo el valor P. o el número de sismas de confianza estadística de la hipótesis nula y de la hipótesis alternativa Lo que ha ocurrido con el mundo bayesiano es que han empezado a usarse las herramientas bayesianas para hacer cosas que nadie nunca hizo con herramientas…
Francis Villatoro explica una alternativa al uso de software especializado para realizar contrastes de hipótesis bayesianos.
Habla: Francis VillatoroPalabras #15hipótesis bayesianas software caja oscuraestadístico desarrolla software hipótesis bayesianasvalor p software contrastes hipótesis…que ha ocurrido con el mundo bayesiano es que han empezado a usarse las herramientas bayesianas para hacer cosas que nadie nunca hizo con herramientas bayesianas y una de ellas es, por ejemplo, el contraste de hipótesis bayesiano que acaba de mencionar esto. Es decir, en el contraste de hipótesis bayesiano yo digo: bueno, en lugar de usar un software caja oscura que utiliza una estadística que sabe el estadístico que ha desarrollado el software, cómo funciona, pero yo no tengo ni otra idea; yo solo sé usar el software, que es lo que todos los científicos hacían para hacer los contrastes de hipótesis, apoyarse en un software que se supone que lo hacían bien y lo que dijera el software, el software me da el valor P. resulta que se ha sustituido por un contraste de hipótesis bayesciano que consiste en estimar a partir de las probabilidades a priori de la hipótesis nula y de la alternativa estimar, usar esas dos hipótesis como modelo y digo los datos que yo tengo cómo me…
Francis Villatoro aborda las críticas y problemas asociados al valor P, especialmente su mal uso en biomedicina y la desconfianza que genera en el periodismo científico debido a prácticas como el 'P-hacking'.
Habla: Francis VillatoroSignificado #1 · Palabras #1valor p biomedicina periodismo científicop hacking estadística biomedicinasoftware análisis datos valor p…te dirán: pues ¿y eso qué es? ¿Es mucho? ¿Es poco? Pues 17 tiene que ser muchísimo, porque lo digo yo y lo voy a publicar. Es una muy buena revista, pero de verdad es mucho. Entonces la gente está ahora acostumbrada, pues al valor P, pero el valor P tiene la lacra de que ha sido mal usado, sobre todo en biomedicina y que a nivel de periodismo científico ahora mismo está muy derostado, ¿no? El P-hacking, ¿no? El problema del valor P es que, bueno, yo tengo software que meto en mis datos y bajo una serie de hipótesis tengo que seleccionar una serie de parámetros, una serie de distribuciones estadísticas, que esa selección es la clave De que lo que tú haces es que esté inhecho o esté mal hecho y lo suyo es que lo haga un experto, que no lo haga una persona que no tiene ni sorridea, porque la gente que no tiene ni sorridea lo que hace es los parámetros por defecto. Lo que venga en software…
Francis Villatoro explica la posibilidad de transformar el factor de Bayes en un valor P, pero enfatiza que esto requiere un modelado muy detallado y un conocimiento exhaustivo de las probabilidades a priori y la distribución estadística.
Habla: Francis VillatoroPalabras #9factor bayes en valor pmodelado exquisito factor bayesprobabilidades a priori distribución estadísticacontrol absoluto probabilidades a priori…y dice: no, perdón, usted no puede interpretar así, usted tiene que verá condicionado a los parámetros, a lo que se ha hecho; es que usted no sabe, pues búsquese a alguien que sepa, pero eso no, búscame a alguien que sepa. Yo soy un catedrático de cirugía. Entonces, lo que se ha hecho es, ¿se puede convertir el factor de valles en un valor P? Pues sí, se puede convertir, pero requiere un modelado exquisito de todo, ¿vale? Se puede convertir sabiendo cómo son las probabilidades a priori, qué distribución estadística tienen, cómo va todo, o sea, tienes que tener un control absoluto de eso. Entonces lo que Se hizo en Astronomía, que bueno; se publicó un artículo muy famoso de Astronomía, pues es un análisis de este tipo con un modelo extremadamente simplificado. Es un modelo muy, muy simplificado; se lo publicó Selke y varios colaboradores en 2001, entonces en…
Francis Villatoro explica que es posible calcular un valor P mediante métodos numéricos en ordenador para espectros con múltiples picos aproximados por gaussianas, pero reconoce que nadie ha realizado este cálculo debido a su complejidad.
Habla: Francis VillatoroPalabras #14valor p métodos numéricos ordenadorespectros gaussianas cálculo valor pestadística complejidad cálculo valor pfórmula programa ordenador estima valor p…¿por qué tú estás estimando un espectro con varios picos y estás aproximando por una gaussiana cada uno de los picos? Ya tienes una distribución multivariable, tienes multiparamétrica, tienes una cosa. Repetir esta fórmula para un modelo así complicado, se Puede hacer por ordenador, con métodos numéricos, pero te va a dar una fórmula que es un programa de ordenador muy complicado que te estima valor P. Pero eso no lo ha hecho nadie, porque en estadística nadie se atreve a hacer esas barbaridades, aunque se podría hacer, no parece muy complicado. Pero tiene que ser caso a caso. Para este problema concreto, eso planetario de amor, que yo espero que las distribuciones sean de este tipo. Yo hago mi fórmula correspondiente para estimar la europea a partir del factor de valle. Pero para otro problema distinto, estoy con esas enanas…
Francis Villatoro explica cómo puede transformar un factor de Bayes en un valor P y luego invertir este último para obtener sigmas, aunque reconoce la necesidad de un modelo estadístico específico para esta inversión.
Habla: Francis VillatoroPalabras #8valor p y periodistas biomédicossigmas como alternativa al valor pdesconfianza periodista campo biomédicoengaño común sector biomédicofactor bayes valor p sigmasinversión valor p modelo estadísticodistribución cauciana sigmas…tan de juguete que para el problema este de juguete nadie calcularía, haría un análisis bayesiano, porque se ve directamente a vista, no hay que complicarse la vida; es un problema extremadamente de juguetes, pero no, se usa esta fórmula y lo que pasa. Es que el valor P no se lo puede contar a un periodista, porque si se lo cuentas a un periodista, el periodista te dice: ya estás con el pez aquí, me quieres engañar; los biomédicos me llevan engañando toda la vida con eso. No, no, no, el valor P no se lo cree nadie. No, no, te lo voy a dar en sigmas, yo puedo convertir el valor P en sigmas. O sea, yo puedo transformar el factor de Bayes en un valor P y ahora invertir el valor P y sacar sigmas. De nuevo, la inversión para el valor P, para sacar las sigmas, requiere un modelo estadístico concreto. En grosso modo, básicamente, que tengas una distribución cauciana, pero no tienes una distribución cauciana en ningún caso. O Sea, no puedes, o sea, una fórmula que está mal. O sea, aplicar esa fórmula no está justificado de ninguna manera y debe ser rechazada de plano aunque haya sido usada en más de 1200 artículos de astronomía exoplanetaria y astronomía normal y corriente porque…
Alberto Aparici reflexiona sobre cómo muchas personas utilizan fórmulas estadísticas sin comprenderlas a fondo, admitiendo su propia falta de conocimientos en estadística.
Habla: Alberto ApariciSignificado #15estadística fórmulas sin comprender albertofalta conocimientos estadística apariciuso generalizado estadística sin crítica…leído esos artículos. ¿Para qué me voy a leer el artículo que invierte una fórmula tan sencillita? ¿Me pone una función muy sencillita que es la inversa? ¿Para qué me voy a leer? ¿Molestarme en eso? ¿Se lo voy a abogar? Por hacer de abogado del diablo. Claro, mucha gente a lo mejor no se ha planteado esto porque efectivamente no tienen ni idea de estadística como yo mismo, que no la tengo, pero bueno, por fortuna mi trabajo nunca involucró mucha estadística. Seguramente esta gente pensará: bueno, si todo el mundo la usa no puede estar mal, alguien se habría quejado ya. Sobre todo porque tú citas un paper, normalmente tenemos este constructo de que cuando alguien ha publicado algo ya lo tomas como una verdad sobre la que te puedes apoyar para hacer tu trabajo Si alguien ha hecho esto, pues metodológicamente está aceptable,…
Francis Villatoro explica cómo el factor de Bayes puede transformarse en un máximo para el valor P, lo que a su vez corresponde a un máximo para el número de sigmas.
Habla: Francis VillatoroSignificado #19 · Palabras #7máximo valor p número de sigmassigma hacking artículo bikipidimetilsulfuro tres sigmas observaciónseñal inexistente dimetilsulfuro…muy claro y el resultado final es que se están publicando una enorme cantidad de artículos que convierten el factor de Bayes en un número de sigmas y que casi están sugiriendo que el factor de Bayes se puede convertir en una estimación del mínimo de sigmas. Cuando, en realidad, lo que se puede convertir es en un máximo para valor P, perdón, un mínimo para valor P que corresponde a un máximo para el número de sigmas. Bajo muchísimas hipótesis, entonces lo que este artículo de Bikipi reivindica es que la gente deje de hacer esto; que esto lo podemos bautizar como sigma hacking y que cosas esas como el artículo famoso del dimetil sulfuro que decía que habían observado dimetil sulfuro o dimetil disulfuro con al menos tres sigmas, que en realidad como mucho son tres sigmas pero casi con toda seguridad son mucho menos de una sigma; casi con toda seguridad, ahí no hay ningún tipo de señal. ¿Por qué? porque solo hay que mirar la figura si tú miras la figura y tú dices el mejor si no miras el ajuste no miras la Los datos y estos datos se ajustan perfectamente por una línea recta, horizontal, pues entonces, no hay nada, ahora te ponen una pared olla de,…
Francis Villatoro comenta una recomendación de investigadores sobre cómo los periodistas científicos y el público en general deben ser conscientes de las limitaciones estadísticas de quienes publican trabajos.
Habla: Francis VillatoroSignificado #11limitaciones estadísticas investigadoresperiodistas científicos estadísticarevista sin revisión por paresconocimiento estadística periodistas…encendida o está apagada, pones la foto y ya está. No tienes que hacer nada más, no tienes que escribir, me hace un análisis de la irradiancia, o la distancia, a ver si se cumple la ley, pero ¿para qué? Si quieres comprobar si la bombilla está descendida. Lo que recomiendan estos investigadores, básicamente, y yo creo que es una muy buena recomendación, es que se penalice, sobre todo esto va dirigido, y por eso se ha publicado una revista que no tiene revisión por pares, esto va dirigido a los periodistas científicos, y a una revista que todo el mundo lo pueda leer, y que todo el mundo lo lea, que todo el mundo sabe a la duense, diciendo, pues van a tener, estos señores, Sabrán más o menos estadística, pero estos señores están dejando claro que yo no tengo ninguna idea de estadística. Y entonces ya buscarán un asesoramiento de un experto en estadística, ¿no? Que me ayude a entender estas cosas porque es que mucha gente está usando este tipo de estadística y lo peor es lo que está ocurriendo ahora mismo. Y esto no lo critican David Kipping;…
Alberto Aparici reflexiona sobre la formación en estadística recibida por los científicos, comparándola con la de biología y sugiriendo que es limitada y deficiente. Menciona el uso creciente de inteligencia artificial (IA) para análisis estadísticos.
Habla: Alberto ApariciSignificado #9replicabilidad resultados estadísticosparámetros ocultos investigadores físicatransparencia análisis estadística internetdificultad replicar experimentos carrera físicaformación estadística científicos limitadacaja negra estadística físicapublicar artículo con ia…a favor o en contra de una hipótesis en base a un análisis bayesiano que te da la inteligencia artificial porque es lo más cómodo para ti, porque ya que ni tienes que molestarte en mirar los parámetros de tu software antes, tienes que mirar los parámetros. ¿Qué hago? Mucha gente, después si cambiaba algún parámetro, no lo decía. Entonces, ¿cómo? Entonces, no es replicable lo que has hecho. Claro, cuando lo intentaban replicar, no salía. Ahora se está haciendo con internet. Lo que se está ocurriendo ahora mismo en ciencia con la estadística es algo absolutamente que llega un momento en que dices que no me puedo creer absolutamente nada. Bueno, por decir alguna cosa, a lo mejor es el resultado; y yo estoy hablando claro de lo que he visto en la carrera de física, pero me consta que ocurre lo mismo en otras carreras, igual es el resultado. de haber formado muy mal en estadística a los científicos, porque claro, a mí me dieron una formación en estadística que da risa, y bueno, por fortuna ya te digo, no la he necesitado mucho, pero yo creo que en biología también la formación en estadística, puede que sea un poquito mejor que en física, pero vamos, es limitada Es muy mala Entonces claro, si no les formas es posible que estén haciendo cosas que están mal sin siquiera saberlo y que empiecen a pensar que la estadística es una caja negra y que bueno ya apuestos a usar una caja negra pues uso esta otra que es una IA que además mola más porque es una IA Sí, y ahora está de moda publicar el artículo diciendo que lo he hecho con hija y, pero, te digo, entonces, esto es un artículo, a mí me gustó el artículo del pique, yo lo leí justo cuando Héctor me lo hizo por redes sociales, me dijo que había parecido, lo leí y disfruté muchísimo y dije, pues claro, es que, pero, este tipo de cosas, ¿cómo es necesario que 15 años…