Búsqueda · 32 momentos en 19 episodios
Alberto ApariciBorja TosarHéctor SocasGastón GiribetFrancis Villatoroprincess bride syndrome literatura científicamanipulación límites significancia estadísticacambio tres sigma literaturaPrincess Bride SyndromeHéctor SocasVizziniFrancis VillatoroMadhu SudánLa Princesa PrometidaAlbertoBikipi
Manipulación límites significancia estadística
Con
0:000:301:001:302:002:303:003:42
Héctor Socas explica cómo se ha producido una manipulación en la literatura científica al invertir los límites de significancia estadística, comparándolo con una situación humorística del 'Princess Bride Syndrome'.
…momento los exoplanetólogos cambian las copas, lo que debería haber sido un límite superior lo convierten en un límite inferior y entonces dicen, tengo una detección de al menos tres sigmas, cuando realmente era de como mucho tres sigmas Lo que ha pasado en La literatura es que se ha cambiado el al menos por un como mucho, o sea al revés; lo que debería ser como mucho tres sigma lo han cambiado por al menos tres sigma. Entonces esa es el Princess Bride Syndrome; es hacer el cambio, es un poco rebuscado la verdad, pero es gracioso. Voy a hacer un único comentario ante todo esto que es ¡Inconcebible! Y esta es justamente la segunda referencia, que no recuerdo ahora dónde la vi o si se me ocurrió, no creo que se me haya ocurrido, creo que la vi en algún sitio, pero no recuerdo dónde, en el paper no la veo. Bizzini solía decir eso, que dice esto, eso es…
Significado #1
Francis Villatoro explica la dificultad de interpretar los resultados estadísticos, contrastando su relativa sencillez en los cálculos con la delicadeza necesaria para su interpretación.
Habla: Francis VillatoroSignificado #20factor de valles artículo dimetilsulfurointerpretación resultados estadísticos delicadacálculos estadística relativamente sencilla…El factor de Bayes es una cosa que depende muchísimo de lo que hayas hecho y cómo lo hayas hecho y depende de tu problema porque depende fundamentalmente de la realidad de las prioridades a priori. Entonces, y las prioridades a priori, si las puedes estimar De manera independiente, sí te pueden empezar a dar cosas que tú puedas interpretar fácilmente. Porque lo complicado de la estadística es siempre la interpretación; la estadística desde el punto de vista de los cálculos es relativamente sencilla. Pero interpretar los resultados estadísticos es muy delicado. Entonces, cuando tú coges solamente el factor de valles, pues tú tienes, yo que sé, esta gente del artículo del dimetil sulfuro tenía un factor de valles, creo que era como 17; 17 es el máximo. Ese factor de Valles 17, tú dices, pues tengo un factor de Valles 17 y la gente te dirá, los periodistas te dirán: pues ¿y eso qué es? ¿Es mucho? ¿Es poco? Pues 17 tiene que ser muchísimo, porque lo digo yo y lo voy a publicar. Es una muy buena revista, pero…
Francis Villatoro explica cómo el factor de Bayes puede transformarse en un máximo para el valor P, lo que a su vez corresponde a un máximo para el número de sigmas.
Habla: Francis VillatoroSignificado #15máximo valor p número de sigmassigma hacking artículo bikipidimetilsulfuro tres sigmas observaciónseñal inexistente dimetilsulfuro…muy claro y el resultado final es que se están publicando una enorme cantidad de artículos que convierten el factor de Bayes en un número de sigmas y que casi están sugiriendo que el factor de Bayes se puede convertir en una estimación del mínimo de sigmas. Cuando, en realidad, lo que se puede convertir es en un máximo para valor P, perdón, un mínimo para valor P que corresponde a un máximo para el número de sigmas. Bajo muchísimas hipótesis, entonces lo que este artículo de Bikipi reivindica es que la gente deje de hacer esto; que esto lo podemos bautizar como sigma hacking y que cosas esas como el artículo famoso del dimetil sulfuro que decía que habían observado dimetil sulfuro o dimetil disulfuro con al menos tres sigmas, que en realidad como mucho son tres sigmas pero casi con toda seguridad son mucho menos de una sigma; casi con toda seguridad, ahí no hay ningún tipo de señal. ¿Por qué? porque solo hay que mirar la figura si tú miras la figura y tú dices el mejor si no miras el ajuste no miras la Los datos y estos datos se ajustan perfectamente por una línea recta, horizontal, pues entonces, no hay nada, ahora te ponen una pared olla de,…
Francis Villatoro comenta una recomendación de investigadores sobre cómo los periodistas científicos y el público en general deben ser conscientes de las limitaciones estadísticas de quienes publican trabajos.
Habla: Francis VillatoroSignificado #13limitaciones estadísticas investigadoresperiodistas científicos estadísticarevista sin revisión por paresconocimiento estadística periodistas…encendida o está apagada, pones la foto y ya está. No tienes que hacer nada más, no tienes que escribir, me hace un análisis de la irradiancia, o la distancia, a ver si se cumple la ley, pero ¿para qué? Si quieres comprobar si la bombilla está descendida. Lo que recomiendan estos investigadores, básicamente, y yo creo que es una muy buena recomendación, es que se penalice, sobre todo esto va dirigido, y por eso se ha publicado una revista que no tiene revisión por pares, esto va dirigido a los periodistas científicos, y a una revista que todo el mundo lo pueda leer, y que todo el mundo lo lea, que todo el mundo sabe a la duense, diciendo, pues van a tener, estos señores, Sabrán más o menos estadística, pero estos señores están dejando claro que yo no tengo ninguna idea de estadística. Y entonces ya buscarán un asesoramiento de un experto en estadística, ¿no? Que me ayude a entender estas cosas porque es que mucha gente está usando este tipo de estadística y lo peor es lo que está ocurriendo ahora mismo. Y esto no lo critican David Kipping;…
Francis Villatoro reflexiona sobre la falta de transparencia en los análisis estadísticos realizados por investigadores, señalando que a menudo no se revelan los parámetros utilizados, dificultando la replicabilidad de los resultados.
Habla: Francis VillatoroSignificado #4replicabilidad resultados estadísticosparámetros ocultos investigadores físicatransparencia análisis estadística internetdificultad replicar experimentos carrera físicaformación estadística científicos limitadacaja negra estadística físicapublicar artículo con ia…a favor o en contra de una hipótesis en base a un análisis bayesiano que te da la inteligencia artificial porque es lo más cómodo para ti, porque ya que ni tienes que molestarte en mirar los parámetros de tu software antes, tienes que mirar los parámetros. ¿Qué hago? Mucha gente, después si cambiaba algún parámetro, no lo decía. Entonces, ¿cómo? Entonces, no es replicable lo que has hecho. Claro, cuando lo intentaban replicar, no salía. Ahora se está haciendo con internet. Lo que se está ocurriendo ahora mismo en ciencia con la estadística es algo absolutamente que llega un momento en que dices que no me puedo creer absolutamente nada. Bueno, por decir alguna cosa, a lo mejor es el resultado; y yo estoy hablando claro de lo que he visto en la carrera de física, pero me consta que ocurre lo mismo en otras carreras, igual es el resultado. de haber formado muy mal en estadística a los científicos, porque claro, a mí me dieron una formación en estadística que da risa, y bueno, por fortuna ya te digo, no la he necesitado mucho, pero yo creo que en biología también la formación en estadística, puede que sea un poquito mejor que en física, pero vamos, es limitada Es muy mala Entonces claro, si no les formas es posible que estén haciendo cosas que están mal sin siquiera saberlo y que empiecen a pensar que la estadística es una caja negra y que bueno ya apuestos a usar una caja negra pues uso esta otra que es una IA que además mola más porque es una IA Sí, y ahora está de moda publicar el artículo diciendo que lo he hecho con hija y, pero, te digo, entonces, esto es un artículo, a mí me gustó el artículo del pique, yo lo leí justo cuando Héctor me lo hizo por redes sociales, me dijo que había parecido, lo leí y disfruté muchísimo y dije, pues claro, es que, pero, este tipo de cosas, ¿cómo es necesario que 15 años…
Héctor Socas explica cómo un error histórico en la literatura científica ha llevado a una sobreestimación de la significancia estadística, corrigiendo una interpretación errónea del artículo de Madhu Sudán y otros similares.
Habla: Héctor SocasSignificado #7error histórico significancia estadísticaartículo madhu sudán tres sigmasanálisis bayesiano hipótesis francisla princesa prometida meme…foco en lo que yo creo que es, en lo que se centra el paper: que al final es una cosa tan sencilla como decir que esas formulitas con recomendaciones sobre cómo convertir de factor de valles a sigma, tal como se planteó originariamente, era una cota superior. Es decir, si tú sacas tal factor de Valle y aplicas esta fórmula para sacar un sigma, eso es como mucho tantos sigmas y que por un error histórico en la propagación en la literatura se ha convertido en un al menos tantas sigmas. Es decir, que el artículo, por ejemplo, pone el artículo de Madhu Sudán pero dice que lo mismo pasa en muchos otros artículos; dice que he obtenido una significancia de al menos tres sigmas. En realidad debería decir que como mucho es de tres sigmas. Es decir, que es una forma de acotar por todas esas hipótesis que dice Francis que están metidas en esa conversión del análisis bayesiano a las sigmas. Entonces esas hipótesis te dan que como mucho el número de sigmas que tendrías es ese y entonces ahí vienen las referencias a la Princesa Prometida: el meme. Que aparece en la figura 2, les voy a decir: es una foto para los oyentes del podcast. Es una escena de la película; recuerden que hay esa batalla de intelectos entre el héroe enmascarado y el villano inteligente Vizzini, porque en la película, sin hacer…
Héctor Socas explica cómo se ha producido una manipulación en la literatura científica al invertir los límites de significancia estadística, comparándolo con una situación humorística del 'Princess Bride Syndrome'.
Habla: Héctor SocasSignificado #1princess bride syndrome literatura científicamanipulación límites significancia estadísticacambio tres sigma literatura…momento los exoplanetólogos cambian las copas, lo que debería haber sido un límite superior lo convierten en un límite inferior y entonces dicen, tengo una detección de al menos tres sigmas, cuando realmente era de como mucho tres sigmas Lo que ha pasado en La literatura es que se ha cambiado el al menos por un como mucho, o sea al revés; lo que debería ser como mucho tres sigma lo han cambiado por al menos tres sigma. Entonces esa es el Princess Bride Syndrome; es hacer el cambio, es un poco rebuscado la verdad, pero es gracioso. Voy a hacer un único comentario ante todo esto que es ¡Inconcebible! Y esta es justamente la segunda referencia, que no recuerdo ahora dónde la vi o si se me ocurrió, no creo que se me haya ocurrido, creo que la vi en algún sitio, pero no recuerdo dónde, en el paper no la veo. Bizzini solía decir eso, que dice esto, eso es…