Búsqueda · 27 momentos en 15 episodios
Borja TosarFrancis VillatoroHéctor SocasGastón Giribetartículos cuestionan análisis bayesiano madhuerrores estadísticos en análisis maduequipo de madhu y compañíaMaduFrancis VillatoroJ-ExoResEurekaMadhusudan SudanAstrophysics Journal LettersNIRISNIRESPECDavid KippingHéctor SocasArchiveAstrophysical Journal LetterBorjaResearch NotesEmaduMIRIvalor PTwitterteorema de Bayes
Errores estadísticos en análisis Madu
Con
0:000:301:001:302:002:303:003:17
Francis Villatoro comenta sobre la publicación de artículos científicos que cuestionan los métodos estadísticos utilizados por Madhu y su equipo.
…abajo, pero las bandas van cada vez más gordas; te dabas cuenta de que perfectamente se ajusta por una línea recta. Entonces si tú a vista lo ves, pues no tienes que hacer ningún tipo de estadística, o sea, la estadística solamente es para trampear un poco. Los datos, para torturar los datos, para sacar lo que no hay, pero lo que no hay, no lo hay; entonces, en ese sentido, que haya muchos artículos que se están publicando, todos en contra y algunos sugiriendo que ha habido errores estadísticos muy elementales en el análisis de Madu y compañía. Que es un equipo fuerte, son mucha gente, y es raro que cometan ese tipo de errores. Y se ha publicado el primer artículo en AstroCistical General Letters, es raro que una revista tan prestigiosa publique un artículo así. Pues es quizás la razón por la cual David Kipping estaba comentando de que había errores en Barraising. Pongamos así, no…
Significado #1 · Palabras #1
Francis Villatoro comenta sobre errores estadísticos en el trabajo de Madhu Sudan (también referido como Madhu) relacionado con el análisis de datos espectrales.
Habla: Francis VillatoroSignificado #2 · Palabras #2estadística bayesiana david kippingdavid kipping y teorema de bayesanálisis estadístico en twitter de kippingerrores estadísticos en trabajo madhudatos espectrales niris nirespecdimetilsulfuro y dimetildisulfuroartículo astrophysics journal letters…que sí es una exoluna. Pero él es cauto también con esto. A mí me gusta su forma de tratar estos temas porque él admite que no es seguro y que él siempre ha dicho que es un candidato. Pero bueno, eso desviarse un poco. Ah no, lo que iba a decir es que David. Kipping, lo que sí es un experto en análisis estadístico y sobre todo le gusta mucho aplicar estadística bayesiana a cualquier cosa. Tú discutes sobre el precio del café y te hace un estudio bayesiano para convencerte de que no. Y de hecho su cuenta de Twitter, no sé si lo has visto, el nombre de usuario hace un guiño al teorema de Bayes: Probabilidad de David barra Keeping por probabilidad de Keeping barra David. Sí, bueno, en principio hay como dos errores estadísticos obvios y triviales en Barresin en el trabajo de Madhusudan. Madhusudan, como se vea el nombre. Yo he oído a gente decir Madhusudan Madhusudan, venga, pongamos Madhusudan. El vídeo lo llamaba Madhu, algo así, en plan cariñoso. Sí, también Madhu, le ponen más fácil, Madhu, venga. Bueno, Madu en su primer artículo en que analizaron los datos espectrales de NIRIS y de NIRESPEC hicieron un análisis; este es un artículo ya publicado en Astrophysics Journal Letters del que hablamos ya en el podcast, analizaban una posible composición atmosférica con 20 moléculas y encontraban unos indicios muy flojos, de unas dos sigmas, de dimetilsulfuro y del dimetildisulfuro. Y entonces dijeron, claro, si publicamos, analizando 20 posibles moléculas, obtenemos indicios a menos de dos sigmas, este artículo es un chichinabo, este artículo no lo va a acercarse a nadie. Entonces lo que vamos a hacer es hacer el truco de almendruco,…
Francis Villatoro explica un error estadístico común, similar a uno que se enseña a estudiantes de primer curso y que periodistas científicos buscan en artículos de biomedicina para criticar a los autores.
Habla: Francis VillatoroPalabras #15error estadístico estudiantes primer cursobiomedicina y crítica a autorescursos estadística para periodistas científicosdavid kipping y errores embarazosos…hacer es hacer el truco de almendruco, que es lo que no hay que hacer, que es, voy a tomar cuatro moléculas, dióxido de carbono, metano, dimetil sulfuro y dimetil disulfuro. Y ahora resulta que sí hay una señal de dimetil sulfuro que alcanza las tres sismas. Claro, este es un error de estudiante de primer curso de estadística que en psicología o en biostatística en medicina le pegan una colleja a los estudiantes cuando lo hacen porque es muy típico en medicina y en biomedicina, que todos los periodistas científicos del mundo aprenden en los cursos de estadística para periodistas científicos que eso hay que buscarlo en todos los artículos de biomedicina para pegar una colleja a los autores cuando lo hagan Pero que parece ser que estos señores lo ponen en su artículo y nadie le importa un comino Este es un error de estos embarrassing que puede que sea el que David Kipping comenta Y han repetido este error en el siguiente artículo, que Es el artículo en el que añaden el espectro de Miri; Que también hablamos de él en el programa. En ese artículo ellos dicen: bueno, asumamos que tenemos CO2, dióxido de carbono y metano. Cuando había artículos que decían que no tenían dióxido de carbono en el…
Francis Villatoro explica la necesidad de una corrección estadística al analizar múltiples sustancias para evitar falsas correlaciones, continuando con el ejemplo sobre un estudio hipotético.
Habla: Francis VillatoroSignificado #14corrección estadística valor p 0 0005falsas correlaciones en estudios múltiplesestudio hipotético sustancias francis villatoro…quiero estudiar si la fruta causa cáncer y cojo 92 frutas, pues es muy posible que haya una fluctuación estadística que haga que alguna de esas frutas esté correlacionada con tener cáncer con un valor P de 0,05. Es que tengo que mi límite, el 0,05, dividirlo. Entre 92 y mi criterio debe ser no dos sigmas, que es 0,05 en valor P, sino 0,0005. Si yo no hago esa corrección, por si alguien no lo ha entendido, poner un ejemplo muy sencillo de lo que acaba de decir Francis: supongamos que yo estoy haciendo ese estudio de ver si La fruta da cáncer y resulta que hay una probabilidad, o sea, al 99%; mi estudio la descarta, al 99%. Eso quiere decir que hay un 1% de probabilidad de que por azar yo obtenga un resultado que se pueda confundir con que da cáncer, al 1%. Entonces si yo hago…
Francis Villatoro describe una situación hipotética donde investigadores reconocen haber cometido errores en un análisis previo y lo replican con un número mucho mayor de casos para intentar validar los resultados iniciales.
Habla: Francis VillatoroSignificado #8error estadístico en análisis bayesiano madusignificación de tres sismas con 650 casosnuevo artículo en archive sobre análisis repetido…3 Molecules in Exoplanet, K218b, en el que lo exageran; es que lo habíamos hecho con 3, dióxido de carbono y metano, y una X, y teníamos 92, ahora lo vamos a hacer con 650. Se han tomado 650 y han vuelto a encontrar una significación de 3 y más; es decir, Es como decir: Lo he hecho mal, pero quiero dejaros lo súper claro que lo he hecho mal y os voy a poner lo mal que lo he hecho y os doy un zasca haciéndolo aún fatal. Con 650 la significación de tres sismas no dice absolutamente nada porque estás dividiendo lo que ha comentado Héctor, pero ahora pones mil casos. O sea, tiene la probabilidad de un caso por mil de que ocurra y claro, pues lo tienes ahí. Entonces han publicado un nuevo artículo en Archive, que supongo lo habrán enviado a Astrofisical Journal Letter o algo parecido, en el que vuelven a repetir el análisis, ahora no. Lo hacen solo con MIDI, lo hacen con el espectro completo, con todo el intervalo que tienen entre 0,6 micrómetros y 12 micrómetros, para buscar, ajustar ese espectro, utilizando dióxido de carbono, metano y una tercera molécula. Y esa tercera molécula la…
Francis Villatoro menciona un artículo breve y criticado por parte del grupo de Madu, al tiempo que intenta recordar el nombre completo del investigador.
Habla: Francis VillatoroPalabras #9artículo breve criticado grupo maduinvestigador emadu dirección correogrupo de madusuna análisiscríticas al trabajo de emadugaussianas para aproximar espectroserrores en datos miriintervalos de error enormes…que el espectro se aproxime por una línea recta, por una gaussiana única, súper ancha, que prácticamente es una línea recta asociada a todo el espectro. Es decir, no hay features espectrales en ese espectro. Esto lo han publicado en Research Notes y bueno, es un artículo muy breve, muy pequeñito, en el que hace un análisis que claro, ha sido criticado por algunos de los del grupo de Madusuna, o como se pronuncie, no sé por qué, lo tengo yo ahí, no quiero acordarme de cómo se llama. De hecho, acabo de ver, Borja, que su dirección de correo es en Emadu Sí, sí, es por aquí ya Sí, pues sí, Emadu, ¿no? Este trabajo de Emadu, pues han criticado un poco esto diciendo es que como la han aproximado por Gaussianas, qué señores, es que si tú miras realmente el espectro y las incertidumbres que van creciendo conforme va creciendo la longitud de onda, la parte de MIRI tiene errores muchísimo más grandes que la parte de MIRI anterior, pero aún así son intervalos enormes, son intervalos de error realmente enormes y después ha Habido un tercer artículo que podemos mencionar, que es un artículo; el primer autor es R. Luque, aunque que yo sepa no es español, debe ser supongo latinoamericano y que ahora no recuerdo lo que significaba la R, pero bueno, Rafael, Rafael Luque, es el, creo…
Francis Villatoro explica cómo Madu ha simplificado su análisis bayesiano al asumir una distribución gaussiana en los datos, lo que facilita la interpretación para un público general.
Habla: Francis VillatoroSignificado #4 · Palabras #4análisis bayesiano con madudistribución gaussiana en análisis bayesianoconversión a sigmas por madusigmas para periodistas científicosdistribución no gaussiana con picos de mserror estadístico en análisis bayesiano maduestructura de datos con múltiples oscilacioneserror bayesiano madhu y equipocoeficiente bayesiano reduce sismasfactor bayesiano del orden de 20valor bayesiano frente a sigmasinvestigadores y resultados en sigmas…atmósfera. Es decir, los diferentes software acaban diciendo y lo que plantea este estudio es otra cosa que nos conecta con otra posibilidad, otra posible opción para que sea eso del embarrassing de David Kipping; que en este estudio lo que hacen es hacer el Análisis bayesiano y hacen el análisis bayesiano, y dicen claramente: “y no nos queremos arriesgar a convertirlo en sigmas”, porque la conversión a sigmas que ha utilizado Madu, ya me permito el lujo de comprimir su nombre, ha sido usando una fórmula muy sencilla que se basa en que el espectro que yo aproximo es una gaussiana. Asumiendo que mis datos se distribuyen de manera gaussiana, yo convierto significación, o sea un valor que es un logaritmo de un valor de una seta que calculo, que me da digamos un factor que aparece en el análisis bayesiano, lo convierto en un número de sigmas porque es más fácil de entender para los periodistas científicos; el número de sigmas porque es más fácil de entender para los ignorantes. de la estadística el número de sigmas pero lo que te dice la estadística bayesiana es que si tú tienes una distribución que no es gaussiana y si tienes al menos dos picos de MS en un lado y de MS en otro lado no tienes una distribución gaussiana, tendrás como mínimo una doble gaussiana y en realidad los datos tienen que tener una estructura un poquito mayor porque se ve que hay varias oscilaciones. entonces tienes que utilizar la función correspondiente e invertirla y al hacer eso se te reduce muchísimo esas sismas entonces Cuando tienes un coeficiente, este factor bayesciano del orden de 20 que es lo que tenían, lo convierten con una única gociana a unas tres sismas; pero como tienen varias, la conversión va a dar muchas menos sismas. Es decir, también Madhu y su grupo han metido la pata con un error infantil, un error de estudiante de primero de. Estadística a la hora de dar el resultado con sigmas. Nunca tendrían que haberlo hecho, tendrían que haberse limitado a ese factor bayesiano. Y aquí en este artículo lo comentan: comentan, nosotros no vamos a hacer esa barbaridad de dar un resultado en sigmas porque nos da vergüenza hacerlo porque va a salir un valor ridículo. Solo vamos a dejar el valor bayesiano. Y solo te dan el valor bayesiano, el valor bayesiano. El factor este es un logaritmo; el delta del logaritmo de zeta es del orden de 3, es decir, una cosa ridícula, una cosa absolutamente ridícula que viene a ser equivalente a menos de dos sismas. Con lo que tenemos básicamente es que este otro artículo con un…
Francis Villatoro comenta sobre análisis realizados por investigadores como Madhu y su equipo, quienes, aunque carecen de formación específica en estadística, están llegando a conclusiones similares sobre la ausencia de una señal detectable.
Habla: Francis VillatoroSignificado #3 · Palabras #3análisis de datos por madhu y equipoausencia de señal detectable según madhurigor estadístico aparente en análisis madhu…construye un modelo atmosférico diferente, pero bueno, son software estándares; obtienen la conclusión de que no hay ninguna significación estadística de que haya dimetirse el furo en los datos de MIDI. Con lo que nos estamos dando cuenta de que todo El mundo que lo analiza con aparentemente un mínimo de rigor estadístico, no te digo que sean expertos en estadística y que llevan el marchamo: somos estadísticos. El Madu y compañía no lo son, sino con un mínimo de rigor aparente de estadística están obteniendo que no se observa la señal. Que también es algo que yo ya comenté en el programa. Yo lo comenté en el programa: la estadística es muy sencilla. Si tú miras la figura, eso te iba a decir, viendo la figura no parecía que hubiera nada allí y ves que no hay nada; es que no hay nada, o sea,…
Francis Villatoro reflexiona sobre la interpretación de figuras estadísticas en análisis de datos, expresando dudas sobre la posible existencia de señales.
Habla: Francis VillatoroSignificado #18dudas sobre señales en datosintervalos de incertidumbre en análisis estadísticofiguras estadísticas con sisma arriba y abajo…es muy sencilla. Si tú miras la figura, eso te iba a decir, viendo la figura no parecía que hubiera nada allí y ves que no hay nada; es que no hay nada, o sea, la estadística, por muy buena que suceda, la estadística nunca puede sacar de donde no hay algo. Tú tienes que ver que puede que haya; tengo ciertas dudas, a ver si hay, pero si tú ves una figura que por sus intervalos de incertidumbre te ponía el puntito y un intervalo de incertidumbre y una sisma, una sisma arriba y una sisma abajo para hacer análisis estadístico. Lo habitual es poner dos sismas, dos sismas arriba y dos sismas abajo si tú te imaginabas esas rayitas, el doble de gordas, y las veías cómo evolucionaban, unos para arriba y para abajo. Los puntos van para arriba y para abajo, pero las bandas van cada vez…
Francis Villatoro comenta sobre la publicación de artículos científicos que cuestionan los métodos estadísticos utilizados por Madhu y su equipo.
Habla: Francis VillatoroSignificado #1 · Palabras #1artículos cuestionan análisis bayesiano madhuerrores estadísticos en análisis maduequipo de madhu y compañía…abajo, pero las bandas van cada vez más gordas; te dabas cuenta de que perfectamente se ajusta por una línea recta. Entonces si tú a vista lo ves, pues no tienes que hacer ningún tipo de estadística, o sea, la estadística solamente es para trampear un poco. Los datos, para torturar los datos, para sacar lo que no hay, pero lo que no hay, no lo hay; entonces, en ese sentido, que haya muchos artículos que se están publicando, todos en contra y algunos sugiriendo que ha habido errores estadísticos muy elementales en el análisis de Madu y compañía. Que es un equipo fuerte, son mucha gente, y es raro que cometan ese tipo de errores. Y se ha publicado el primer artículo en AstroCistical General Letters, es raro que una revista tan prestigiosa publique un artículo así. Pues es quizás la razón por la cual David Kipping estaba comentando de que había errores en Barraising. Pongamos así, no…
Héctor Socas reflexiona sobre la necesidad de encontrar nuevas formas de certidumbre en los datos científicos y recuerda que el concepto de 'sigma' se refiere a la confianza estadística con respecto a errores aleatorios.
Habla: Héctor SocasSignificado #10 · Palabras #7sigma confianza estadísticaerrores aleatorios y sigmainstrumento mal calibrado afecta resultados…puede estar entre dos y cinco sigmas. Yo no sé si se está abusando mucho de la palabra sigma y luego desaparece el artículo y luego vuelve a aparecer. Quizás sea porque ya es más extremo; todo este trabajo de datos es tan extremo que es algo nuevo igual. hay que pensar en algo nuevo para dar certidumbre a los datos y a los análisis No lo sé, es que parece que ya no es lo mismo No, pero es que tenemos que recordar una cosa, o sea, el sigma, cuando decimos eso estamos hablando de una confianza estadística respecto a errores aleatorios Si tú tienes errores sistemáticos, eso no tiene nada que ver, o sea, tú puedes tener un resultado a 14 sigmas que eso lo que quiere decir es que tienes certeza absoluta de tu resultado con respecto a fluctuaciones estadísticas aleatorias pero si tú tienes errores sistemáticos porque tu instrumento está mal calibrado, porque has hecho mal un cálculo o porque no está... ¿O tu metodología es mala? Sí, o el modelo de base que tienes es malo o lo que sea, pues entonces está mal o sea, no porque tengas mucho sigma de confianza quiere decir que tu resultado sea correcto, ¿no? Sí. Bueno. Pero bueno, seguiremos hablando de este…