Búsqueda · 25 momentos en 10 episodios
Alberto ApariciBorja TosarHéctor SocasGastón GiribetFrancis Villatorohipótesis bayesianas software caja oscuraestadístico desarrolla software hipótesis bayesianasvalor p software contrastes hipótesiscontraste hipótesis bayescianoprobabilidades a priori hipótesis nulaprobabilidades a posteriori hipótesis alternativafrancis villatoro contraste bayesianohipótesis bayesianas control estimación probabilidadessoftware especializado contrastes hipótesis bayesianosfrancis villatoro alternativa software bayesianohipótesis bayesianas manualesasignación probabilidades datos científicoastrónomo exoplanetario expertovalor PFrancis VillatoroP-hackingfactor de BayesAstronomíaHéctor SocasBikipiSelkeDavid Kippen
Valor P software contrastes hipótesis
Con
0:000:301:001:302:002:303:003:42
Francis Villatoro explica una alternativa al uso de software especializado para realizar contrastes de hipótesis bayesianos.
…que ha ocurrido con el mundo bayesiano es que han empezado a usarse las herramientas bayesianas para hacer cosas que nadie nunca hizo con herramientas bayesianas y una de ellas es, por ejemplo, el contraste de hipótesis bayesiano que acaba de mencionar esto. Es decir, en el contraste de hipótesis bayesiano yo digo: bueno, en lugar de usar un software caja oscura que utiliza una estadística que sabe el estadístico que ha desarrollado el software, cómo funciona, pero yo no tengo ni otra idea; yo solo sé usar el software, que es lo que todos los científicos hacían para hacer los contrastes de hipótesis, apoyarse en un software que se supone que lo hacían bien y lo que dijera el software, el software me da el valor P. resulta que se ha sustituido por un contraste de hipótesis bayesciano que consiste en estimar a partir de las probabilidades a priori de la hipótesis nula y de la alternativa estimar, usar esas dos hipótesis como modelo y digo los datos que yo tengo cómo me alteran esas probabilidades a priori de ambas hipótesis y me dan las probabilidades a posteriori de ambas hipótesis. Y eso a priori es muy sencillo, mucho más sencillo que aplicar que hacer un gran software si yo quiero controlar el cómo yo estimo las probabilidades de los datos en función de esas hipótesis. Fijaros que esto es una cosa como diciendo, en un caso yo meto una gran cantidad de datos a un software y aplico unos algoritmos estándares, que hay muchos para hacerlo y me obtienen un resultado, un valor P, un número de sigmas y en otro caso yo digo no, Voy a usar una técnica que todo lo hago yo, yo hago esa asignación de probabilidades en función de los datos a la hipótesis y tú dices: es que eso es muy difícil de hacer en general, ya, ya. Pero el científico se considera súper ducho y súper bueno; es que yo soy astrónomo, es que yo soy exoplanetario, es que yo soy capaz de hacer. porque yo sé hacerlo y entonces yo lo voy a hacer claro eso es el contraste de hipótesis bayesiano que ya os digo se utiliza legalmente matemáticamente de manera rigurosa solamente para estimar probabilidades a posteriori a partir de probabilidades a priori…
Significado #1 · Palabras #1
Francis Villatoro explica una desventaja de la estadística bayesiana mal aplicada, comparándola con las técnicas frecuentistas para el contraste de hipótesis.
Habla: Francis VillatoroSignificado #3 · Palabras #2contraste de hipótesis frecuentistavalor p análisis estadísticahipótesis nula alternativa bayesianasoftware para contraste hipótesis…para que los oyentes tengan en mente eso, o sea, la diferencia entre un contraste de hipótesis basado en estadística bayesiana y una probabilidad frecuentista de cuánto de probabilidad es que ocurra algo. Y aquí un punto también importante, y eso quizás es Uno de los grandes defectos que tiene la estadística bayesiana mal hecha: El contraste de hipótesis se puede hacer de manera frecuentista, con técnicas, y hay software muy bueno, y se ha hecho toda la vida con técnicas frecuentistas. Y obtengo un valor P, obtengo si quieres un número de sismas, y hago un análisis, tengo mi hipótesis nula, mi hipótesis alternativa, y tengo unas técnicas que me permiten, pues en función de las distribuciones esperadas de probabilidad de los datos, etc. Es decir, te puedo tener un modelo, contrasto esa hipótesis en base a un modelo y obtengo el valor P. o el número de sismas de confianza estadística de la hipótesis nula y de la hipótesis alternativa Lo que ha ocurrido con el mundo bayesiano es que han empezado a usarse las herramientas bayesianas para hacer cosas que nadie nunca hizo con herramientas…
Francis Villatoro explica una alternativa al uso de software especializado para realizar contrastes de hipótesis bayesianos.
Habla: Francis VillatoroSignificado #1 · Palabras #1hipótesis bayesianas software caja oscuraestadístico desarrolla software hipótesis bayesianasvalor p software contrastes hipótesiscontraste hipótesis bayescianoprobabilidades a priori hipótesis nulaprobabilidades a posteriori hipótesis alternativafrancis villatoro contraste bayesianohipótesis bayesianas control estimación probabilidadessoftware especializado contrastes hipótesis bayesianosfrancis villatoro alternativa software bayesianohipótesis bayesianas manualesasignación probabilidades datos científicoastrónomo exoplanetario experto…que ha ocurrido con el mundo bayesiano es que han empezado a usarse las herramientas bayesianas para hacer cosas que nadie nunca hizo con herramientas bayesianas y una de ellas es, por ejemplo, el contraste de hipótesis bayesiano que acaba de mencionar esto. Es decir, en el contraste de hipótesis bayesiano yo digo: bueno, en lugar de usar un software caja oscura que utiliza una estadística que sabe el estadístico que ha desarrollado el software, cómo funciona, pero yo no tengo ni otra idea; yo solo sé usar el software, que es lo que todos los científicos hacían para hacer los contrastes de hipótesis, apoyarse en un software que se supone que lo hacían bien y lo que dijera el software, el software me da el valor P. resulta que se ha sustituido por un contraste de hipótesis bayesciano que consiste en estimar a partir de las probabilidades a priori de la hipótesis nula y de la alternativa estimar, usar esas dos hipótesis como modelo y digo los datos que yo tengo cómo me alteran esas probabilidades a priori de ambas hipótesis y me dan las probabilidades a posteriori de ambas hipótesis. Y eso a priori es muy sencillo, mucho más sencillo que aplicar que hacer un gran software si yo quiero controlar el cómo yo estimo las probabilidades de los datos en función de esas hipótesis. Fijaros que esto es una cosa como diciendo, en un caso yo meto una gran cantidad de datos a un software y aplico unos algoritmos estándares, que hay muchos para hacerlo y me obtienen un resultado, un valor P, un número de sigmas y en otro caso yo digo no, Voy a usar una técnica que todo lo hago yo, yo hago esa asignación de probabilidades en función de los datos a la hipótesis y tú dices: es que eso es muy difícil de hacer en general, ya, ya. Pero el científico se considera súper ducho y súper bueno; es que yo soy astrónomo, es que yo soy exoplanetario, es que yo soy capaz de hacer. porque yo sé hacerlo y entonces yo lo voy a hacer claro eso es el contraste de hipótesis bayesiano que ya os digo se utiliza legalmente matemáticamente de manera rigurosa solamente para estimar probabilidades a posteriori a partir de probabilidades a priori…
Francis Villatoro explica su enfoque para realizar contrastes de hipótesis bayesianos cuando no dispone de probabilidades a priori.
Habla: Francis VillatoroSignificado #18hipótesis agnóstica francis villatorocontraste hipótesis bayesianos probabilidades a priorireactualización mayestiana de prioridades…claro los astros no me dicen pero es que yo no tengo las probabilidades a priori no las tengo yo no tengo esas tres caras que han salido que ha comentado Héctor no las tengo Yo no sé cuál es la probabilidad a priori, no pasa nada, ¿vale? ¿A qué le importa? No voy a calcular, no uso probabilidades a priori; hago lo que es una hipótesis agnóstica. Considero que el cociente de las probabilidades a priori es la unidad, que son igual de probables a priori la hipótesis nula y la alternativa. Y entonces lo que tú calculas a posteriori, lo que tú calculas a posteriori en un contraste de hipótesis mayestiano depende; es una reactualización, es una actualización de las prioridades. A priori si tú no tienes prioridades, a priori no tienes nada. El análisis mayestiano está vacío de contenido, es pura jerga, es pura hablar por hablar; no tiene contenido. No tiene ningún tipo de contenido, porque es un análisis que solamente te actualiza…
Francis Villatoro enfatiza la importancia crucial de una buena estimación de las probabilidades a priori en los contrastes de hipótesis bayesianos. Señala que este enfoque se ha popularizado en la ciencia sin el debido rigor.
Habla: Francis VillatoroSignificado #13hipótesis bayesianas david kippenprobabilidades a priori cienciacontraste hipótesis rigor bayesiana…es 10 a la menos 14, yo puedo tener un factor de valles de 10 a la 6, de un millón pero eso me autoriza, me dice que la probabilidad que eran días menos 14 se convierte en días menos 8, sigue siendo absolutamente irrelevante. Es correcta la hipótesis nula, o Sea, eso es clave la buena estimación de las probabilidades a priori. Entonces, lo que pasa es que se ha puesto de costumbre y ya está permeando toda la ciencia; ya todo el mundo usa este tipo de contraste de hipótesis bayesiana sin ningún tipo de rigor, pero bueno, en cualquier caso, en ese tipo de análisis... David Kippen lo que nos comenta es una de las Consecuencias de todo esto y es la idea del agnosticismo en las prioridades a priori, que me dice: bueno pues yo voy a ser agnóstico, yo no sé cuáles son las prioridades a priori, voy a decir que son equiprobables, es decir que el cociente de prioridades a…
Francis Villatoro explica un error común al realizar contrastes de hipótesis bayesianos, donde se añaden numerosas sustancias a un modelo sin una justificación adecuada.
Habla: Francis VillatoroSignificado #17contrastes hipótesis bayesianoshipótesis nula dos sustanciasanálisis reivindica sustanciafactor de vallas más grande…planetarias es añadir una sustancia al modelo que tengo y la hipótesis nula es tengo dos sustancias en la atmósfera y la hipótesis alternativa es tengo tres sustancias. Estoy metiendo un modelo, estoy ajustando un modelo a los datos y eso no es así. O sea, cuando tú haces un contacto de hipótesis, tú niegas la hipótesis nula. La hipótesis nula, tener solo dos sustancias no explica el modelo, pero tú no puedes añadir una sustancia y decir que el mismo análisis te puede reivindicar una sustancia sí, otra no. Y después esta gente lo que hace es poner 80, 100, 500 sustancias y elige las que tienen el factor de vallas más grande. Eso no tiene absolutamente ni pies ni cabeza. Después de mitad estadístico. Entonces lo que nos dice, lo que nos critica de Vickieping es que los astrónomos, y ya os digo muchos científicos, se han ido a lo grande. Han dicho: voy a dar un nórdago; y han decidido que eso del factor de Valle suena muy mal, suena muy mal. Tengo un…
Héctor Socas explica un ejemplo sobre el contraste de dos hipótesis: si una moneda está trucada frente a una moneda justa, y se obtiene un factor de Bayes de 10, esto implica que la hipótesis alternativa es diez veces más fuerte que la hipótesis nula, asumiendo que no hay conocimiento previo para preferir una u otra.
Habla: Héctor SocasSignificado #8factor de bayes moneda trucadahipótesis alternativa diez veces más fuerteconocimiento a priori hipótesis nulaprobabilidad del 90 hipótesis nula…tienes que multiplicar la probabilidad a priori para obtener la probabilidad a posteriori. Digo entre comillas porque como no tienes probabilidad a priori, nunca multiplicas para calcular la posteriori. Entonces te quedas con ese número. La trampa un poquito. De esto es que si yo estoy, por ejemplo, contrastando las dos hipótesis de que mi moneda está trucada frente a la moneda es justa y me sale un factor de Valles 10, quiere decir que es 10 veces más fuerte sin tener a priori, o sea, suponiendo que a priori son, que yo no tengo conocimiento a priori para preferir una sobre la otra. Si me sale el factor de Valles 10, quiere decir que a priori es 10 veces más fuerte la hipótesis alternativa que la hipótesis nula. Otra cosa es que a lo mejor la hipótesis nula tiene una probabilidad del 90% con lo cual ya no tiene mucho sentido ir mucho más allá. Esa es una interpretación extremadamente delicada. Lo que acaba de decir Héctor es una cosa que se puede hacer solamente en casos muy particulares, con unos modelos estadísticos muy concretos. Bajo una enorme cantidad de hipótesis matemáticas, se puede…
Francis Villatoro aborda las críticas y problemas asociados al valor P, especialmente su mal uso en biomedicina y la desconfianza que genera en el periodismo científico debido a prácticas como el 'P-hacking'.
Habla: Francis VillatoroSignificado #5 · Palabras #4factor de valles 17 publicaciónvalor p periodistas interpretaciónrevistas científicas factor bayesvalor p biomedicina periodismo científicop hacking estadística biomedicinasoftware análisis datos valor p…Pero interpretar los resultados estadísticos es muy delicado. Entonces, cuando tú coges solamente el factor de valles, pues tú tienes, yo que sé, esta gente del artículo del dimetil sulfuro tenía un factor de valles, creo que era como 17; 17 es el máximo. Ese factor de Valles 17, tú dices, pues tengo un factor de Valles 17 y la gente te dirá, los periodistas te dirán: pues ¿y eso qué es? ¿Es mucho? ¿Es poco? Pues 17 tiene que ser muchísimo, porque lo digo yo y lo voy a publicar. Es una muy buena revista, pero de verdad es mucho. Entonces la gente está ahora acostumbrada, pues al valor P, pero el valor P tiene la lacra de que ha sido mal usado, sobre todo en biomedicina y que a nivel de periodismo científico ahora mismo está muy derostado, ¿no? El P-hacking, ¿no? El problema del valor P es que, bueno, yo tengo software que meto en mis datos y bajo una serie de hipótesis tengo que seleccionar una serie de parámetros, una serie de distribuciones estadísticas, que esa selección es la clave De que lo que tú haces es que esté inhecho o esté mal hecho y lo suyo es que lo haga un experto, que no lo haga una persona que no tiene ni sorridea, porque la gente que no tiene ni sorridea lo que hace es los parámetros por defecto. Lo que venga en software…
Francis Villatoro explica las limitaciones de transformar un factor de Bayes en un valor P, señalando que el modelo propuesto por Selke y colaboradores es extremadamente simplificado.
Habla: Francis VillatoroPalabras #10factor bayes en valor pmodelado exquisito factor bayesprobabilidades a priori distribución estadísticacontrol absoluto probabilidades a priorifactor bayes valor p selkeartículo astronomía selke colaboradoresmodelo simplificado astronomíavariable univariable problema astronomíahipótesis nula variable ceroatmósferas exoplanetarias selke…y dice: no, perdón, usted no puede interpretar así, usted tiene que verá condicionado a los parámetros, a lo que se ha hecho; es que usted no sabe, pues búsquese a alguien que sepa, pero eso no, búscame a alguien que sepa. Yo soy un catedrático de cirugía. Entonces, lo que se ha hecho es, ¿se puede convertir el factor de valles en un valor P? Pues sí, se puede convertir, pero requiere un modelado exquisito de todo, ¿vale? Se puede convertir sabiendo cómo son las probabilidades a priori, qué distribución estadística tienen, cómo va todo, o sea, tienes que tener un control absoluto de eso. Entonces lo que Se hizo en Astronomía, que bueno; se publicó un artículo muy famoso de Astronomía, pues es un análisis de este tipo con un modelo extremadamente simplificado. Es un modelo muy, muy simplificado; se lo publicó Selke y varios colaboradores en 2001, entonces en un artículo relativamente largo, pues planteaban: ¿Cómo puedo convertir mi factor de Bayes en un valor p? Y dijeron: bueno, pues para hacer eso vamos a suponer que la distribución de probabilidad de mi problema es univariable y corresponde a una única variable y que la hipótesis nula es que esa variable vale cero y la hipótesis alternativa que no vale cero. Eso es aplicable a muy poquitos problemas de astronomía y mucho menos en exoplanetaria y en atmósferas exoplanetarias. Tengo que suponer que todo el análisis estadístico que yo hago es continuo; es decir, es un problema bien puesto y monótono. Eso en estadística, en astronomía y en atmósferas planetarias, eso no ocurre nunca: el monotón ya no se cumple nunca, no pasa nada.…
Francis Villatoro explica cómo calcular un factor de Bayes y su relación con el valor P, señalando que muchos estudios astronómicos utilizan una fórmula inversa.
Habla: Francis VillatoroPalabras #5factor bayes hipótesis nulavalor p logaritmo de pastronomía fórmula inversa bayesfactor bayes cota superior valor phipótesis nula denominador hipótesis alternativarelación inversa astronomía factores bayes…eso no ocurre nunca: el monotón ya no se cumple nunca, no pasa nada. Tengo que suponer además que tengo que tener una serie de propiedades matemáticas muy concretas y bajo estas condiciones muy concretas yo tengo una fórmula que me estima el factor. De Bayes como mayor o igual que una cierta expresión matemática que depende del valor P. Es la menos exponencial del valor P por el logaritmo de P, entonces yo tengo ese factor de Bayes de la hipótesis nula dividido entre la hipótesis alternativa, mayor o igual que este cociente. En casi todos los estudios en astronomía se utiliza lo contrario, no se usa el factor de Bayes de arriba en el numerador, la hipótesis nula. Sino al contrario, la hipótesis nula en el denominador y la hipótesis alternativa en el numerador. Con lo que el signo de la igualdad se invierte, con lo que en astronomía se usa la relación contraria. Yo tengo mi factor de Bayes, me permite esta fórmula estimar una cota superior a el valor P. Esta fórmula tiene una serie de condiciones y, en rigor estadístico, habría que verificar que en tu problema se cumplen. Si en tu problema alguna de estas hipótesis no se cumple, en astronomía no se cumple ninguna nunca, pero bueno, si en tu problema alguna…
Francis Villatoro explica que es posible calcular un valor P mediante métodos numéricos en ordenador para espectros con múltiples picos aproximados por gaussianas, pero reconoce que nadie ha realizado este cálculo debido a su complejidad.
Habla: Francis VillatoroPalabras #17valor p métodos numéricos ordenadorespectros gaussianas cálculo valor pestadística complejidad cálculo valor pfórmula programa ordenador estima valor p…¿por qué tú estás estimando un espectro con varios picos y estás aproximando por una gaussiana cada uno de los picos? Ya tienes una distribución multivariable, tienes multiparamétrica, tienes una cosa. Repetir esta fórmula para un modelo así complicado, se Puede hacer por ordenador, con métodos numéricos, pero te va a dar una fórmula que es un programa de ordenador muy complicado que te estima valor P. Pero eso no lo ha hecho nadie, porque en estadística nadie se atreve a hacer esas barbaridades, aunque se podría hacer, no parece muy complicado. Pero tiene que ser caso a caso. Para este problema concreto, eso planetario de amor, que yo espero que las distribuciones sean de este tipo. Yo hago mi fórmula correspondiente para estimar la europea a partir del factor de valle. Pero para otro problema distinto, estoy con esas enanas…
Francis Villatoro explica que intentar comunicar un valor P a un periodista es inútil, ya que este último desconfiará y acusará de engaño, una práctica común en el campo biomédico.
Habla: Francis VillatoroPalabras #9fórmula factor valle valor panálisis bayesiano problemas jugueteproblema juguete nadie complicarsevalor p y periodistas biomédicossigmas como alternativa al valor pdesconfianza periodista campo biomédicoengaño común sector biomédicofactor bayes valor p sigmasinversión valor p modelo estadísticodistribución cauciana sigmas…para otro problema distinto, estoy con esas enanas blancas y estoy haciendo no sé qué, tengo que hacer una fórmula completamente distinta e incluso para diferentes experimentos, entre comillas, observaciones diferentes, análisis diferentes, observaciones. Con un cierto objeto, tengo que hacer un análisis específico diferente y eso no se hace, ¿vale? O sea, eso no se hace. Tengo una fórmula, tengo una fórmula, señores, tengo una fórmula que me convierte el factor de Valle en un valor P, pero esta fórmula, repito, solo funciona en caso muy, muy concreto; extremadamente de juguete, tan de juguete que para el problema este de juguete nadie calcularía, haría un análisis bayesiano, porque se ve directamente a vista, no hay que complicarse la vida; es un problema extremadamente de juguetes, pero no, se usa esta fórmula y lo que pasa. Es que el valor P no se lo puede contar a un periodista, porque si se lo cuentas a un periodista, el periodista te dice: ya estás con el pez aquí, me quieres engañar; los biomédicos me llevan engañando toda la vida con eso. No, no, no, el valor P no se lo cree nadie. No, no, te lo voy a dar en sigmas, yo puedo convertir el valor P en sigmas. O sea, yo puedo transformar el factor de Bayes en un valor P y ahora invertir el valor P y sacar sigmas. De nuevo, la inversión para el valor P, para sacar las sigmas, requiere un modelo estadístico concreto. En grosso modo, básicamente, que tengas una distribución cauciana, pero no tienes una distribución cauciana en ningún caso. O Sea, no puedes, o sea, una fórmula que está mal. O sea, aplicar esa fórmula no está justificado de ninguna manera y debe ser rechazada de plano aunque haya sido usada en más de 1200 artículos de astronomía exoplanetaria y astronomía normal y corriente porque…
Francis Villatoro explica cómo el factor de Bayes puede transformarse en un máximo para el valor P, lo que a su vez corresponde a un máximo para el número de sigmas.
Habla: Francis VillatoroPalabras #8máximo valor p número de sigmassigma hacking artículo bikipidimetilsulfuro tres sigmas observaciónseñal inexistente dimetilsulfuro…muy claro y el resultado final es que se están publicando una enorme cantidad de artículos que convierten el factor de Bayes en un número de sigmas y que casi están sugiriendo que el factor de Bayes se puede convertir en una estimación del mínimo de sigmas. Cuando, en realidad, lo que se puede convertir es en un máximo para valor P, perdón, un mínimo para valor P que corresponde a un máximo para el número de sigmas. Bajo muchísimas hipótesis, entonces lo que este artículo de Bikipi reivindica es que la gente deje de hacer esto; que esto lo podemos bautizar como sigma hacking y que cosas esas como el artículo famoso del dimetil sulfuro que decía que habían observado dimetil sulfuro o dimetil disulfuro con al menos tres sigmas, que en realidad como mucho son tres sigmas pero casi con toda seguridad son mucho menos de una sigma; casi con toda seguridad, ahí no hay ningún tipo de señal. ¿Por qué? porque solo hay que mirar la figura si tú miras la figura y tú dices el mejor si no miras el ajuste no miras la Los datos y estos datos se ajustan perfectamente por una línea recta, horizontal, pues entonces, no hay nada, ahora te ponen una pared olla de,…