El bosón de Higgs y la significancia de un resultado

Detector CMS

A estas alturas probablemente muchos han escuchado los rumores sobre el bosón de Higgs. El próximo martes 13 de diciembre se presentarán los últimos resultados de la búsqueda del escurridizo Higgs en los experimentos ATLAS y CMS, eso no es un rumor, CERN ha convocado a los medios para la presentación de estos nuevos resultados. El rumor es que ambos experimentos anunciarían que se han observado señales del Higgs. Los medios que están muy sensibles en lo que respecta a noticias científicas llevan ya una semana de titulares ribombantes que la comunidad científica ha tratado de debilitar para no generar en el público expectación por algo que podría no ocurrir. En este artículo no pretendo hablar de qué se trata el anuncio del próximo martes, para eso mejor esperar un par de días y tener información fidedigna. En este artículo quisiera contar algo que puede ser de ayuda para comprender qué tan relevante es el resultado que se presentará.

Error estadístico y «los sigmas»
Los físicos son escépticos, muy escépticos. No es fácil anunciar un resultado experimental de cualquier tipo sin pasar por un duro proceso de revisión. El más conocido es el llamado revisión de pares (peer review), sin embargo incluso antes de que un paper con cierto resultado sea enviado para revisión, el estudio es sometido a estudios internos. Una de las cantidades más importantes para determinar la calidad de un resultado tiene que ver con el error en la medición. No vivimos en un mundo perfecto y por lo tanto nuestras mediciones siempre tendrán errores. Cuán bien podemos controlar esos errores es gran parte del trabajo en física experimental, donde mentes creativas consideran hasta la posibilidad más remota que pudiese afectar la medición. Una de las maneras que los físicos usan para tratar de reducir el error es repetir la medición muchas veces, ya que los errores pueden ser aleatorios y en base a las leyes de la estadística un valor muy distinto al esperado puede medirse sólo debido a lo que se llama una fluctuación estadística. Al repetir el experimento una y otra vez estas fluctuaciones disminuyen, sin embargo no desaparecen. Por ello los físicos estiman una cantidad (# o el «número de sigmas») que indica cuán probable es que el valor medido sea un efecto real y no un error estadístico. Esta cantidad es muy importante porque permite identificar cuán significativo es un determinado resultado. La cosa es así:

• representa sólo un 68% de probabilidad de que el resultado no es un error estadístico, por lo tanto cualquier resultado de no es interesante, para nada.

• representa un 99.7% de probabilidad de que el resultado es real y no un error estadístico, por lo tanto un resultado de es bastante más interesante.

• representa un 99.99994% de probabilidad de que el resultado es real y no un error estadístico, por lo tanto un resultado de es muy interesante.

Así, mientras mayor es el «sigma» más significativo es un resultado porque implica que es más y más probable que el valor medido es real y no una mala jugada de las estadísticas.

Señal, evidencia, descubrimiento

Por qué es todo esto importante? El motivo es que el próximo martes escucharemos (según los rumores) que se han observado señales del bosón Higgs. Sin embargo tanto o más relevante es cuán significativa es esta observación. En física se usa una regla para catalogar diferentes mediciones basada en la significancia, es decir, «cuántos sigmas»:

• : un 99.7% pareciera ser muy cercano al 100%, sin embargo eso no convence a los físicos, por eso es que cualquier resultado con una significancia de menor a «3 sigma» es mirada con desprecio, y nadie la toma científicamente en serio. Usualmente se usa la expresión «señal de…» cuando la significancia es menor a 3 sigmas.
• entre y : un 99.99994% pareciera ser excesivamente cercano al 100%, sin embargo eso no es suficiente tampoco en física. Sin embargo, las probabilidades de que la señal sea ruido estadístico es bastante pequeña y cualquier resultado con una significancia entre «3 y 5 sigmas» es mirada con curiosidad ya que podría estar indicando algo importante. Usualmente se usa la expresión «evidencia de…» cuando la significancia es entre 3 y 5 sigmas.
• : una probabilidad mayor a 99.99994% es muy cercana al 100% y es el mínimo que los físicos exigen para considerar un resultado como realmente importante. La probabilidad de que la señal observada sea ruido estadístico es sólo 0.00006%, por lo tanto cualquier resultado con una significancia mayor a «5 sigmas» es motivo de celebración. En la literatura científica se usa la expresión «descubrimiento de…» cuando la significancia es igual o mayor 5 sigmas.

Un experimento sencillo

Una manera simple de visualizar la idea de significancia estadística es realizar un simple experimento: lanzar una moneda al aire. Como hay dos posibles resultados (a los que llamaremos «cara» y «sello»), la probabilidad de cualquiera de los dos posibles resultados es 50%. Esto significa que si lanzamos la moneda a veces saldrá cara, otras saldrá sello, y luego repetir el procedimiento muchas veces esperamos que en promedio la mitad de las veces salga cara y la otra mitad de las veces salga sello. Por supuesto existe la posibilidad de que lancemos la moneda y salga cara, luego la volvamos a lanzar y salga cara nuevamente, este resultado es perfectamente posible y la probabilidad de que ocurra es . Qué pasaría si lanzamos la moneda nuevamente y nos sale cara? Probablemente encontraríamos que es extraño porque la probabilidad de tener cara tres veces seguidas es sólo , diríamos que algo pasa con la moneda. La significancia de que esto ocurra «es menor que 3 sigmas» así que un físico diría «observo una señal de que esta moneda está cargada».
Si esto nos ocurriera ocho veces seguidas pensaríamos que la moneda está cargada de alguna manera. Obtener ocho caras seguidas es muy poco probable, y la significancia de este resultado es aproximadamente . Un físico diría «observo una evidencia de que esta moneda está cargada».
Finalmente, cuánto es 5 sigmas para convencer al físico de que la moneda está de verdad cargada y el resultado no es un error estadístico? La es respuesta es 20. Lanzar la moneda al aire y obtener el mismo resultado 20 veces seguidas es lo que se requiere para que un resultado tenga una significancia de «5 sigmas», sólo ahí el físico dirá «he descubierto que esta moneda está cargada», porque es extremadamente poco probable que esto ocurra 20 veces seguidas al azar. Esto muestra que en física se requiere un alto nivel de confirmación para que un resultado sea tomado seriamente. Esto muchas veces lleva a discusiones entre diferentes disciplinas, en particular a estudios con muestras pequeñas en ciencias sociales, por ejemplo estudios sobre conductas, los que a veces usan menos de 100 personas, lo que posee un mínimo de poder predictivo y en el que las fluctuaciones estadísticas pueden ser enormes y por lo tanto los resultados pueden tener significancia casi nula. Esto muchas veces hace que los físicos sean catalogados de arrogantes (lo que probablemente es cierto). Una vez leí un artículo al respecto en el que a una investigadora en física de partículas se le preguntaba qué pensaba de que se le llamara arrogante, a lo que ella respondió «arrogancia? supongo que ese es el precio por hacer las cosas bien«.

La idea de este ejemplo es sólo ilustrar cuán cuidadosos son los experimentales a la hora de reportar un resultado y cuán seguros están de lo que han observado, así como el cuidado que debemos tener cuando escuchemos un resultado. Volviendo al anuncio del próximo martes, el rumor sobre el Higgs dice que CMS ha observado una señal del Higgs con una significancia cercana a 3 sigmas, y en ATLAS sería de 3 sigmas que el Higgs tendría una masa de 125 GeV (1 GeV es un gigaelectrónvolt que equivale a unos kg.). Qué significa esto (de confirmarse)? Significa que el LHC está proporcionando los primeros datos que sugieren que el Higgs podría estar allí, sin embargo falta mucho para estar seguros de ello. Si este martes escuchamos que el resultado es menor a 3 sigmas no significa mucho; si es mayor a 3 sigmas es para alegrarse porque sería la primera evidencia de que estamos cerca de observar el famoso bosón pero no es motivo para hiperventilarse. El Higgs se declará descubierto sólo cuando la observación tenga una significancia de 5 sigmas, no antes (a pesar de los titulares que veremos el próximo miércoles). De todas formas la comunidad científica espera con ansias este anuncio ya que podría marcar el camino a lo que viene, aunque sabemos que no se anunciará un descubrimiento (según dice la invitación del CERN), pero muchos piensan que el seminario del martes podría ser el principio de algo histórico. Ya veremos qué pasa.

Así que ya saben, el martes el qué se observa es muy importante pero también lo es la significancia del resultado. Para los interesados, el seminario será transmitido el martes en vivo desde CERN a las 2pm (hora de Zurich).