 |
UNIVERSO ESTADÍSTICO |
El escándalo
Ricardo Ocaña-Riola
Doctor en Ciencias Matemáticas
Profesor de Estadística - Escuela Andaluza de Salud Pública
“¿Qué deberíamos pensar de un médico que usa el tratamiento equivocado, deliberadamente o por ignorancia, o que usa el tratamiento adecuado incorrectamente (como recetar la dosis errónea de un medicamento)? La mayoría estaría de acuerdo en que este comportamiento sería poco profesional, carente de ética y por supuesto inaceptable. Entonces, ¿qué deberíamos pensar de los investigadores que usan técnicas [estadísticas] equivocadas, deliberadamente o por ignorancia, usan las técnicas adecuadas incorrectamente, malinterpretan sus resultados, muestran solo parte de ellos, citan otras investigaciones selectivamente y dan conclusiones injustificadas? Tendríamos que estar horrorizados. Aún hoy, numerosos estudios de la literatura médica, tanto de revistas generales como especializadas, han mostrado que todo lo descrito anteriormente es frecuente. Sin duda, un escándalo”
De esta forma comenzaba Douglas Altman, Director del Centre for Statistics in Medicine de Oxford, uno de los artículos más impactantes de los años 90 para la comunidad científica internacional: El escándalo de la mala investigación médica. Su escrito alertaba de los errores que muchos investigadores no especialistas en Estadística cometían al aplicar métodos básicos, una profunda crítica que otros autores habían comenzado a manifestar a finales de los 80. La situación era preocupante, ya que muchas de las decisiones médicas, incluido el diagnóstico de la enfermedad y la elección del tratamiento más adecuado, se basan en pruebas estadísticas.
El eterno problema
Habiendo transcurrido 20 años desde aquellas advertencias, cabría pensar que el uso de la Estadística y la calidad de la investigación en Ciencias de la Salud han mejorado. Sin embargo, nada más lejos de la realidad. Estudios recientes muestran que un elevado porcentaje de los artículos publicados en revistas científicas de gran prestigio sigue presentando errores en el análisis estadístico o en la interpretación de resultados, con la consiguiente repercusión en la calidad, validez y eficiencia de la investigación.
En 2010, la revista ScienceNews publicó el ensayo Lo más probable es que esté equivocado, constatando el mal uso que profesionales no especializados en estadística hacen de estas técnicas y señalando el fracaso de la ciencia al enfrentarse a esta mala práctica. En otro artículo reciente, Russell Lyons, profesor del Departamento de Matemáticas de la Universidad de Indiana, critica el desconocimiento generalizado de los métodos estadísticos en el campo de la salud y cuestiona la validez de las conclusiones obtenidas por reputados investigadores que han sido publicadas en algunas de las revistas médicas más prestigiosas del momento. Junto a él, decenas de matemáticos y estadísticos continúan alertando sobre una situación que no parece mejorar con el tiempo y podría resumirse en una cita de Horace F. Judson, extraída de su obra Anatomía del fraude científico: “Cualquier taxonomía, clásica o actual, del fraude considera las anomalías estadísticas entre los signos más frecuentes de irregularidad”.
La causa
¿Qué está ocurriendo? Con frecuencia, los métodos estadísticos son utilizados por personas ajenas al ámbito matemático, sin formación, alentados en parte por la accesibilidad a los programas informáticos de última generación que, si bien pueden ayudar a realizar cualquier tipo de análisis, no ofrecen recetas polivalentes ni son capaces de sustituir el conocimiento de un profesional de la Estadística. A su vez, profesionales que leen estos estudios sin tener una formación estadística crítica copian el método para realizar investigaciones similares en sus centros, asumiendo que, si está publicado, será el adecuado, lo que favorece aún más la transmisión de errores metodológicos.
Detectar estas anomalías antes de hacerlas públicas es la labor de los revisores del trabajo cuando éste llega a una revista científica. Sin embargo, las editoriales no disponen de un equipo de matemáticos o estadísticos que realicen esta evaluación. Los revisores suelen ser investigadores del ámbito de la salud, pero no siempre tienen formación estadística. Por tanto, el escaso conocimiento que les llevó a publicar errores estadísticos en su investigación también hará que sean incapaces de detectar las deficiencias metodológicas de otros colegas. Recientemente, el equipo editorial de la acreditada revista British Medical Journal realizó un curioso experimento. De su base de datos seleccionó aleatoriamente 607 profesionales que habitualmente colaboran en la revista como revisores. Todos recibieron un artículo que debían evaluar según el procedimiento habitual, sin embargo ninguno de ellos sabía que el equipo editorial había insertado deliberadamente nueve errores metodológicos graves y cinco leves. Por término medio, cada uno de los evaluadores detectó menos de tres errores graves y solo uno leve, por lo que el equipo editorial concluye: “Los editores no deben asumir que los revisores detectarán la mayoría de errores graves”.
En un artículo publicado en la revista Statistics in Medicine, Douglas Altman resume la situación con estas palabras: “La razón principal de la gran cantidad de errores estadísticos es que la mayoría de los análisis lo realizan personas con un conocimiento inadecuado de los métodos estadísticos. Posteriormente son revisados por personas que generalmente no tienen mayor conocimiento. Lamentablemente, muchas investigaciones pueden beneficiar más a los investigadores que a los pacientes, especialmente cuando se llevan a cabo por una ridícula necesidad de carrera profesional”.
La repercusión social
La mayor parte de la investigación médica necesita utilizar métodos estadísticos para obtener conclusiones. Entre otros, la detección de factores de riesgo para la salud, la comparación de tratamientos o el diagnóstico de enfermedades son estudios habituales basados en el análisis estadístico de la información. Un uso inapropiado de estas técnicas distorsiona el avance del conocimiento científico y, en consecuencia, impide tomar la decisión más adecuada para mejorar el estado de salud de los pacientes. Las normas éticas para la práctica de la Estadística redactadas por la Asociación Estadística Americana no dejan lugar a dudas: “El desempeño profesional del análisis estadístico es esencial para muchos aspectos de la sociedad. El uso de estadísticas en el diagnóstico médico y la investigación biomédica puede repercutir en la vida y en la muerte de las personas […] Puesto que la sociedad depende de una buena práctica estadística, todos los profesionales de la Estadística, sea cual sea su formación y ocupación, tienen la obligación social de llevar a cabo su trabajo de forma profesional, competente y ética”.
La solución
Sin duda, es esencial que los investigadores en Ciencias de la Salud conozcan aspectos estadísticos fundamentales que les permitan llevar a cabo análisis básicos de una forma adecuada, interpretar correctamente los resultados y realizar una lectura crítica de los trabajos publicados por otros colegas. A su vez, los organismos responsables de esta formación han de ser conscientes de que hará falta tiempo de dedicación para que sus profesionales adquieran los conocimientos, las habilidades y las actitudes necesarias que les permita afrontar con éxito y de manera autónoma diferentes aspectos relacionados con el análisis estadístico de la información. Al igual que sería impensable que una persona ajena a la medicina realizara un transplante de corazón con sólo asistir a un curso de cuatro días, o que alguien mantuviera una conversación fluida en inglés tras realizar un seminario de iniciación de 20 horas, tampoco es posible adquirir los conocimientos necesarios para realizar e interpretar correctamente análisis estadísticos fundamentales en un curso intensivo de tres o cuatro días.
Adicionalmente a esta formación básica de profesionales no especializados en Estadística, los equipos de investigación han de ser multidisciplinares. Como ocurre en el resto de áreas de conocimiento, la Estadística es una ciencia en continua evolución que permanentemente está aportando nuevos métodos, filosofías y técnicas de análisis. Por ello, es esencial incorporar matemáticos y estadísticos a los equipos de investigación desde la gestación del proyecto, de manera que sean partícipes o responsables del diseño del estudio, la configuración de los sistemas de información, el análisis de datos complejos, la supervisión de análisis básicos, la interpretación de resultados y la extracción de conclusiones. De la misma forma, los equipos editoriales de revistas científicas han de contar con un grupo estable de matemáticos y estadísticos que evalúen sistemáticamente los trabajos de investigación recibidos, garantizando que las investigaciones publicadas sean metodológicamente correctas.
En centros o instituciones que utilicen con frecuencia métodos estadísticos sería mucho más eficiente configurar departamentos, áreas o unidades de Estadística compuestas por matemáticos y estadísticos capaces de diseñar, sistematizar y analizar la información de los proyectos que requieran el uso de estas técnicas. De esta forma, un equipo de pocos profesionales especializados y coordinados podría asegurar el buen uso de los métodos tradicionales y desarrollar nuevos métodos que repercutan en una investigación de calidad. Esta configuración permitiría, además, compartir un conocimiento cada vez más especializado entre profesionales de un mismo campo, facilitando la transmisión del mismo a otros profesionales no especializados en Estadística. Llegados a este punto, quizá hoy continúe en plena vigencia la frase con la que Altman subtituló el artículo comentado al principio: “Necesitamos menos investigación, mejor investigación e investigación hecha por razones justificadas”, donde la estadística esté realizada o supervisada por especialistas de este área de conocimiento.
Octubre de 2011
