Las revisiones sistemáticas (RS) y los metaanálisis (MA) son investigaciones científicas en las cuales la unidad de análisis son los estudios originales primarios1. En la actualidad, constituyen una herramienta esencial para sintetizar la información científica disponible, incrementar la validez de las conclusiones de los estudios individuales e identificar aquellas áreas de incertidumbre, y juegan un importante papel en la toma de decisiones clínicas en el contexto de la práctica clínica basada en la evidencia2. Pero para que una RS/MA sea válida debe de cumplir unos criterios de calidad que puede estar comprometida cuando los estudios originales que conforma la RS/MA presentan déficits metodológicos o sesgos en su realización, o bien por la presencia de estos defectos en el diseño de la misma RS/MA. Por tanto, es prioritario detectar las RS mal realizadas y/o mal informadas ya que puede repercutir en un inadecuado uso de la evidencia3. Los principales factores que afectan a la calidad de las RS/MA son:
- 1.
Factores relacionados con los estudios originales. Toda RS/MA debe contemplar un análisis de los principales sesgos que puedan presentan los estudios que la conforman. Se han desarrollado múltiples herramientas para valorar la presencia de ellos, siendo en la actualidad las más frecuentemente utilizadas las escalas de evaluación de riesgo de sesgo de la Colaboración Cochrane4. Se ha constatado en diferentes estudios que la presencia de sesgos en los estudios originales es muy frecuente, y esto repercute en el resultado final de la revisión. Pero, además se ha observado que la asignación de la presencia o no de sesgos, por parte de los investigadores que realizan la RS/MA, de los estudios primarios es equivocada frecuentemente, incluso en los estudios realizados por la Colaboración Cochrane5.
- 2.
Factores relacionados con el desarrollo de la RS/MA. Los sesgos que se pueden producir en este tipo de estudios también pueden producirse durante la realización de la propia revisión. Todas las etapas en la construcción de una RS/MA, desde el planteamiento de la pregunta a analizar, hasta una exageración de las conclusiones, pueden verse afectados por la toma de decisiones subjetivas por parte de los investigadores. De ahí la importancia de una adecuada lectura critica del artículo para poder detectar sesgos inherentes del trabajo de investigación6. Algunas medidas pueden minimizar estos sesgos, como por ejemplo la presencia de un documentalista en la tarea de la búsqueda bibliográfica, o la realización de la búsqueda, el cribado de los artículos, la extracción de datos de estos y el análisis de riesgo de sesgo, por varias personas del equipo investigador, resolviendo las discrepancias por consenso o por otro miembro del equipo. Por otro lado, la publicación o disponibilidad del protocolo del estudio, permite comprobar la similitud entre lo planeado y lo publicado.
Otro problema derivado de la realización de la RS/MA es el sesgo de publicación. La esencia misma de la RS/MA es el análisis exhaustivo de toda la investigación realizada, publicada y no publicada, sobre la pregunta de investigación. Este sesgo se produce, sobre todo, cuando la comparación de 2 intervenciones no demuestram las expectativas de los investigadores o patrocinadores del trabajo de investigación, o bien las diferencias entre las comparaciones no son significativas, lo que puede afectar a la publicación final del artículo. Debido a ello, en la RS/MA debe de mostrarse que se ha analizado el sesgo de publicación con cualquiera de las herramientas disponibles para ello7.
Herramientas para la evaluación integral de una RS/MATeniendo en cuenta la importancia de la toma de decisiones basada en la evidencia y sus repercusiones en los pacientes, se han diseñado y validado múltiples herramientas e instrumentos, generalmente mediante una lista de verificación (checklist), para evaluar la calidad metodológica de los trabajos de investigación publicados. En relación con las RS/MA uno de los primeros instrumentos utilizados en España de lectura critica fueron las plantillas de verificación del Programa de Habilidades en Lectura Critica Español (CASPe). Posteriormente se han diseñado otras herramientas para este fin. Entre ellas las más evaluada y validada ha sido la AMSTAR-2 (tabla 1)8. La escala AMSTAR-2 consta de una lista de verificación de 16 ítems o dominios que cuya comprobación por parte de un evaluador o lector informa de la calidad metodológica de la RS/MS, si esta se ha realizado con integridad y rigor. La respuesta a los diferentes ítems evaluados es simple, «sí» cuando la información disponible permite afirmar de forma positiva a la cuestión, «no» cuando no se cumple o la información aportada en el trabajo de investigación es insuficiente para responder y «sí parcial» cuando la cumplimentación de la información no es completa. Se consideran los ítems críticos (los que afectan de forma más fuerte a la validez del estudio) los ítems 2, 4, 7, 9, 11, 13 y 15. Dependiendo de la respuesta a los ítems y la afectación de los críticos, la confianza en los resultados y en las conclusiones de la revisión se califica de alta/media/baja o críticamente baja. Adicionalmente, esta herramienta puede ser utilizada como guía para la construcción y la publicación de una RS. El fácil uso de esta escala junto al tiempo necesario para completarla (entre 15 y 32min), hacen del AMSTAR-2 una herramienta útil para analizar la calidad y, por tanto, la confianza en una RS8.
Dominios de la herramienta AMSTAR-2 para analizar la calidad metodológica de una RS/MA
| ¿La pregunta de investigación y los criterios de inclusión para la revisión incluyen los componentes PICO? |
| ¿Contenía el informe de la revisión una declaración explícita de que los métodos de revisión se habían establecido antes de la realización de la revisión y justificaba el informe cualquier desviación significativa del protocolo? |
| ¿Los autores de la revisión explicaron la selección de los diseños del estudio para su inclusión en la revisión? |
| ¿Los autores de la revisión utilizaron una estrategia integral de búsqueda de literatura? |
| ¿Los autores de la revisión realizaron la selección del estudio por duplicado? |
| ¿Los autores de la revisión realizaron la extracción de datos por duplicado? |
| ¿Los autores de la revisión proporcionaron una lista de estudios excluidos y justificaron las exclusiones? |
| ¿Los autores de la revisión describieron los estudios incluidos con el detalle adecuado? |
| ¿Los autores de la revisión utilizaron una técnica satisfactoria para evaluar el riesgo de sesgo en los estudios individuales que se incluyeron en la revisión? |
| ¿Los autores de la revisión informaron sobre las fuentes de financiación para los estudios primarios incluidos en la revisión? |
| Si se realizó un metaanálisis, ¿usaron los autores de la revisión los métodos apropiados para la combinación estadística de los resultados? |
| Si se realizó el metaanálisis, ¿los autores evaluaron el impacto potencial de riesgo de sesgo en estudios individuales sobre los resultados del metaanálisis u otra síntesis de evidencia? |
| ¿Los autores de la revisión dieron cuenta del riesgo de sesgo en los estudios primarios al interpretar/discutir los resultados de la revisión? |
| ¿Los autores de la revisión proporcionaron una explicación satisfactoria y una discusión sobre cualquier heterogeneidad observada en los resultados de la revisión? |
| Si realizó una síntesis cuantitativa, ¿ejecutaron los autores de la revisión una investigación adecuada del sesgo de publicación y discutieron su posible impacto en los resultados de la revisión? |
| ¿Los autores de la revisión informaron sobre posibles fuentes de conflicto de intereses, incluido la financiación que recibieron para realizar la revisión? |
MA: metaanálisis; RS: revisiones sistemáticas.
Una de las características de la investigación es que los autores de un trabajo de investigación deben de presentar de manera clara y completa qué se hizo, cómo se hizo y cuáles fueron los hallazgos encontrados, lo que define la transparencia de un estudio. Esto es fundamental para que otros investigadores puedan reproducir el trabajo, confirmar los resultados y, por tanto, las conclusiones (reproducibilidad). Para mejorar la transparencia de los estudios científicos se han diseñado diferentes instrumentos para ello. En el campo de las RS/MA, la más utilizado es la declaración PRISMA9. La PRISMA es una guía que proporciona unas recomendaciones mínimas para mejorar la transparencia de la presentación de una RS. Se trata de una lista de comprobación de 27 ítems que ayuda a los investigadores a presentar sus trabajos de revisión. No es propiamente una herramienta que mida la calidad metodológica de una RS. Una adecuada transparencia en la investigación y en su presentación, hace posible la reproducibilidad. Esta mejora la credibilidad y la confianza en una investigación. Otro problema que ha mostrado las RS/MA es que pese a la declaración PRISMA, la presentación de resultados muchas veces es insuficiente, y los estudios que se han realizado para reproducir los trabajos han mostrado que en muchas ocasiones no se puede realizar de forma conveniente. Para mejorar lo que se conoce la «crisis de reproducibilidad» se han desarrollado unas directrices, basándose en el principio de apertura de todo el proceso científico, para ello es preciso, entre otras, mejorar la transparencia del diseño del estudio y la disponibilidad de los datos (datos abiertos)10.
En consecuencia, aunque la RS/MA sigue siendo una de las principales herramientas para adecuar la evidencia científica y su traslado al manejo de pacientes, en muchas ocasiones no están adecuadamente realizadas y/o informadas. Aunque disponemos de instrumentos para facilitar la presentación, así como para analizar la calidad de las RS/MA, estas en muchas ocasiones son obviadas en aras de una rápida publicación del trabajo, favorecido por un sistema académico y profesional de incentivos muchas veces perverso. Si queremos que nuestras decisiones consigan una mejora clínica relevante, deberemos de comenzar por una investigación transparente que permita la reproducibilidad, aumentando, de esta forma la confianza en los artículos científicos y favoreciendo una mejor práctica clínica basada en la evidencia.
