Investigar la calidad metodológica de las revisiones sistemáticas publicadas sobre factores asociados con COVID-19 en personas con diabetes.
MétodoRevisión sistemática con protocolo de registro en PROSPERO, bajo el número CRD42020222418. Las búsquedas se realizaron de octubre a noviembre de 2020 en las bases de datos de las bibliotecas Medline, Web of Science, Scopus, LILACS, Embase y Cochrane Library, además de la búsqueda en la lista de referencias de los estudios seleccionados. Se incluyeron estudios de revisión sistemática con o sin metaanálisis y sin restricciones de fecha e idioma. Los datos se extrajeron de forma estandarizada y la calidad de los estudios se evaluó mediante la escala Assessment of Multiple Systematic Reviews.
ResultadosSe incluyeron 12 revisiones, publicadas entre 2020 y 2021, con predominio del idioma inglés; son revisiones sistemáticas de estudios observacionales con metaanálisis con una muestra que va desde 6 a 83 estudios. En cuanto a la financiación, la mayoría de los estudios informaron que no recibieron este tipo de ayuda. En cuanto a la evaluación de la calidad metodológica, 3 fueron de calidad moderada, 5 fueron clasificados como de baja calidad y 3 revisiones sistemáticas fueron evaluadas como críticamente bajas.
ConclusionesLos artículos analizados presentaron un sesgo en la elaboración de informes sobre sus estudios, evidenciando la necesidad de utilizar mecanismos para mejorar la adherencia a los lineamientos de reporte establecidos y herramientas de evaluación metodológica.
To investigate the methodological quality of published systematic reviews of factors associated with COVID-19 in people with diabetes.
MethodSystematic review with registration protocol in PROSPERO, under the number CRD42020222418. Searches were carried out from October to November 2020 in the databases of the Medline, Web of Science, Scopus, LILACS, Embase and Cochrane Library, in addition to searching the reference list of the selected studies. Systematic review studies with or without meta-analysis and without date and language restrictions were included. Data were extracted in a standardized way and the quality of the studies was assessed using the Assessment of Multiple Systematic Reviews scale.
ResultsTwelve reviews, published between 2020 and 2021, with a predominance of the English language, systematic reviews of observational studies with meta-analysis with a sample ranging from 6 to 83 studies, were included. Regarding financing, most of the study reported did not receive this type of support. Regarding to the assessment of the methodological quality of the studies, 3 were of moderate quality, 5 were classified as low quality and 3 with critically low quality.
ConclusionsThe analyzed articles presented a bias in the preparation of reports on their studies, suggesting the need to use mechanisms to improve adherence to the established reporting guidelines and methodological evaluation tools.
La COVID-19 afecta a las personas de diferentes maneras, y la mayoría de la población infectada tiene síntomas leves a moderados. Mientras tanto, las personas con diabetes y/u otras enfermedades crónicas tienen más probabilidades de desarrollar síntomas más graves, lo que requiere decisiones clínicas acertadas.
¿Qué aporta?Se recomienda que las revisiones sigan las pautas disponibles en la herramienta Assessment of Multiple Systematic Reviews (AMSTAR 2) junto con el protocolo Preferred Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA), con el fin de garantizar una mejor calidad de la evidencia científica.
En diciembre de 2019, el SARS-CoV-2 fue identificado como la causa de un alto número de casos de síndrome respiratorio agudo severo en Wuhan, China. El SARS-CoV-2, que causó la COVID-19, se propagó rápidamente por todo el mundo y se convirtió en una emergencia sanitaria mundial hasta lograr el carácter de pandemia1.
Aunque la información sobre COVID-19 está evolucionando y no todos sus aspectos clínicos están completamente aclarados, la tasa de mortalidad de esta enfermedad es alta en personas con enfermedades crónicas subyacentes. En el contexto actual, la hipertensión arterial sistémica, las enfermedades cardiovasculares, la diabetes mellitus (DM), las enfermedades renales y la enfermedad pulmonar obstructiva crónica se encuentran entre las enfermedades crónicas subyacentes más prevalentes entre los pacientes hospitalizados por COVID-19. En personas en estas situaciones, las infecciones pueden progresar rápidamente y se necesitan decisiones clínicas sólidas2,3.
Ante la alta prevalencia de DM, con el alto grado de contagio de COVID-19, se producen y publican investigaciones en todo el mundo con el fin de dilucidar las lagunas de conocimiento sobre la asociación entre las 2 enfermedades y la relación entre riesgos y pronósticos4. Cabe señalar que la falta de muestras grandes e informes originales de alta calidad son los mayores obstáculos para la investigación científica, particularmente al comienzo de los brotes de enfermedades, en los que la evidencia se obtiene principalmente de estudios observacionales, que presumiblemente están influidos por numerosos sesgos de confusión, susceptibles de posibles defectos metodológicos5.
Las revisiones sistemáticas (RS) son evidencia de alta calidad y consisten en estudios secundarios que tienen como objetivo recopilar toda la evidencia empírica que se ajuste a los criterios de elegibilidad predefinidos para responder una pregunta de investigación científica específica. Para ello, utiliza métodos explícitos y sistemáticos que se seleccionan con el objetivo de minimizar los sesgos, con el fin de proporcionar resultados más fiables a partir de los cuales se puedan extraer conclusiones y tomar decisiones clínicas6.
Este estudio tiene como objetivo investigar la calidad metodológica de las RS publicadas sobre factores asociados con COVID-19 en personas con DM.
MétodosEste es un estudio de tipo paraguas de RS. Esta revisión fue desarrollada según la herramienta PRISMA y tuvo su protocolo registrado y aprobado en el International Prospective Register of Systematic Reviews ?PROSPERO?, con el número de registro CRD42020222418.
Para la elaboración de la pregunta de investigación: «¿Cuáles son los factores asociados a la infección por COVID-19 en personas con diabetes?» se utilizó el acrónimo PICO: Población/Intervención-Exposición/Comparador/Resultado.
Criterio de elegibilidadSe incluyeron RS con metaanálisis de investigación con seres humanos y estudios originales en las categorías seleccionadas que utilizaron métodos cuantitativos, que discutieron la asociación entre DM y COVID-19. Se excluyeron editoriales, opiniones de expertos, informes de casos, revisiones narrativas, protocolos de RS, revisiones que no fueron revisadas por pares, solo resúmenes o datos no disponibles y estudios en animales.
Fuentes de informaciónLa búsqueda sistemática de estudios comenzó el 13 de octubre de 2020 y finalizó el 5 de noviembre del mismo año, pero se requirió una actualización de RS el 28 de febrero de 2022 por 2 revisores (JSM y MOM) simultáneamente de forma independiente, en las siguientes bases de datos electrónicas: Medical Literature Analysis and Retrieval System online (MEDLINE-PubMed), Web of Science, Scopus, Literatura de Ciencias de la Salud de América Latina y el Caribe (LILACS), Embase y Cochrane Library. Además, se realizó una búsqueda adicional en las referencias de artículos elegibles en la búsqueda de literatura gris. No hubo restricciones con respecto a la fecha y el idioma de publicación del estudio.
Estrategia de búsquedaSe realizó una estrategia de búsqueda combinando MeSH, DeCS y términos Emtree y términos libres, que son términos que no se encuentran en DeCS y MeSH pero que son relevantes para la búsqueda, con sus sinónimos (palabras clave), y se utilizaron los operadores booleanos «Y» y «O», y para cada base de datos se utilizó el filtro «revisiones», como se muestra en la tabla 1.
Estrategias de búsqueda de bases de datos
| Base de datos | Estrategia de búsqueda |
|---|---|
| MEDLINE (vía PubMed) | (((“Diabetes Mellitus”[MeSH]) OR (diabetes)) AND ((((((((((((“COVID-19” [Supplementary Concept]) OR (“2019 novel coronavirus disease”)) OR (“COVID19”)) OR (“COVID-19 pandemic”)) OR (“SARS-CoV-2 infection”)) OR (“COVID-19 virus disease”)) OR (“2019 novel coronavirus infection”)) OR (“2019-nCoV infection”)) OR (“coronavirus disease 2019”)) OR (“coronavirus disease-19”)) OR (“2019-nCoV disease”)) OR (“COVID-19 virus infection”))) AND (((((((((“Risk Factors”[MeSH]) OR (“Factor, Risk”)) OR (“Factors, Risk”)) OR (“Risk Factor”)) OR (“Population at Risk”)) OR (“Risk, Population at”)) OR (“Populations at Risk”)) OR (“Risk, Populations at”)) OR (“Associated factors”)) |
| Web of Science | (TS=(((“Diabetes Mellitus”[MeSH]) OR (“Diabetes”)) AND ((((((((((((“COVID-19” [Supplementary Concept]) OR (“2019 novel coronavirus disease”)) OR (“COVID19”)) OR (“COVID-19 pandemic”)) OR (“SARS-CoV-2 infection”)) OR (“COVID-19 virus disease”)) OR (“2019 novel coronavirus infection”)) OR (“2019-nCoV infection”)) OR (“coronavirus disease 2019”)) OR (“coronavirus disease-19”)) OR (“2019-nCoV disease”)) OR (“COVID-19 virus infection”)) AND (((((((((“Risk Factors”[MeSH]) OR (“Factor, Risk”)) OR (“Factors, Risk”)) OR (“Risk Factor”)) OR (“Population at Risk”)) OR (“Risk, Population at”)) OR (“Populations at Risk”)) OR (“Risk, Populations at”)) OR (“Associated factors”))) |
| Scopus | TITLE-ABS-KEY (((“Diabetes Mellitus”[mesh]) OR (diabetes)) AND ((((((((((((“COVID-19” [supplementary AND concept]) OR (“2019 novel coronavirus disease”)) OR (“COVID19”)) OR (“COVID-19 pandemic”)) OR (“SARS-CoV-2 infection”)) OR (“COVID-19 virus disease”)) OR (“2019 novel coronavirus infection”)) OR (“2019-nCoV infection”)) OR (“coronavirus disease 2019”)) OR (“coronavirus disease-19”)) OR (“2019-nCoV disease”)) OR (“COVID-19 virus infection”))) AND (((((((((“Risk Factors” [meSH]) OR (“Factor, Risk”)) OR (“Factors, Risk”)) OR (“Risk Factor”)) OR (“Population at Risk”)) OR (“Risk, Population at”)) OR (“Populations at Risk”)) OR (“Risk, Populations at”)) OR (“Associated factors”)) |
| LILACS | ((“Diabetes mellitus”) OR (Diabete) OR (“Diabete Melito”) OR (Diabetes) OR (“Diabetes Melito”)) AND ((“Infecções por Coronavirus”) OR (“Coronavirus Infections”) OR (“Infecciones por Coronavirus”) OR (“COVID-19”) OR (“Doença pelo Novo Coronavírus (2019-nCoV)”) OR (“New Coronavirus disease (2019-nCoV)”) OR (“Nueva enfermedad por coronavirus (2019-nCoV)”) OR (“Doença por Coronavírus 2019-nCoV”) OR (“Coronavirus disease 2019-nCoV”) OR (“Enfermedad del coronavirus 2019-nCoV”) OR (“Doença por Novo Coronavírus (2019-nCoV)”) OR (“New Coronavirus Disease(2019-nCoV)”) OR (“Nueva enfermedad por coronavirus(2019-nCoV)”) OR (“Epidemia pelo Coronavírus de Wuhan”) OR (“Epidemia de coronavirus de Wuhan”) OR (“Wuhan Coronavirus epidemic”) OR (“Epidemia pelo Novo Coronavírus (2019-nCoV)”) OR (“New Coronavirus epidemic (2019-nCoV)”) OR (“Nueva epidemia de coronavirus(2019-nCoV)”) OR (“Epidemia por Coronavírus de Wuhan”) OR (“Wuhan Coronavirus Epidemic”) OR (“Infecção pelo Coronavírus 2019-nCoV”) OR (“Coronavirus infection2019-nCoV”) OR (“Infección de coronavirus2019-nCoV”) OR (“Surto de Coronavírus de Wuhan”) OR (“Brote de coronavirus de Wuhan”) OR (“Wuhan Coronavirus Outbreak”)) AND ((“Fatores de Risco”) OR (“Risk Factors”) OR (“Factores de Riesgo”) OR (“Fatores associados”) OR (“Associated factors”) OR (“Factores asociados”) OR (“Fator de Risco”) OR (“Risk fator”) OR (“Factor de riesgo”) OR (“Fatores de Risco Biológicos”) OR (“Biological Risk Factors”) OR (“Factores de riesgo biológico”) OR (“Fatores de Risco Não Biológicos”) OR (“Non-Biological Risk Factors”) OR (“Factores de riesgo no biológicos”) OR (“Fatores de Riscos Biológicos”) OR (“Biological Risk Factors”) OR (“Factores de riesgo biológico”) OR (“Fatores de Riscos Não Biológicos”) OR (“Non-Biological Risk Factors”) OR (“Factores de riesgo no biológicos”) OR (“População em Risco”) OR (“At-Risk Population”) OR (“Población en riesgo”) OR (“Populações em Risco”) OR (“At-Risk Populations”) OR (“Poblaciones en riesgo”)) |
| Embase | ((‘diabetes mellitus’ OR ‘diabetes’) AND ‘coronavirus disease 2019’ OR ‘covid-19’ OR ‘sars-cov-2 infection’) AND ‘risk factor’ OR ‘associated risk’)) |
| Cochrane Library | (“Diabetes Mellitus” OR Diabetes) AND (“2019 novel coronavirus disease” OR “COVID19” OR “COVID-19 pandemic” OR “SARS-CoV-2 infection” OR “COVID-19 virus disease” OR “2019 novel coronavirus infection” OR “2019-nCoV infection” OR “coronavirus disease 2019” OR “coronavirus disease-19” OR “2019-nCoV disease” OR “COVID-19 virus infection”) AND (“Factor, Risk” OR “Factors, Risk” OR “Risk Factor” OR “Population at Risk” OR “Risk, Population at” OR “Populations at Risk” OR “Risk, Populations at” OR “Associated factors”) in Title Abstract Keyword |
La selección de estudios abarcó 2 etapas: la primera etapa consistió en un cribado inicial basado en la lectura de títulos y resúmenes, con el objetivo de preseleccionar los estudios con evidencia de ser considerados en esta RS. Los revisores evaluaron los estudios de acuerdo con los siguientes criterios: presencia del término «revisión sistemática» y/o «metaanálisis» en el título o resumen, uso de bases de datos científicas para realizar la búsqueda y uso de técnicas sistemáticas para la recogida de datos. Si el estudio cumplía con al menos uno de los criterios anteriores, o si uno de los revisores tenía dudas con respecto a la elegibilidad del estudio, este se seleccionaba para el siguiente paso del proceso de selección: la lectura completa.
En la segunda etapa, los revisores obtuvieron los estudios preseleccionados en formato electrónico para verificar los criterios de elegibilidad en la versión completa de la publicación. Todo el proceso de selección fue realizado de forma independiente por 2 investigadores (JSM y MOM), y un tercer evaluador (FLSJ) resolvió los desacuerdos. Para la gestión de referencias y eliminación de duplicados se utilizó el software Rayyan7.
Extracción de datosLa extracción de datos fue realizada por los revisores (JSM y MOM), de forma independiente, utilizando un formulario estandarizado que contiene información sobre la identificación del estudio (primer autor, año y revista de publicación), tipo de revisión, idioma, número de estudios incluidos y apoyo financiero.
Evaluación del riesgo de sesgoLa evaluación metodológica de la RS fue realizada por 3 revisores independientes y capacitados (JSM, ATG y MOM) y las diferencias entre revisores se resolvieron mediante reuniones de consenso. La evaluación se realizó mediante el instrumento AMSTAR 28, una herramienta de medición para evaluar la RS, que consta de 16 preguntas, con las siguientes opciones de respuesta: «sí, no»; «sí, parcial sí, no» o «sí, no, metaanálisis no realizado». De estas 16 preguntas, 7 se consideran dominios críticos, en los que, con base en puntos críticos y no críticos, AMSTAR 2 genera una clasificación de RS en 4 niveles: alto, moderado, bajo y críticamente bajo. Las calificaciones para cada SR se realizaron en el sitio web oficial de AMSTAR 2 (https://amstar.ca/Amstar_Checklist.php) utilizando una calculadora en línea.
AMSTAR 2 es un instrumento que fue desarrollado para evaluar críticamente RS de estudios de intervención8, y dados los estudios seleccionados en esta RS, se ajustaron 5 ítems del instrumento9 para analizar RS que no cubrieron este tipo de diseño, como se muestra en la tabla 2.
Adaptaciones realizadas a los ítems de AMSTAR 2 para permitir el análisis de revisiones sistemáticas que no incluyen estudios con intervención
| Descripción de los elementos originales | Descripción de los elementos adaptados |
|---|---|
| Ítem 3: requiere que los revisores justifiquen la inclusión de solo ECA o la inclusión de solo NRSI o ambos | Ítem 3: las RS que no incluyen estudios con intervención no pueden haber incluido ECA o NRSI porque estos diseños involucran intervención. Considerando esto, se evaluaron positivamente las RS que justificaron la inclusión de estudios basados en diseños específicos o que justificaron la inclusión de estudios con cualquier diseño. Los RS que no presentaron ninguna de estas justificaciones fueron evaluados negativamente |
| Ítem 9: se relaciona con el uso de técnicas para evaluar el riesgo de sesgo en los estudios incluidos en la RS. Específicamente, este ítem requiere evaluar algunos elementos del diseño de ECA y NRSI | Ítem 9: las RS que no incluyen estudios de intervención no pueden haber incluido ECA o NRSI. Sin embargo, estas RS deberían haber utilizado una técnica satisfactoria para evaluar el riesgo de sesgo de los tipos de estudios que incluyeron. Así, las RS que describieron y justificaron el análisis del riesgo de sesgo de los estudios incluidos fueron evaluadas positivamente y las RS que no lo hicieron fueron evaluadas negativamente |
| Ítem 11: informa que se realizó un metaanálisis y los revisores utilizaron estadísticas apropiadas para combinar los resultados. Por lo tanto, este ítem requiere que se evalúen algunos elementos del diseño de ECA y NRSI | Ítem 11: las RS que no incluyen estudios de intervención no pueden haber incluido ECA o NRSI. Sin embargo, estas RS deberían haber utilizado técnicas estadísticas satisfactorias para construir los resultados. Así, las RS que describieron los métodos apropiados para las estadísticas de los estudios incluidos fueron evaluadas positivamente y las RS que no lo hicieron fueron evaluadas negativamente |
| Ítem 12: considera que se realizó un metaanálisis si los revisores evaluaron el impacto potencial del riesgo de sesgo en los estudios individuales sobre los resultados del metaanálisis. El instrumento recomienda evaluar positivamente: 1) RS que incluyeron solo ECA con bajo riesgo de sesgo, o 2) si la estimación combinada se basó en ECA y/o NRSI en la variable de riesgo de sesgo; los autores realizaron análisis para investigar posibles impacto del riesgo de sesgo en las estimaciones del efecto | Ítem 12: las RS que no incluyen estudios de intervención no pueden haber incluido ECA o NRSI. Sin embargo, estas RS deberían haber evaluado el impacto potencial del riesgo de sesgo en los resultados de los estudios de metaanálisis. Así, las RS que evaluaron el impacto del riesgo de sesgo en los resultados de los estudios incluidos fueron evaluadas positivamente y las RS que no lo hicieron fueron evaluadas negativamente |
| Ítem 13: trata de la inclusión del análisis de riesgo de sesgo en la discusión de resultados. El instrumento recomienda evaluar positivamente: 1) RS que incluyó solo ECA con bajo riesgo de sesgo, o 2) RS que incluyó ECA con riesgo de sesgo moderado o alto o NRSI y proporcionó una discusión sobre el impacto probable del riesgo de sesgo de los estudios incluidos en los resultados | Ítem 13: las RS que no incluyen estudios de intervención pueden no haber incluido ECA o NRSI, pero estas revisiones pueden discutir el impacto probable del riesgo de sesgo de los estudios incluidos en sus resultados. En este sentido, las RS que utilizaron una estrategia satisfactoria para evaluar el riesgo de sesgo en los estudios incluidos fueron evaluadas positivamente y discutieron el probable impacto de este riesgo en sus resultados, y las RS que no lo hicieron fueron evaluadas negativamente |
ECA: ensayos controlados aleatorizados; NRSI: estudios de intervenciones no aleatorizados; RS: revisión sistemática.
La búsqueda inicial de las bases de datos arrojó 5.652 referencias. Se excluyeron 661 estudios porque eran duplicados. En el análisis inicial de títulos y resúmenes, se preseleccionaron 95 manuscritos. Después de leer estos documentos en su totalidad, se excluyeron 83 estudios por las siguientes razones: no ser RS, estudios que no se ajustaban a la temática y ser revisiones incompletas. Por lo tanto, se incluyeron 12 estudios para el análisis final, como se muestra en la figura 1.
Características de los estudios
La tabla 3 presenta las referencias publicadas entre los años 202010–15 y 202116–21 con una muestra que va de 6 a 83 estudios. El idioma de publicación fue el inglés y todos los estudios seleccionados se caracterizan como RS de estudios observacionales, publicados en las siguientes revistas: Diabetes Research and Clinical Practice10–19; Nutrition, Metabolism & Cardiovascular Diseases11; Hormones12; Medicine13; Archives of Medical Research14; Diabetes & Metabolic Syndrome15; Acta Diabetologica16,21; Diabetologia17; Journal of Diabetes and Metabolic Disorders18 y Frontiers in Endocrinology20. En cuanto a la financiación, la mayoría de los estudios informaron que no recibieron este tipo de ayuda.
Características de los estudios incluidos en la revisión sistemática
| Primer autor | Revista | Año | Tipo de revisión | Idioma | Muestra | Financiación |
|---|---|---|---|---|---|---|
| Abdi et al.10 | Diabetes Research and Clinical Practice | 2020 | Estudios de observación | Inglés | 27 | No |
| Mantovani et al.11 | Nutrition, Metabolism & Cardiovascular Diseases | 2020 | Estudios de observación | Inglés | 83 | Sí |
| Palaiodimos et al.12 | Hormones | 2021 | Estudios de observación | Inglés | 14 | No |
| Miller et al.13 | Medicine | 2020 | Estudios de observación | Inglés | 16 | No |
| Shang et al.14 | Archives of Medical Research | 2020 | Estudios de observación | Inglés | 76 | Sí |
| Hussain et al.15 | Diabetes & Metabolic Syndrome | 2020 | Estudios de observación | Inglés | 43 | No |
| Wu et al.16 | Acta Diabetologica | 2021 | Estudios de observación | Inglés | 6 | No |
| Schlesinger et al.17 | Diabetologia | 2021 | Estudios de observación | Inglés | 22 | Sí |
| Saha et al.18 | Journal of Diabetes and Metabolic Disorders | 2021 | Estudios de observación | Inglés | 22 | No |
| Yang et al.19 | Diabetes Research and Clinical Practice | 2021 | Estudios de observación | Inglés | 17 | No |
| Kan et al.20 | Frontiers in Endocrinology | 2021 | Estudios de observación | Inglés | 18 | Sí |
| Kaminska et al.21 | Acta Diabetologica | 2021 | Estudios de observación | Inglés | 19 | No |
En cuanto a la evaluación de la calidad de los RS por AMSTAR 2, 3 RS fueron de calidad moderada11,12,18, 5 RS fueron clasificados como de baja calidad14,15,17,20,21 y 3 RS fueron evaluados como críticamente bajos10,13,19 según se presenta en la tabla 4.
Evaluación de estudios según el instrumento AMSTAR 2
| Código | Preguntas | Calidad de la evidencia | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | ||
| A110 | S | S | S | PS | S | S | PS | S | N | N | S | N | N | S | S | S | Críticamente baja |
| A211 | S | PS | N | S | S | N | PS | S | S | N | S | S | S | S | S | S | Moderada |
| A312 | S | PS | N | S | S | S | PS | S | S | N | S | S | S | S | S | S | Moderada |
| A413 | S | S | N | S | S | S | PS | S | N | N | S | N | N | S | S | S | Críticamente baja |
| A514 | N | N | N | PS | S | S | N | S | S | N | S | S | N | S | S | S | Baja calidad |
| A615 | N | N | N | N | S | S | N | PS | S | N | S | N | N | S | S | S | Baja calidad |
| A716 | S | N | N | PS | N | N | PS | S | S | N | S | S | S | S | S | S | Baja calidad |
| A817 | N | S | S | N | S | S | S | PS | S | N | S | S | S | S | S | S | Baja calidad |
| A918 | S | S | S | PS | S | N | S | PS | S | N | S | N | S | S | S | S | Moderada |
| A1019 | S | N | N | PS | N | S | N | PS | S | N | S | N | S | S | S | S | Críticamente baja |
| A1120 | S | S | S | PS | S | S | S | S | S | N | S | N | N | N | N | S | Baja calidad |
| A1221 | S | N | S | PS | N | S | N | PS | S | N | S | S | N | N | N | S | Baja calidad |
N: no; PS: sí parcial; S: sí.
Incluye solo NRSI; Incluye solo ECA; Sin metaanálisis; No se realizó metaanálisis.
De acuerdo con la evaluación del instrumento, 910–13,16,18–21 estudios utilizaron los componentes PICO para la elaboración de las preguntas de investigación (pregunta 1), 510,12,17,18,20 estudios informaron el registro del protocolo (pregunta 2) y 510,17,18,20,21 RS justificaron la selección de los diseños incluidos (pregunta 3). En cuanto a la búsqueda bibliográfica exhaustiva (pregunta 4), solo 215,17 estudios no correspondían a los aspectos evaluados. Tres16,19,21 revisiones no informaron el papel de al menos 2 revisores para la selección de estudios (pregunta 5), y para la extracción de información, 311,16,18 estudios no informaron la extracción de forma independiente (pregunta 6). Cinco10–13,16 manuscritos proporcionaron la lista de artículos excluidos, pero sin justificar la exclusión de cada estudio potencial (pregunta 7); sin embargo, en cuanto a los estudios incluidos, la mayoría10,16,20 de las RS describieron los estudios como satisfactorios (pregunta 8).
En cuanto a la evaluación del riesgo de sesgo de los estudios incluidos (pregunta 9), solo 2 estudios10,13 no realizaron esta evaluación. En cuanto a la fuente de financiación de los estudios incluidos en las revisiones (pregunta 10), ninguno de los artículos10–21 reportó esta información. Las 1210–21 RS utilizaron métodos estadísticos satisfactorios para analizar los resultados (pregunta 11). Seis estudios11,12,14,16,17,21 evaluaron el impacto potencial del riesgo de sesgo en los resultados de los estudios de metaanálisis (pregunta 12) y 6 estudios 11,12,16–19 discutieron el impacto probable de este riesgo en sus resultados (pregunta 13). Dos20,21 manuscritos no proporcionaron una explicación satisfactoria de la heterogeneidad observada en los estudios (pregunta 14), así como una investigación adecuada del sesgo de publicación (pregunta 15). Finalmente, todos los estudios10–21 reportaron conflictos de interés (pregunta 16).
DiscusiónLa RS es un tipo de investigación que sigue unos protocolos específicos y que busca comprender y dar sentido a un «corpus» documental, especialmente analizando qué funciona y qué no funciona en un contexto determinado. Así, la RS tiene un alto nivel de evidencia, siendo catalogada como el estándar de oro para analizar la evidencia de intervenciones en salud, siendo indispensable para la toma de decisiones profesionales y para orientar guías clínicas y políticas de salud22,23.
Actualmente, ante la pandemia provocada por el virus SARS-CoV-2 que causa la COVID-19, se publicó rápidamente una notoria RS cuantitativa con o sin metaanálisis, con el fin de evidenciar la respuesta acelerada de investigadores y científicos a un pandemia de enfermedad emergente5. Sin embargo, las RS completas requieren mucho tiempo, a menudo duran hasta 3 años y, como cualquier diseño de estudio, son vulnerables a ciertos sesgos que los investigadores deben planificar y/o tomar en cuenta con precisión24.
En esta coyuntura, la calidad metodológica de las RS puede presentar insuficiencias debido a fallas en el diseño, los informes y los métodos utilizados. La RS mal coordinada puede conducir a datos inexactos sobre la eficiencia de una intervención, conclusiones e información poco realistas sobre enfoques clínicos, lo que resulta en recursos desperdiciados y aplicabilidad limitada6,25.
En este estudio, luego de la aplicación del instrumento AMSTAR 2 y la evaluación detallada de las revisiones publicadas, se observó que la calidad de los informes de RS se consideró de moderada a críticamente baja. De manera similar, un estudio realizado con el objetivo de brindar recomendaciones sobre los aspectos de calidad metodológica de la RS durante la pandemia COVID-19 identificó que el nivel de confianza fue insatisfactorio, y la mayoría de los estudios presentaron la calidad de la evidencia como críticamente baja5.
En cuanto al desarrollo y registro de protocolos, solo 3 RS17,18,20 proporcionaron el protocolo o la información registrada. Asimismo, en Overviews of Cochrane Systematic Reviews26 no se encontraron los protocolos de 2 Overviews en The Cochrane Library ni en Archie, que es uno de los factores limitantes para una mejor puntuación de los estudios analizados.
La inclusión de un protocolo antes del inicio de la RS puede ayudar a optimizar el uso de recursos finitos, lo que evita duplicaciones indebidas, además de permitir consideraciones sobre la calidad metodológica, permitiendo equidad en la realización del estudio, con el fin de reducir la aparición de sesgo de publicación o informe selectivo de los resultados. Por ello, se recomienda que este protocolo se registre en una base de datos que esté a disposición de otros investigadores y gestores de salud, lo que demuestra la transparencia en el proceso de ejecución de la RS27,28.
En cuanto a la explicación para la selección de diseños de estudio incluidos en la revisión, 510,17,18,20,21 RS justificaron la selección de diseños. De acuerdo con este estudio, la evaluación metodológica realizada con 1027 RS identificó que solo una pequeña proporción (20%) de ellas explicó la inclusión de la selección de diseños de estudio en la revisión, por lo tanto, es un ítem que merece una atención adecuada por parte de los autores.
En relación con la lista de estudios excluidos, así como la justificación de sus exclusiones, los 510–13,16 manuscritos proporcionaron una lista de artículos excluidos, pero sin justificar la exclusión de cada estudio potencial. En consecuencia, una revisión general sobre el potencial de la dislipidemia en la gravedad de COVID-19 mostró fallas críticas, entre ellas la de no proporcionar una lista de estudios excluidos y justificar las exclusiones29. Para Luo et al.27 la exclusión injustificada puede sesgar los hallazgos de la revisión, por lo que se recomienda que los autores presenten la lista.
Con respecto a la inclusión del análisis de riesgo de sesgo de los estudios primarios incluidos, 611,12,16–19 de las revisiones estudiadas expusieron datos relevantes y discutieron su probable impacto, además de describir el uso de pruebas estadísticas para evaluar el sesgo, a saber: funnel graph y la prueba formal de Egger.
El sesgo se define como cualquier distorsión durante el proceso de investigación que puede ocurrir en cualquier tipo de diseño. Al considerar el análisis de riesgo de sesgo de los estudios incluidos, la confiabilidad de los resultados de una RS aumenta24,28. Por lo tanto, el impacto del potencial de sesgo debe ser considerado durante la elaboración de los resultados y conclusiones de la RS, y debe estar claramente informado, ya que las RS asociadas a sesgo pueden interpretarse como mal realizadas, lo que limita su utilidad y aplicación en la práctica clínica22.
En cuanto a la fuente de financiación, ninguno de los artículos10–21 reportó esta información. Proporcionalmente, otras 2 RS27,30 con temas diferentes a este tampoco informaron las fuentes de financiación de los estudios incluidos en la investigación. Para garantizar la transparencia y la calidad de la información recopilada, los autores deben informar las fuentes de financiación de los estudios primarios incluidos, con el fin de reducir el sesgo y garantizar que los lectores puedan evaluar la existencia de un sesgo de evaluación, según las fuentes de financiación informadas en cada estudio en la revisión.
A la vista del análisis de las RS presentadas, se observó que la calidad y el reporte de las revisiones publicadas alrededor del mundo son altamente variables, lo que puede generar confusión para académicos e investigadores que se inician en el campo científico. Desde esta perspectiva, se han desarrollado herramientas para ayudar a verificar los criterios mínimos de calidad para las revisiones, y es necesario incentivar el uso de estas herramientas durante la planificación, la ejecución y la publicación de la investigación30.
Como limitaciones de este estudio, se destaca la ausencia de un instrumento específico para evaluar críticamente la RS de estudios no experimentales, lo que hizo necesarias adaptaciones al instrumento AMSTAR 2 para permitir el análisis de RS que no incluyen estudios con intervención.
Como consecuencia de esta investigación, es recomendable para futuras revisiones seguir sin restricciones las pautas disponibles en la herramienta de evaluación de calidad AMSTAR 2, en conjunto con el protocolo PRISMA, con el fin de asegurar una mejor calidad de la evidencia científica. También, realizar una investigación orientada a la construcción de un instrumento específico para la evaluación crítica de la RS de estudios sin intervenciones.
Como consideraciones finales, este estudio tuvo como objetivo realizar un análisis de la calidad metodológica de las RS publicadas sobre factores asociados a COVID-19 en personas con DM, donde se observó que los estudios analizados tuvieron una calidad moderada y críticamente baja, evidenciando la necesidad de utilizar mecanismos para mejorar la adherencia a las pautas establecidas para la presentación de informes y las herramientas de evaluación metodológica.
Cabe destacar la importancia de producir y publicar nuevos estudios dirigidos a esta temática. Sin embargo, es importante asegurar que las investigaciones futuras estén bien planificadas y realizadas, dada la relevancia de la producción de conocimiento científico y la necesidad de obtener resultados confiables que orienten prácticas clínicas y/o políticas de salud sensibles a las necesidades de los grupos vulnerables a eventos graves relacionados con el COVID-19.
FinanciaciónEl presente trabajo fue realizado con el apoyo de la Coordinación de Perfeccionamiento de Personal de Nivel Superior (CAPES), Brasil, Código de Financiamiento 001.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
