Introducción
Los análisis bibliométricos de las publicaciones son un instrumento de investigación independiente que puede llegar a constituir un elemento de evaluación del nivel científico de un grupo de trabajo, una institución o una revista. No obstante, es un campo controvertido y problemático, cuyos métodos y técnicas son motivo de discusión continua, tanto por parte de la comunidad científica como de los editores1.
¿Se puede evaluar la calidad metodológica de un estudio? Desde 1970 se han utilizado varios sistemas para calificar la calidad de las publicaciones científicas. Una de las primeras fue la propuesta de Sackett, cuyo resultado fueron los conocidos "niveles de evidencia". Ésta, como toda escala, está constituida por "valores" numéricos o alfanuméricos, cuya traducción semántica puede reducirse a "buena", "regular", "mala", "muy mala"; y, hasta el día de hoy, es una herramienta útil para establecer la evidencia que apoya nuestra forma de actuar2,3. Sin embargo, el concepto "calidad metodológica" se ha de entender como un concepto multidimensional, en el que es posible evaluar múltiples facetas, de las que por el momento no existe un consenso. Bien es verdad que existen algunas recomendaciones para la publicación de resultados, como la iniciativa CONSORT (Consolidated Standards of Reporting Trials) para ensayos clínicos4 o la STARD (Standards for Reporting of Diagnostic Accuracy) para estudios de diagnóstico5, pero ninguna de ellas se diseñó para la evaluación de calidad metodológica y no se han validado para tal fin.
Una aproximación al tema ha sido motivo de nuestro grupo de trabajo, que ha generado una escala de calidad metodológica que ha permitido realizar estudios bibliométricos y ponderar la evidencia publicada en el ámbito de la terapéutica quirúrgica, a través de la ejecución de revisiones sistemáticas de la bibliografía con distinto tipo de diseños6-10.
El objetivo de este estudio es determinar la calidad metodológica de los artículos publicados sobre procedimientos terapéuticos en la revista Cirugía Española y su asociación con el año de publicación, su procedencia y la temática estudiada.
Material y método
Se trata de un estudio bibliométrico para el que se han utilizado todos los artículos relacionados con procedimientos terapéuticos, en los que su población analizada fueran pacientes mayores de 19 años, publicados en la revista Cirugía Española entre enero de 2001 y diciembre de 2004. Se consideraron todos los tipos de diseño de investigación: serie de casos, estudios de corte transversal, cohortes históricas y concurrentes, ensayos clínicos aleatorios (ECA) y no aleatorios, con o sin ciego, y ECA multicéntricos. Se excluyeron del análisis los editoriales, los artículos de revisión, las revisiones de conjunto, las cartas al director, las guías clínicas, las revisiones sistemáticas de la bibliografía y los estudios experimentales.
Todos los estudios que cumplieron los criterios establecidos se sometieron a un análisis de calidad metodológica mediante un sistema de puntuación diseñado ad-hoc6 (tabla 1). Este sistema está compuesto por 3 apartados: el primero, relacionado con el tipo de diseño del estudio; el segundo, con el tamaño de la población estudiada ajustada según exista, o no, justificación del tamaño de la muestra, y el tercero, relacionado con la descripción de la metodología empleada en el estudio (mención de los objetivos, justificación del diseño, criterios de elegibilidad de la muestra y justificación de ésta). De esta forma, se generó una puntuación final que puede fluctuar entre 6 y 36 puntos, se asignó 6 puntos al estudio de menor calidad metodológica y 36 puntos al de mejor. Esta escala se ha validado (validez de fachada, contenido y constructo para grupos extremos6,7) y es confiable (confiabilidad interobservador)8. Se estableció como punto de corte para dicotomizar el concepto de buena o mala calidad los 18 puntos7,8. El análisis de calidad metodológica de cada artículo se desarrolló por 2 investigadores (C.M. y J.B.), y en los casos de desacuerdo la situación la resolvió un tercer investigador (L.G.). Además de la calidad metodológica, se consideraron otras variables como el año de la publicación, el lugar de procedencia de los artículos, la naturalaza universitaria o no del centro generador, el área temática y el tipo de diseño utilizado.
Todas las variables, con excepción de la variable "calidad metodológica", eran nominales y, por tanto, se agruparon en categorías: a) año de la publicación (2001, 2002, 2003 y 2004); b) el lugar de procedencia por comunidades autónomas; c) el origen universitario del centro generador (sí/no); d) el área temática, en 7 subgrupos (cirugía endocrina, y de cabeza y cuello; cirugía torácica y cardiovascular; cirugía de la pared abdominal, mama y partes blandas; cirugía del hígado, vías biliares y páncreas; cirugía colorrectal y proctológica; misceláneas), y e) el diseño del estudio según los criterio de niveles de evidencia2,3.
Los datos obtenidos se codificaron para asegurar la confidencialidad de los centros que generaron los artículos analizados.
Después del análisis exploratorio de los datos, se realizó una estadística descriptiva con cálculo de promedios, desviación estándar y medianas, y luego una analítica para establecer las posibles asociaciones entre la calidad metodológica y las otras variables (χ2 de Pearson, no paramétricos, ANOVA y Bonferroni).
Resultados
De un total de 739 artículos publicados, 355 estaban dedicados a procedimientos terapéuticos. De ellos se excluyeron 111 debido a que no cumplían con los criterios de elegibilidad: 18 editoriales, 61 artículos de revisión, 27 cartas al editor y 5 estudios experimentales. El conjunto finalmente estudiado fue, por tanto, de 244 artículos, que se distribuyeron en forma relativamente homogénea en el período evaluado (tabla 2). Se constató que el 12% de los estudios eran de nivel de evidencia 1 o 2, y el 88% restante de nivel 4. Una relación pormenorizada del diseño de los estudios se muestra en la tabla 3.
Los estudios provenían preferentemente de las comunidades de Cataluña, Murcia, Madrid y Valencia, con un 22, un 16, un 15 y un 12%, respectivamente (tabla 4); y la temática más frecuente fue la pared abdominal, las partes blandas y mama, la cirugía hepatobiliopancreática, la cirugía esofagogástrica y la cirugía colorrectal, con un 23, un 19, un 16 y un 16%, respectivamente (tabla 5).
Se observó una mayor proporción de estudios provenientes de centros universitarios (185 [76%] artículos) que de centros sanitarios no universitarios (59 [24%] artículos), y no se apreciaron diferencias al comparar esta proporción por año de publicación de los estudios (p = 0,670).
El promedio y la mediana de la puntuación de la calidad metodológica de todos los artículos fue de 10,2 ± 3,9 puntos y 9,5 puntos, respectivamente, con un intervalo de confianza (IC) del 95% de 9,7-10,7. Se constató que el 95% de los artículos publicados tenían una puntuación inferior a los 18 puntos, aunque esta puntuación se superó en 3 estudios del año 2002, en 3 de 2003 y en 7 de 2004. Al comparar la puntuación de la calidad metodológica por año de publicación de los artículos, se verificó un incremento de éste en los 2 últimos años, con un valor de p estadísticamente significativo (fig. 1).
Fig. 1. Comparación de la mediana e intervalos de confianza del 25 y del 75% de la calidad metodológica de los artículos estudiados según año de publicación (76 artículos en 2001, 60 en 2002, 49 en 2003 y 59 en 2004). p < 0,001.
No se verificó asociación alguna entre la procedencia y la calidad metodológica. A pesar de ello, se observó una tendencia a la mayor calidad de los estudios procedentes del extranjero, Cataluña, Castilla-León, Aragón, Valencia y Murcia respecto de los provenientes de Canarias, Asturias y Cantabria (fig. 2).
Fig. 2. Comparación de la mediana e intervalos de confianza del 25 y del 75% de la calidad metodológica de los artículos estudiados según la comunidad autónoma de procedencia (1: Cataluña; 2: Murcia; 3: Madrid; 4: Valencia; 5: Andalucía; 6: Aragón; 7: Galicia; 8: Navarra; 9: País Vasco; 10: Cantabria; 11: Castilla y León; 12: Extremadura; 13: Asturias; 14: Canarias; 15: Baleares; 16: Castilla-La Mancha; 17: extranjero).
Se constató una asociación entre la calidad metodológica de los estudios y el área temática de éstos, y destacó una puntuación significativamente mayor en los artículos del ámbito de la cirugía endocrina, y de cabeza y cuello (fig. 3).
Fig. 3. Comparación de la mediana e intervalos de confianza del 25 y del 75% de la calidad metodológica de los artículos estudiados según área temática (1: cirugía de la pared abdominal, mama y partes blandas; 2: cirugía hepatobiliopancreática; 3: cirugía esofagogastroduodenal e intestino delgado; 4: cirugía colorrectal y proctológica; 5: cirugía endocrina, y de cabeza y cuello; 6: cirugía torácica y cardiovascular, y 7: miscelánea).
Por último, no se verificó asociación alguna entre la calidad metodológica y el origen universitario o no del centro generador de los artículos (fig. 4).
Fig. 4. Comparación de la mediana e intervalos de confianza del 25 y del 75% de la calidad metodológica de los artículos estudiados según el ámbito del centro que generó la publicación.
Discusión
¿Por qué realizar un estudio bibliométrico? Este estudio ha pretendido evaluar de una forma objetiva la calidad metodológica de los artículos publicados en Cirugía Española que hacen referencia a los procedimientos terapéuticos, una de las áreas (junto a las de diagnóstico y pronóstico) de mayor interés en la especialidad como una forma de conocer la realidad de la revista. De los resultados, destaca el hecho de que la calidad metodológica haya mejorado de forma significativa en los últimos años pese a que el nivel medio se mantiene por debajo de los niveles deseables. De igual forma, ha permitido conocer cuáles son los defectos principales de los trabajos analizados, hecho que permitiría acciones educativas (a los autores y a los revisores) que redundarían, por una parte, en un incremento de la calidad de los manuscritos y, por otra, de la capacidad de revisar, y de esta forma mejorar el producto final.
Tal como se ha planteado en la "introducción", evaluar la calidad metodológica de un estudio no es tarea fácil. La calidad metodológica se ha de entender como un concepto multidimensional, en el que es posible evaluar múltiples facetas, que pueden representarse como un polígono de tantas puntas como ítems uno pueda o quiera evaluar en un artículo (fig. 5). Hasta hoy no existe un estándar de referencia y, en ese contexto, en el Departamento de Cirugía de la Universidad de la Frontera (Temuco, Chile) se ha desarrollado un instrumento cuya validez y utilidad ya se ha contrastado en otros estudios6-10.
Fig. 5. Concepto de multidimensionalidad de la calidad metodológica de un artículo en el que se esquematizan 3 posibles formas de presentación de una publicación. Con el número 1 se representa un artículo que cumple casi en un 100% con los 5 ítems evaluados. Con los números 2 y 3 se representan 2 tipos de artículos en los que prevalecen unos ítems sobre otros.
De un total de 739 artículos que fueron publicados en el período analizado en Cirugía Española, sólo 355 correspondieron a procedimientos terapéuticos, es decir, un 48%. Este porcentaje podría considerarse adecuado si no fuera por una serie de hechos. El primero es que sólo dos tercios de los artículos correspondían a artículos originales. El segundo es que una elevada proporción de los artículos corresponden a series de casos (81%), de las cuales la gran mayoría correspondía a series con menos de 10 pacientes y a series de carácter retrospectivo; los estudios con elevados niveles de evidencia (1 o 2) estaban relegados a un porcentaje exiguo (ECA de doble ciego [3%] y estudios de cohortes concurrentes [5%]). Pese a ello, en otras revistas catalogadas por el Information Science Institute (ISI) Eur J Surg, Am Surg, World J Surg, J Am Coll Surg, Surgery, Arch Surg, Brit J Surg y Ann Surg, se observó un fenómeno similar, mucho más evidente en las de menor factor de impacto9.
El promedio y la mediana de la puntuación de calidad metodológica de los artículos publicados en Cirugía Española, tanto de forma global como por año de publicación, son bajos. Pese al evidente aumento de la calidad de los trabajos año tras año, sólo un 5% de los artículos analizados están por encima del límite de corte establecido como buena calidad metodológica (18 puntos). De nuevo este hecho, que pudiera parecer muy negativo, también es bien patente en otras revistas quirúrgicas catalogadas por el ISI. En el año 2002, ninguna de las revistas antes mencionadas superó en promedio la puntuación de 18 en un análisis de la globalidad de los trabajos publicados que trataban de procedimientos terapéuticos. Las 2 mejores puntuaciones las lograron Ann Surg (14,6 ± 6,5) y Brit J Surg (13,9 ± 5,6), mientras que las peores de las analizadas fueron J Am Coll Surg (9,3 ± 3,4) y Am Surg (9,2 ± 3,0)10.
Otro hecho destacable de este análisis es que los dos tercios de los estudios provenían de 4 comunidades autónomas, situación que suscita algunos comentarios. El primero tiene que ver con el alto volumen de artículos que en estas comunidades se genera, y el segundo es que este elevado número de publicaciones desempeña un doble papel: por una parte incrementa la producción, pero por la otra afecta tanto al promedio como a la mediana de la calidad metodológica de lo que se publica. Aunque estas mismas comunidades son las que publican un mayor número de estudios de elevada calidad, son también las que publican la mayor proporción de reporte de casos y series de casos retrospectivas, que muchas veces se quedan entre los 6 y los 8 puntos de la escala propuesta. De esta situación, cabe preguntarse entre otras cosas ¿cuánto de lo que publicamos puede considerarse útil y relevante al conocimiento médico? Una rápida consulta a los 2 índices bibliográficos médicos más utilizados, como la de la National Library of Medicine en Bethesda y la Excerpta Medica Foundation, con sede en Amsterdam, arrojan la escalofriante cifra de 250.000 y 235.000 nuevos artículos anuales, respectivamente. Si se tiene en cuenta que sólo un 40% de las citas coinciden en ambos índices, resulta la friolera de 385.000 artículos sobre temas de medicina cada año. Si nos ceñimos de forma exclusiva a las revistas de ámbito quirúrgico (unas 150) y se contabilizan unos 15 artículos de media para cada edición periódica, se llegará a la conclusión que la cifra sigue siendo inabordable11. En 1963, Solla-Price12 emitió su famosa teoría de que la producción científica en cada campo del conocimiento crece de forma exponencial, y se duplica aproximadamente cada 15 años. En este contexto, cabría preguntarse si no sería más conveniente publicar menos y con mayor calidad. Un ejemplo a seguir, probablemente es el de la comunidad de Navarra, que genera un menor número de artículos pero más parejos (5 series de casos, 3 cohortes y 3 ECA), con lo cual obtiene un promedio mayor (12,60 ± 5,72), con una mediana muy similar a ésta.
Otro hecho, hasta cierto punto inesperado, ha sido la ausencia de diferencias significativas en la calidad de los trabajos procedentes del ámbito universitario. Aquí de nuevo el factor volumen incide de forma negativa. Tres cuartas partes de los trabajos proceden de este ámbito, y aunque la gran mayoría de los mejor puntuados están en este grupo, también proceden de este ámbito gran cantidad de artículos de bajo nivel de evidencia. Esta situación penaliza de forma notable la puntuación final.
Un aspecto que pareció de interés, fue buscar una asociación entre calidad metodológica y área temática, pues se podría pensar a priori que algunas disciplinas dentro de nuestra especialidad podrían haber desarrollado unas habilidades determinadas. Y este hecho parece tener consistencia. Los trabajos del ámbito de la cirugía endocrina y de cabeza y cuello superan a los de las demás áreas.
Los defectos metodológicos más frecuentes en los trabajos analizados fueron: el planteamiento de unos objetivos vagos; la utilización de diseños de bajo nivel de evidencia, que en la mayor parte de las veces ni siquiera se menciona; la carencia de criterios de selección (en más de la mitad de los artículos ha de ser el lector el que identifique los criterios de inclusión y rara vez se hace mención a los criterios de exclusión), y la ausencia de justificación del tamaño de la muestra utilizada, hecho que se hace todavía más patente en los ECA. Estos datos sugieren la necesidad de implementar una guía a los autores y especialmente a los revisores basada en una serie de puntos estándar para los manuscritos, con la idea de mejorar los aspectos carenciales13,14.
En resumen, en este estudio se demuestra que la calidad metodológica de los estudios relacionados con los procedimientos terapéuticos publicados en Cirugía Española ha mejorado significativamente durante el período 2001-2004. Sin embargo, el nivel medio es bajo, por el gran volumen de estudios de bajo nivel de evidencia incluidos. Otros aspectos destacables son la ausencia de asociación con el carácter de universitario del centro que genera los artículos, pero sí con el área temática de ellos.
Este estudio ha sido financiado parcialmente por los proyectos DID-UFRO EP2102 y Red de Centros 02/03, Instituto de Salud Carlos III.
Correspondencia: Dr. L. Grande.
Servicio de Cirugía. Hospital Universitario del Mar.
Passeig Marítim, 25-29. 08003 Barcelona. España.
Correo electrónico: lgrande@imas.imim.es
Manuscrito recibido el 7-3-2005 y aceptado el 28-7-2005.
