Reglas y consejos para ser un buen revisor por pares de manuscritos científicos

Resumen

La publicación es el medio clave por el cual la ciencia se difunde. El propósito de las revistas científicas es publicar artículos novedosos y de calidad. Los editores de las revistas evalúan el contenido de los manuscritos sometiéndolos a un proceso denominado «revisión por pares» (peer review), considerado hoy en día el estándar de oro para garantizar la adecuada publicación de los artículos científicos. Un informe de revisión por pares crítico y bien elaborado es un tesoro, tanto para el autor como para el editor. En el presente manuscrito examinaremos los aspectos clave de la revisión por pares. Comenzaremos explicando en qué consiste exactamente este proceso y desde cuándo existe, para después aclarar por qué es tan importante. Luego argumentaremos por qué deberíamos querer ser evaluadores de artículos científicos. Repasaremos cuáles son las reglas fundamentales para llevar a cabo una buena revisión de un manuscrito y en qué aspectos de este nos deberíamos centrar. Posteriormente veremos qué formato debe tener un informe de revisión por pares y cómo redactar sus distintos apartados, así como las opciones de su dictamen final. Dedicaremos especial atención a comentar los aspectos éticos y los errores más frecuentes que se comenten en la evaluación de manuscritos. Finalmente, reconoceremos cuáles son las limitaciones fundamentales de la revisión por pares y terminaremos proponiendo algunas sugerencias para su mejora. Nuestro objetivo final no es otro que estimular a los investigadores –y autores– a dar un paso más y acometer el reto de ser revisores de manuscritos científicos.

Abstract

Publication is the key means by which science spreads. The purpose of scientific journals is to publish novel and quality articles. The editors of the journals evaluate the content of the manuscripts by submitting them to a process called «peer review», considered today the gold standard to guarantee the adequate publication of scientific articles. A well-crafted and critical peer-review report is a treasure for both authors and editors. In the present manuscript we will examine the key aspects of the peer review process. We will begin by explaining what exactly this process consists of and since when it has existed, and then clarifying why it is so important. Then we will argue why we should want to be reviewers of scientific papers. We will then review what are the fundamental rules to carry out a good review of a manuscript and what aspects of it we should focus on. Later we will see what format a peer review report should have and how to write its different sections, as well as the options for its final resolution. We will pay special attention to commenting on the ethical aspects and the most frequent errors that are made in the evaluation of manuscripts. Finally, we will recognize what the fundamental limitations of peer review are, and we will end by proposing some suggestions for their improvement. Our ultimate goal is to stimulate researchers –and authors– to go one step further and undertake the challenge of being peer reviewers of scientific manuscripts.

Introducción

La investigación es una actividad orientada a la obtención de nuevos conocimientos y su aplicación para la solución de problemas. La investigación científica, en particular, emplea los pasos del método científico para estudiar un aspecto determinado de la realidad, ya sea de manera teórica o experimental^1,2. La publicación es el medio clave por el cual la ciencia se difunde. El propósito de las revistas científicas es publicar artículos de la mejor calidad y difundir información novedosa entre sus lectores. Los editores de las revistas evalúan el contenido científico de los manuscritos sometiéndolos a un proceso denominado «revisión por pares» (peer review). La revisión por pares implica la participación no solo del consejo editorial de la revista en cuestión, sino lo que es más importante, de los revisores que se consideran expertos en la materia en ese campo de la ciencia en particular. Así, los revisores evalúan las fortalezas y debilidades del estudio a la luz de la literatura existente y envían sus valiosos comentarios –y críticas– a los editores. La integración de los comentarios remitidos por varios revisores ayuda a los editores a tomar una decisión final sobre la idoneidad del manuscrito para su publicación en la revista en cuestión³. Por lo tanto, es evidente que el papel de los revisores es fundamental para garantizar la calidad y novedad de los manuscritos que se publican en las revistas científicas.

Los investigadores suelen estar entrenados en la lectura crítica de la literatura, e incluso en la redacción de manuscritos científicos, pero no suelen recibir formación específica sobre cómo realizar correctamente una revisión de un artículo científico. Sin embargo, por poco que su carrera académica/científica empiece a tener éxito, llegará un momento, más pronto que tarde, en que recibirá la invitación para actuar como evaluador de los trabajos de sus colegas. Así, a pesar de que la revisión por pares es un aspecto muy importante del proceso científico, rara vez se enseña en las universidades (ni en el posgrado, ni en el posdoctorado) y puede resultar una tarea intimidatoria o desalentadora para los que se inician en ella⁴. En comparación con la preparación de un proyecto de investigación² o la escritura de un manuscrito científico⁵, la revisión del trabajo de otra persona puede parecer relativamente fácil; sin embargo, revisar adecuadamente un artículo científico requiere entrenamiento, esfuerzo y tiempo.

En el presente manuscrito examinaremos los aspectos clave de la revisión por pares de un artículo científico, con una perspectiva personal basada en la experiencia de los autores. Comenzaremos explicando en qué consiste exactamente este proceso y desde cuándo existe, para después aclarar por qué es tan importante. Luego nos preguntaremos (y nos responderemos) por qué deberíamos querer ser evaluadores de artículos científicos. Inmediatamente después repasaremos cuáles son las reglas fundamentales para llevar a cabo una buena revisión de un manuscrito y en qué aspectos de este nos deberíamos centrar. Posteriormente veremos qué formato debe tener un informe de revisión por pares y cómo redactar sus distintos apartados, así como las opciones del dictamen final de dicha revisión. Dedicaremos especial atención a comentar los aspectos éticos y los errores más frecuentes que se comenten en la evaluación de manuscritos científicos. Finalmente, reconoceremos cuáles son las limitaciones fundamentales de la revisión por pares y terminaremos proponiendo algunas sugerencias para su mejora. Nuestro objetivo final con el presente manuscrito no es otro que estimular a los investigadores –y autores– a dar un paso más y acometer el reto de ser revisores de manuscritos científicos.

¿En qué consiste exactamente el proceso de revisión por pares?

La mayoría de las revistas en el campo biomédico implementan un proceso de prepublicación que involucra principalmente la interacción de tres elementos en torno a un artículo de investigación: el editor, el revisor y el autor. Así, hay tres roles clave en el proceso de revisión de una revista: los autores que redactan el artículo, los revisores que brindan opiniones de expertos y consejos, y los editores que toman las decisiones finales sobre la aceptación o rechazo del manuscrito. Los tres integrantes comparten el mismo objetivo: publicar resultados de investigación de alta calidad en un artículo de alta calidad en una revista de alta calidad⁶.

Cuando un editor recibe un manuscrito, su primer paso es comprobar que este cumple con las reglas de la revista sobre contenido y formato. Si lo hace, y el editor considera que el artículo puede ser de interés para la revista, entonces pasa al siguiente paso, que es precisamente la revisión por pares. Para ello, los editores seleccionan y proponen la evaluación del artículo al menos a dos expertos en el tema (de aquí proviene el nombre de este sistema de evaluación, ya que se supone que el manuscrito se envía a investigadores con competencias similares a los autores). En realidad, cada revista tiene su propia política sobre el número habitual de revisores por manuscrito; la mayoría elige dos o tres, pero se desconoce cuánta información adicional y realmente útil se obtiene al elegir revisores adicionales^7–10.

La revisión por pares se puede aplicar a la evaluación de carreras académicas, de proyectos de investigación o de artículos científicos¹¹ en un contexto general de lo que se denomina ciencia evaluada¹². En el ámbito concreto de la comunicación académica, es el proceso mediante el cual se evalúan y se aprueban, o en su caso, se rechazan, los manuscritos que se envían a las revistas científicas¹².

Los revisores prepararán un informe evaluando el manuscrito y lo enviarán al editor. El tiempo requerido para que un manuscrito complete el proceso de revisión por pares y reciba una decisión del editor varía, pero frecuentemente se sitúa en torno a las ocho semanas desde su envío inicial⁸. Después de leer el informe de los revisores, el editor decidirá hacer una de estas tres cosas: rechazar el artículo, aceptarlo sin más o pedir a los autores que revisen y vuelvan a enviar el manuscrito después de responder a los comentarios de los revisores. Si los autores vuelven a remitir el manuscrito, los editores podrán solicitar a los mismos revisores que evalúen el manuscrito nuevamente para confirmar si sus sugerencias han sido atendidas⁴.

En resumen, la revisión por pares es el sistema que se utiliza habitualmente para evaluar la calidad y novedad de la investigación científica antes de que esta sea publicada. El sistema de revisión por pares juzga la validez, relevancia y originalidad del estudio, en lugar de a quién lo ha llevado a cabo.

¿Desde cuándo existe la revisión por pares?

La revisión por pares ha sido un elemento esencial para evaluar la credibilidad académica durante siglos¹³. Existen registros de médicos en el mundo árabe que tratan de revisiones acerca de la eficacia de los tratamientos propuestos por sus colegas ya en el siglo IX⁴. Por otra parte, la revisión por pares como medio de evaluar la investigación científica antes de su publicación surgió en la Europa del siglo XVII. En esta primera etapa, la revisión por pares era excepcional e informal, y su propósito era seleccionar qué información era más digna de publicación¹⁴. Philosophical Transactions, la primera revista dedicada exclusivamente a la ciencia en el mundo, fue también la primera en poner en práctica de forma sistemática la revisión por pares de sus artículos, lo que ocurrió por primera vez en el año 1665¹⁵. Posteriormente, durante el siglo XVIII, la revisión por pares fue puesta en práctica por diversas revistas para ayudar a los editores en la selección de manuscritos para su publicación¹⁶. Durante el siglo XX (especialmente después de la Segunda Guerra Mundial), este proceso editorial se convirtió en lo que hoy reconocemos como revisión por pares convencional¹⁴. El primer congreso dedicado específicamente al tema de la revisión por pares se llevó a cabo en Chicago en 1989, y desde entonces estos congresos se organizan con regularidad cada pocos años en diferentes países¹⁶.

¿Por qué es tan importante la revisión por pares?

La revisión por pares está ampliamente aceptada como criterio estándar en medicina y otras disciplinas académicas para evaluar la validez, novedad e integridad de los artículos científicos presentados para su publicación y difusión a la comunidad en general¹⁷. Se considera que este proceso es crucial para mantener la calidad y confianza de la comunicación científica y, por tanto, de la propia ciencia^4,12,18. De este modo, la revisión por pares está ciertamente en el corazón de los procesos, no solo de las revistas médicas en particular, sino de toda la ciencia en general: es el método por el cual se asignan las subvenciones, se publican los artículos, se promueve a los académicos e, incluso, se seleccionan los premios Nobel¹⁹.

La revisión por pares constituye una parte esencial del proceso científico moderno; es la expresión formal del principio de que la ciencia funciona mejor en un entorno de crítica sin restricciones²⁰. Para que la ciencia progrese, los métodos de investigación y los hallazgos deben ser examinados y verificados en profundidad. Así, los revisores se deberán plantear las siguientes tres preguntas: a) ¿el manuscrito trata un problema científico importante y ofrece resultados novedosos?; b) ¿son válidos los métodos empleados para responder a la pregunta de investigación?; y c) ¿contribuyen los resultados y la interpretación de estos a la investigación o a la práctica clínica futura?

Después de que un artículo haya sido revisado por pares y aceptado para su publicación, los científicos y el público en general pueden estar (más) seguros de que el estudio ha cumplido ciertas normas y que sus resultados son fiables. Esta actividad de escrutinio es especialmente vital para las ciencias biomédicas, ya que la publicación de información sesgada o incorrecta puede comprometer gravemente la seguridad del paciente, orientando así la toma de decisiones clínicas hacia acciones diagnósticas o terapéuticas inadecuadas²¹.

En resumen, la revisión por pares es un sello distintivo de la gran mayoría de las revistas científicas y representa la piedra angular para evaluar la calidad de sus publicaciones. Sin estas revisiones, el sistema de publicación, tal y como lo conocemos actualmente, no podría existir^22,23. Así, únicamente se consideran científicas, en sentido estricto, aquellas revistas que utilizan un sistema de revisión por pares.

Cuando se realiza correctamente, la revisión por pares ayuda a mejorar la claridad, solidez y reproducibilidad de la investigación^24,25. Algunos autores han descrito el proceso de «transformación» de los manuscritos desde su presentación inicial a la revista hasta su publicación final en la conocida revista Annals of Internal Medicine²⁵. De los 34 ítems que reflejan la calidad del informe de la investigación, 33 mejoraron, con los mayores beneficios para los ítems considerados especialmente importantes para los editores, como son la discusión de las limitaciones del estudio o el tono de las conclusiones²⁵.

A la hora de preparar una revisión de un artículo, el revisor debe de tener en cuenta que esta tiene dos receptores: por un lado, los autores; y por otro, el editor de la revista. El revisor debe intentar satisfacer las necesidades de ambos. El editor de la revista necesita que el revisor le dé una idea clara y sin tapujos de la calidad del artículo, así como de su idoneidad para la publicación en la revista. Así mismo, es esencial que el revisor elucide cuáles son los aspectos del artículo que, según su buen criterio, deben modificarse para hacerlo mejor candidato para su publicación en la revista. Los autores de un manuscrito necesitan del revisor una crítica constructiva que les permita mejorarlo para que pueda ser publicado en la revista o, si esto no es posible, para orientarles respecto a las limitaciones que lo hacen no apto para su publicación. Por su parte, los editores utilizarán los comentarios de los revisores sobre la importancia y novedad de un manuscrito para evaluar si este tiene el nivel adecuado para ser publicado en su revista. En este sentido, los comentarios detallados del revisor son mucho más importantes que su simple recomendación: los editores necesitan saber por qué piensa el revisor que un artículo debe ser aceptado o rechazado^26,27.

Por último, desde la perspectiva de los lectores, el revisor deberá identificar las áreas que necesitan aclaración, para asegurarse de que estos puedan entender fácilmente el manuscrito. Como revisor, también se puede ayudar a evitar la pérdida de tiempo de los lectores y su frustración, contribuyendo a mantener la investigación irrelevante o errónea al margen de la literatura científica que se publica.

¿Por qué deberíamos querer ser evaluadores de artículos científicos?

A medida que un investigador avanza en su carrera, es probable que se le pida que intervenga en el proceso de revisión por pares. Cabría, por tanto, preguntarse por qué se supone que un investigador querría ser evaluador²⁸. Si nos lo planteamos de forma rápida –precipitada y superficial– parecería que solo hay aspectos negativos: es un trabajo arduo, no remunerado, que consume mucho tiempo y habitualmente anónimo¹². Sin embargo, tras una reflexión más detenida, podrían esgrimirse algunos motivos por los que, a nuestro entender, un investigador querría (o debería) ser evaluador:

• 1.

  En primer lugar, aunque puede que no sea el argumento más convincente para todos, deberíamos prestarnos a esta labor porque así lo requiere el bien del progreso científico¹². Además, si hemos publicado gracias a que ha habido colegas que han ejercido de evaluadores de nuestros artículos, lo menos que podemos hacer es devolver ese servicio a la comunidad académica aceptando ser también evaluadores^12,29. Sin la dedicación de un gran número de evaluadores voluntarios, el proceso de revisión por pares, que como se ha mencionado es el que garantiza la calidad de las publicaciones científicas, no sería posible³⁰.

• 2.

  Recibir una invitación para llevar a cabo una revisión por pares debería considerarse un honor, pues muestra que los editores nos consideran una autoridad en el campo.

• 3.

  Actuando de revisor se desarrollan las habilidades de pensamiento crítico, lo que nos ayudará en nuestra propia investigación. Como decía Eleanor Roosevelt, «aprende de los errores de los demás; no puedes vivir lo suficiente para cometerlos todos tú mismo».

• 4.

  Perfeccionar nuestras habilidades de revisor también nos ayudará a mejorar nuestros propios manuscritos^27,31,32.

• 5.

  Revisar (manuscritos o proyectos de investigación) es una habilidad que necesita ser perfeccionada con la práctica y la experiencia; ser un experto en un campo determinado de la ciencia no convierte al investigador automáticamente en un buen crítico³³. Por eso es importante que, ya desde el principio de su carrera profesional, el investigador dedique tiempo a practicar este arte.

• 6.

  Al actuar de revisor se obtiene información privilegiada al acceder a material científico que tardará meses (o años) en ser de conocimiento público. Obviamente, este beneficio redunda exclusivamente en nuestro crecimiento personal, pues una norma ética elemental, que revisaremos más adelante, prohíbe hacer un uso práctico/externo de la información que se revisa hasta que no se publique el artículo¹².

• 7.

  Desarrollar la actividad de revisión por pares ayuda a establecer relaciones con editores de revistas científicas. Evidentemente, esto no se traduce en que nuestros artículos vayan a tener más facilidades que otros para ser publicados, pero los editores son también colegas de profesión con los que en el futuro se podría llegar a trabajar. Por otra parte, posicionarse como un buen revisor es el primer paso hacia la eventual incorporación al consejo editorial de una revista.

• 8.

  Haber actuado de revisor forma parte del currículo de un investigador. Poder demostrar que hemos sido elegidos como evaluadores por determinadas revistas constituye un elemento adicional de acreditación de nuestra carrera académica. Por tanto, un trabajo que ciertamente es anónimo y no remunerado, en realidad tiene una cierta recompensa curricular. Las revistas proporcionan certificados que acreditan que hemos sido evaluadores y, como se revisa más adelante, iniciativas como Publons ofrecen a los revisores un registro verificado del trabajo que realizan³⁴.

• 9.

  La falta de tiempo suele ser el factor principal en la decisión de declinar una invitación a actuar de revisor. Así, en una encuesta realizada a revisores de cinco revistas biomédicas para determinar los motivos por los que aceptaban o denegaban la invitación a revisar diversos manuscritos, los factores considerados de mayor importancia para la decisión de aceptar fueron la contribución del artículo al área temática, la relevancia del tema para el propio trabajo y la oportunidad de aprender algo nuevo³⁵. Por su parte, el factor más importante en la decisión de rechazar la revisión de un artículo fue la carga de trabajo y la consiguiente falta de tiempo³⁵. La mayoría de los encuestados estuvo de acuerdo en que los incentivos económicos no serían efectivos cuando las limitaciones de tiempo son prohibitivas. Sin embargo, consideraron que los incentivos no económicos –el reconocimiento formal por las instituciones académicas– podrían alentar a los revisores a acometer la revisión de un artículo. En cualquier caso, completar la revisión de un manuscrito no lleva tanto tiempo. Con frecuencia se esgrime que no se dispone de tiempo para actuar de revisor; sin embargo, esta tarea no lleva tanto tiempo como a priori pensamos, por lo que no debería ser una excusa²². Cada artículo es diferente, así como también lo es la experiencia de cada revisor, por lo que no existe una cifra precisa para el tiempo de revisión requerido²⁷. Se ha descrito una amplia horquilla, entre 30 min y 16 h³⁶, pero las estimaciones suelen estar entre las 2 y las 3 h para un artículo estándar (sin especiales complicaciones de extensión ni de contenido)¹². Otros autores calculan promedios de tiempo más altos, de unas 5 h⁹ o incluso de 8 h³⁷. En resumen, evaluar un artículo es una cuestión de horas, no de días ni de semanas (pero tampoco de minutos). Por otra parte, la frecuencia promedio de revisión entre los evaluadores es de menos de una vez al mes⁹. Si lo vemos así, quizá seamos menos reacios a aceptar revisar artículos cuando nos inviten.

¿Conocen los evaluadores la identidad de los autores? ¿Y al contrario?

En función del tipo de ciego en el proceso de evaluación, existen tres tipos de revisión por pares:

• 1.

  Simple ciego. Los evaluadores conocen la identidad de los autores, pero estos desconocen quiénes son sus evaluadores. Esto permitiría, al menos en teoría, que los revisores manifiesten sus críticas sin temor a las «represalias» de los autores. Es la forma más habitual de ciego, al menos en las revistas científicas⁹.

• 2.

  Doble ciego. Se denomina así porque los autores desconocen la identidad de los evaluadores y, además, estos ignoran también la identidad de los autores³⁸. Reduce el posible sesgo (de los revisores) resultante de conocer quiénes son los autores o de dónde procede el trabajo evaluado y, de nuevo teóricamente, favorece la evaluación de los manuscritos basada en sus propios méritos³⁹. Recordemos que la misión del revisor es juzgar el trabajo, no al investigador que lo ha llevado a cabo. Los defensores de la revisión doble ciego consideran que este sistema disminuye el sesgo asociado con el prestigio institucional y garantiza evaluaciones más objetivas de la investigación de autores e instituciones menos conocidos^15,40,41, aunque algunos estudios no han encontrado diferencias entre el sistema simple y doble ciego^42–45. No obstante, el sistema doble ciego se asocia también con potenciales desventajas. Por ejemplo, es necesario anonimizar el manuscrito antes de enviarlo, para lo cual, la revista puede exigir eliminar alguna información del artículo; esto no siempre es sencillo, pues para lograr una completa anonimización sería necesario eliminar, por ejemplo, las referencias a la institución de los autores (en el apartado de métodos, cuando se haga mención a estudios previos), la información sobre las fuentes de financiación (en los agradecimientos), las autocitas (en la bibliografía) o cualquier mención al lugar de trabajo de los autores (por ejemplo en la discusión). En este sentido, diversos estudios han demostrado que los revisores cegados son capaces, no obstante, de identificar correctamente a los autores en más del 40% de las ocasiones^43,46,47.

• 3.

  Evaluación abierta. La identidad de autores y evaluadores es conocida por todos los participantes en el proceso⁴⁸. Las potenciales ventajas de este sistema son, quizá, una mayor responsabilidad y una menor probabilidad de cometer acciones inapropiadas, y el hecho de que los revisores puedan recibir crédito público por su trabajo. Como potenciales desventajas: es más probable que los revisores potenciales rechacen revisar los manuscritos y revelar la identidad del revisor puede provocar animosidad por parte de los autores o dañar una relación personal o profesional.

Finalmente, es preciso señalar que los estudios que comparan diferentes formas de revisión por pares (abierta, simple ciego o doble ciego) son muy limitados y la mayoría sufre relevantes limitaciones metodológicas. Un reciente metaanálisis de estudios aleatorizados que comparaban el impacto de diferentes intervenciones en el proceso de revisión por pares no logró demostrar una diferencia significativa entre las diversas alternativas, ni en términos de calidad de la revisión ni en la probabilidad de rechazo⁴⁹. En resumen, la mejor estrategia de evaluación continúa siendo debatida⁴⁹. Actualmente se considera que aquello que realmente define a una revista científica es el hecho de utilizar la revisión por pares, no el tipo concreto que adopta para tal evaluación. Como consecuencia, los editores de revistas pueden optar, discrecional y razonablemente, por cegar o no a los revisores.

¿Cuáles son las reglas fundamentales para llevar a cabo una buena revisión de un manuscrito?

La regla de oro de un buen revisor es la denominada regla de la reciprocidad: evalúa a los demás como te gustaría ser evaluado²². Esto implica ponerse en el lugar de los autores y considerar que estos han hecho todo lo posible para preparar un manuscrito excelente, pero, aun así, necesitan revisores externos objetivos que les ayuden a identificar los posibles problemas que el artículo pueda tener. Se ha sugerido que una forma eficaz de aplicar esta regla es preguntarnos, como revisor, si cambiaríamos algún aspecto del informe de evaluación si este se hiciera público junto con nuestro nombre^12,50. Esta reflexión tiene el efecto de obligarnos a ser más rigurosos y evitar afirmaciones gratuitas o poco fundadas¹².

Como revisores, debemos ser en todo momento amables, educados, respetuosos y profesionales. Están fuera de lugar los juicios de valor, las descalificaciones y, en general, un lenguaje rudo o desconsiderado con los autores. El tono debe ser razonablemente cortés, pero no falsamente suave¹². La revisión tiene que ser sincera, pero no descarnada; no es necesario ensañarse. El editor no debería tener que reescribir/editar en ningún caso los comentarios del revisor por ser excesivamente agresivos. Como algunos revisores señalan muy gráficamente, «las críticas emitidas deberían ir encaminadas a conseguir una progresiva reforma en lugar de una brusca demolición del artículo»¹³.

Es importante mantener el enfoque en la investigación, centrando los comentarios en el manuscrito, no en los autores personalmente. Para ello deberían utilizarse frases impersonales; es mejor afirmar que «la discusión de los autores sobre los hallazgos del estudio es insuficiente» en lugar de «su discusión sobre los hallazgos del estudio es insuficiente»⁵¹.

La revisión por pares debe ser un proceso positivo y las críticas constructivas^12,52,53. Cuando el revisor identifique problemas en un manuscrito debería hacerlo de manera que ayude a los autores a mejorarlo. En otras palabras, si se va a señalar un problema, debería proponerse una solución. Incluso si el revisor recomienda al editor que el manuscrito sea rechazado, las sugerencias de modificaciones podrían ayudar a los autores a preparar el manuscrito para su presentación a una revista diferente. De hecho, algunos han definido una revisión de calidad como aquella que es útil para los autores⁵⁴.

Tanto si el revisor recomienda aceptar como rechazar el manuscrito, debe tener en cuenta que uno de los objetivos de la revisión es ayudar a los autores a mejorar este y futuros manuscritos, y no que desesperen y acaben renunciando. Es importante, por tanto, evitar expresiones excesivamente negativas o comentarios personales, y señalar las principales fortalezas del manuscrito (además de sus debilidades, obviamente). En este sentido, es recomendable comenzar mencionando los aspectos positivos del artículo, no solamente en el caso de que se acepte, sino incluso cuando se proponga su rechazo⁵⁵; si empezamos con los aspectos positivos será más fácil que los autores sean más receptivos y estén más predispuestos a encajar nuestras críticas.

Se debe ser lo más explícito y detallado posible sobre las debilidades del manuscrito y cómo se pueden abordar, en lugar de hacer generalizaciones vagas que sean inútiles para los autores³⁰. Se debe incluir la página y los números de línea específicos (en el caso de que el manuscrito los tenga) de la parte del estudio a la que nos estamos refiriendo⁵⁶. Esto ayudará tanto a los autores como al editor, que más adelante podrá juzgar si los autores han solventado los problemas en su manuscrito, una vez revisado⁴. Los informes de los revisores más inútiles (tanto para los autores como para el editor) son los del tipo: «muy buen artículo, recomiendo publicar» o «interesante artículo» y su opuesto: «no añade nada nuevo a la literatura» o una variante: «necesita mejorar la discusión». Por el contrario, es preciso ser específico: ¿por qué es muy bueno el artículo? ¿Qué quiere decir el revisor con «interesante»? ¿Por qué se considera que el artículo no añade nada nuevo a la literatura existente? ¿Por qué, exactamente, se necesita mejorar la discusión?⁵⁷. Además, es preciso ser claro; uno de los peores escenarios para el autor es recibir unos comentarios del revisor que no es capaz de interpretar y, por tanto, de responder. Por ejemplo, un comentario del estilo «considero que el diseño del estudio no es el adecuado» probablemente dejará al autor en una complicada situación de impotencia²¹.

¿Qué aspectos debemos revisar en un artículo?

Los aspectos generales que deberían ser evaluados en todo artículo por parte del revisor son su originalidad, su relevancia y su validez^58,59. La originalidad en la investigación significa que debe ser lo suficientemente novedosa, ofrecer algo nuevo a los lectores. Es preciso plantearse si la pregunta del estudio es original y si sus resultados suponen un avance en el conocimiento actual¹². No tiene sentido responder a una pregunta que ya ha sido repetidamente contestada con anterioridad. Evidentemente, no siempre es necesario que la idea o el concepto del estudio sean absolutamente originales. Los revisores deberán valorar si, por ejemplo, un artículo que se centra en una pregunta ya planteada previamente por otro estudio con un diseño retrospectivo podría ser considerado novedoso si en esta ocasión se pretende responder a dicha pregunta mediante un estudio de mayor calidad metodológica (por ejemplo, un ensayo clínico aleatorizado).

Tras considerar la originalidad, los revisores deberían valorar la relevancia del estudio. Los artículos más relevantes son aquellos que tienen el potencial de modificar los patrones de práctica clínica y, lo más importante, abrir nuevas áreas de investigación.

Por último, la validez del manuscrito se refiere a cómo se formuló la pregunta de estudio y si el artículo sigue una progresión clara y lógica desde dicha pregunta de investigación hasta su conclusión. Una buena pregunta de estudio es aquella que está claramente definida. Las definiciones precisas de las medidas de resultado y las variables que influyen en estas demuestran la claridad de pensamiento de los autores. Los apartados de métodos y de resultados son el corazón de un manuscrito y en ellos debe centrarse fundamentalmente el revisor. Otros defectos se vuelven en gran medida irrelevantes si se detecta uno importante en los métodos o resultados que debilita los cimientos sobre los que se construye el artículo. De hecho, el motivo más común para rechazar un manuscrito es el empleo de métodos, incluyendo los estadísticos, inapropiados²⁷.

Una vez evaluados los aspectos generales del manuscrito –originalidad, relevancia y validez– tocaría hacer una revisión detallada de los aspectos más concretos de cada una de las secciones del artículo. Para ello es útil el empleo de una lista de verificación^22,60–63. El mejor aprendizaje para ser un buen revisor es ser un buen escritor de artículos, y viceversa (de hecho, existe una superposición considerable entre las pautas de redacción y revisión por pares). Probablemente no deberíamos aceptar una invitación para revisar un manuscrito si nunca hemos experimentado previamente el proceso de revisión por pares como autor. Así, para poder revisar correctamente un artículo científico se precisa, en primer lugar, saber escribirlo adecuadamente uno mismo. Por ello, basándonos en nuestras recomendaciones previas sobre cómo elaborar y presentar un manuscrito a una revista biomédica⁵, hemos confeccionado una lista de verificación para evaluar detalladamente un artículo desde la perspectiva del revisor (tabla 1). De forma complementaria, los errores más comunes que cometen los autores, y que pueden llevar al rechazo de un manuscrito, se resumen en la tabla 2.

Tabla 1.

Recomendaciones para elaborar y presentar un manuscrito a una revista biomédica

Sección del manuscrito	Recomendación
Título	Debe reflejar el contenido del artículoBreve, explicativo y claroEvitar frases vacías
Resumen	Debe reproducir, aunque en miniatura, la estructura del artículo completo: objetivos, métodos, resultados y conclusionesDebería poder ser comprendido sin necesidad de leer el artículo en su totalidadNo incluir abreviaturasCeñirse al límite de palabras impuesto por la revista
Introducción	Debe ser atractiva, para conseguir que el lector desee seguir leyendo el artículoBreve, centrada en el temaExponer concisamente las lagunas de conocimientoJustificar las razones que llevaron a realizar el estudioRecalcar adecuadamente la novedad del estudioMencionar claramente la hipótesis o pregunta de investigaciónDefinir con precisión los objetivos del estudioClasificar los objetivos en principal (habitualmente solo uno) y secundariosNúmero comedido de citas bibliográficas
Métodos	Consistencia entre los objetivos y los métodos empleadosSecuencia metodológica lógica y ordenadaDescribir detalladamente los criterios de inclusiónDetallar suficientemente como para permitir la reproducción del estudio por otros investigadoresDescribir con minuciosidad la metodología novedosaReferenciar adecuadamente los métodos ya empleados previamenteIncluir un grupo control adecuadoDescribir cómo se ha calculado el tamaño muestralUtilizar las pruebas estadísticas adecuadasMencionar los aspectos éticos del estudio (aprobación del Comité de Ética y consentimiento informado del paciente)
Resultados	Ordenar los resultados de forma coherente con los métodosExponer los resultados sin comentarlosLlevar a cabo todos los análisis inicialmente previstosNo realizar análisis no planeadosIncluir un diagrama de flujo que describa la progresión de los pacientes a lo largo del estudioCuantificar los hallazgos y presentarlos con los indicadores de incertidumbre (p. ej., intervalos de confianza)Incluir los hallazgos menos importantes en forma de anexos (material suplementario)
Discusión	Organizar la discusión siguiendo el orden de los métodos y resultadosUtilizar los resultados del estudio como hilo conductorComentar los hallazgos más relevantes del estudioCentrarse en el problema principal, sin divagarInterpretar y ponderar adecuadamente los resultadosPoner en conexión los resultados del estudio con los hallazgos previamente obtenidos por otros investigadoresCitar las referencias tanto de estudios con resultados similares como opuestosResaltar claramente qué información es novedosaMencionar las fortalezas y debilidades del estudioEstablecer conclusiones respaldadas por los hallazgos del estudioResumir claramente, al final de la discusión, los mensajes clave del estudioSugerir la necesidad de futuros estudios de forma concreta
Referencias	Seguir las recomendaciones de estilo de la revistaNo exceder el número permitido por la revistaIncluir sólo las referencias que se hayan consultado realmenteCitar únicamente las referencias precisas para apoyar las afirmaciones clave del textoIncluir referencias actualizadasPriorizar, en general, las referencias de artículos originales antes que las revisionesEvitar emplear citas de resúmenes de comunicaciones a congresos cuando dispongamos de artículos completos
Tablas y figuras	Emplear tablas para mostrar los valores exactos de más datos de los que podrían resumirse en unas pocas frases de textoUsar tablas para exponer una serie de datos en forma interrelacionadaIncluir cada tabla y cada figura en una página distintaNo repetir la misma información en texto y tablasNo duplicar información entre tablas y figurasUsar figuras como alternativa a las tablas con muchos datos o cuando existe una relación entre los datos o en su secuencia en el tiempoEl lector debe comprender el contenido de una tabla o figura sin necesidad de consultar el textoExplicar las abreviaturas a pie de tabla o figura
Redacción (cualidades de la buena prosa)	FluidezClaridadPrecisiónSobriedadAtracción

Tabla 2.

Errores comunes de los autores al escribir un artículo científico

Sección del manuscrito	Error
Título	No reflejar en él el contenido del artículoDemasiado largoPoco claro, vago o con frases vacías
Resumen	Emplear abreviaturasNo representar de manera precisa el texto principalNo permitir entender el contenido del artículo sin necesidad de leer este en su totalidadContener excesivo texto de antecedentes y escasa información esencial sobre los métodos y los resultadosExceder el límite de palabras impuesto por la revista
Introducción	Falta de atractivo, sin captar la atención del lectorNo identificar claramente la laguna de conocimientoNo justificar correctamente la necesidad de realizar el estudioNo recalcar adecuadamente la novedad del estudioNo mencionar claramente la pregunta de investigaciónDefinir imprecisamente los objetivos del estudioIncluir un número excesivo de objetivos, sin clasificar en principal y secundariosExcesiva extensión, con información demasiado detalladaIncluir un número excesivo de referencias bibliográficas
Métodos	Falta de consistencia entre los objetivos y los métodos empleadosSecuencia metodológica ilógica o desordenadaDescribir incompletamente los criterios de inclusiónDetallar con insuficiencia como para permitir la reproducción del estudio por otros investigadoresDescribir insuficientemente los métodos nuevosReferenciar incompletamente los métodos previamente empleadosNo incluir un grupo controlElevado riesgo de sesgosNo calcular el tamaño muestralUtilizar inadecuadamente las apruebas estadísticasNo mencionar los aspectos éticos
Resultados	Presentar desorganizadamente los resultados (sin seguir el orden de los métodos)Comentar los resultados en lugar de exponerlos sin másNo llevar a cabo todos los análisis inicialmente previstosRealizar análisis no planeados previamenteNo describir detalladamente la progresión de los pacientes a lo largo del estudioRepetir resultados incluidos en las tablas o figurasNo calcular los indicadores de incertidumbre (p. ej., intervalos de confianza)Mezclar los hallazgos menos importantes con los más relevantes (en lugar de incluir los primeros como material suplementario)
Discusión	Estructura desorganizada (sin seguir el orden de los métodos y resultados)Extensión excesivaContenido poco conciso, no centrado en el problema principalDiscusión no centrada en los hallazgos del estudio en cuestiónNúmero desproporcionado de referencias bibliográficasFalta de conexión entre los resultados del estudio y los hallazgos previamente obtenidos por otros investigadoresOmitir evidencias procedentes de otros estudios con el propósito de que la investigación propia parezca más originalCitar únicamente las referencias de estudios con resultados coincidentesNo resaltar claramente qué información es novedosaRepetir información ya expuesta previamente en la introducciónNo mencionar las fortalezas y, sobre todo, las limitaciones del estudioElucubrar y llegar a conclusiones no respaldadas por los hallazgos del estudioNo resumir claramente los mensajes clave, idealmente al final de la discusiónNo concluir sugiriendo nuevas vías de investigación, o hacerlo de forma vaga e imprecisa
Referencias	No seguir las recomendaciones de estilo de la revistaExceder el número permitido por la revistaNo incluir las referencias clave de los estudios más relevantesIncluir referencias irrelevantesIncluir referencias no actualizadasEmplear citas de resúmenes de comunicaciones presentadas a congresos cuando ya existan artículos completos publicados
Tablas y figuras	Incluir tablas innecesarias (con muy pocos datos, no relacionados entre sí)Usar tablas cuando deberían emplearse figuras (muchos datos o relación entre estos o en su secuencia en el tiempo)Incluir varias tablas o figuras en una misma páginaIncluir en la tabla contenido redundante con el textoDuplicar información entre tablas y figurasConfeccionar tablas o figuras de difícil interpretación, que obliga a consultar el texto del artículoNo explicar las abreviaturas a pie de tabla o figura

¿Qué formato debe tener un informe de revisión por pares?

La revisión por pares no tiene un formato único e inmutable, ya que cada revista tiene sus propias particularidades, aunque en general las líneas maestras suelen ser comunes. Así, algunas revistas emplean una estructura informal, mientras que otras tienen un enfoque más formal. A veces, se solicita al revisor que responda preguntas específicas a través de un cuestionario. En otras ocasiones, se requiere que el revisor califique el manuscrito según varios atributos, utilizando un baremo de puntuación. Por tanto, lo primero que debemos hacer antes de iniciar el proceso de evaluación es verificar si la revista tiene pautas de revisión concretas y ajustarnos a ellas.

Entrando ya de lleno en el propio informe de revisión, deberemos separar nuestros comentarios en distintos apartados, siguiendo la estructura del propio artículo; típicamente: título, resumen, introducción, métodos, resultados, discusión, bibliografía, tablas y figuras. Tanto la lista de problemas como la de recomendaciones (en su caso) debería presentarse de la forma más estructurada posible. Lo ideal sería numerar cada observación y especificar claramente a qué parte del manuscrito nos estamos refiriendo (por ejemplo, haciendo referencia a la página e incluso a la línea de texto). Pero deberíamos evitar presentar un simple listado de críticas, línea por línea, sin ponderación de cuáles son los aspectos más importantes a mejorar (véase más adelante la sección dedicada a los problemas mayores y menores).

Algunos evaluadores tienen la mala práctica de presentar largos párrafos discursivos con diversas consideraciones entrelazadas, de manera que un solo párrafo puede hacer referencia a varios problemas, a veces de naturaleza muy dispar. En cambio, tanto si los problemas como las recomendaciones se presentan numeradas (y separadas) será mucho más fácil para los autores aplicar los cambios, y para los editores y los propios revisores comprobar su incorporación en las nuevas versiones¹².

¿Cómo redactar el apartado de resumen del informe de evaluación?

Es recomendable comenzar el informe de evaluación haciendo un breve resumen del manuscrito. El resumen se puede organizar en dos partes, y puede necesitar, como se ha mencionado previamente, entre uno y cuatro párrafos. Su misión es «demostrar» (tanto al editor como al autor del artículo) que el evaluador ha entendido la investigación y ha sabido identificar los aspectos más significativos de la misma¹². Desde la perspectiva del autor, leer el resumen preparado por el evaluador le servirá para comprobar si ha sabido comunicar bien su investigación, o si el evaluador la ha interpretado correctamente. Por su parte, para el revisor, la necesidad de resumir lo más importante del artículo impone una disciplina que disminuye el riesgo de una lectura superficial; la necesidad de escribir un resumen coherente señalando lo esencial de la investigación es un buen seguro contra interpretaciones impacientes o apresuradas. Finalmente, en el caso del editor, el resumen puede servirle para entender mejor el veredicto del evaluador y también para establecer la posible importancia (o irrelevancia) del artículo para los lectores de la revista¹². En este sentido, al redactar el resumen es conveniente pensar que, al aportar una descripción general de las fortalezas y debilidades del manuscrito, estamos elaborando una especie de mensaje «para llevar a casa» para el editor.

Habitualmente el resumen se estructura en dos partes. En la primera, se debe reseñar someramente las características fundamentales de la investigación, esto es, el objeto de estudio, la metodología y sus resultados o conclusiones^12,55. Por ejemplo, se podría señalar que: «El presente estudio evalúa la eficacia y la seguridad del tratamiento X frente a placebo en pacientes con enfermedad de Crohn mediante un ensayo clínico aleatorizado; se concluye que dicho fármaco tiene una elevada eficacia, pero se asocia con frecuentes y relevantes efectos adversos». La segunda parte del resumen debe dedicarse a destacar, de modo igualmente somero, la relevancia de la investigación; esto es, su originalidad, su oportunidad o su comparación frente a otros estudios previos, indicando si sus hallazgos son novedosos o únicamente confirmatorios; también se deben indicar aquí las debilidades o limitaciones más importantes. Por ejemplo, podríamos mencionar que: «El artículo es novedoso, pues es el primero en evaluar la eficacia del fármaco X en la enfermedad de Crohn; el diseño (ensayo clínico aleatorizado y doble ciego) es adecuado; sin embargo, el tamaño muestral es muy reducido, lo que limita las conclusiones del estudio».

¿Cómo redactar el apartado de problemas (mayores y menores) del informe de evaluación?

La lista de problemas que identifiquemos en el manuscrito debería dividirse en mayores o principales (major issues) y menores o secundarios (minor issues). Esta división es fundamental para poder establecer una jerarquía clara en la importancia de los problemas, en lugar de combinar aspectos de importancia dispar¹².

Los problemas mayores incluyen aquellos puntos esenciales que los autores deben abordar antes de que el manuscrito pueda publicarse. Estos problemas son los que pueden, potencialmente, llevar al rechazo del artículo, no implican una denegación automática sino la necesidad de realizar cambios importantes en el artículo y pasar una segunda ronda de evaluaciones. Es evidente que un problema mayor puede darse en un trabajo que, en otros aspectos, sea valioso y merezca publicarse. Puesto que los problemas mayores son los que se relacionan principalmente con la investigación en sí (y no con el formato del artículo), con frecuencia tienen que ver con los aspectos metodológicos o el análisis de los datos; en otras ocasiones estos problemas se refieren a que las conclusiones presentadas por los autores no se derivan de los resultados de su estudio. En realidad, los problemas mayores pueden centrarse en cualquier apartado relevante del manuscrito¹².

Por su parte, los problemas menores suelen estar relacionados principalmente con aspectos del artículo (de su estructura o formato), en lugar de con la propia investigación. Se refiere a los aspectos que son importantes para mejorar el manuscrito, pero que no afectan a las conclusiones clave, como la redacción, la estructura, la bibliografía, etc. Por ejemplo, se podría señalar, como problemas menores, los siguientes: errores ortográficos o sintácticos, partes que necesitan más explicación u otras con texto innecesario que puede eliminarse, falta de referencia de algún artículo importante, listado de referencias bibliográficas demasiado extenso, tablas o figuras difíciles de interpretar o innecesarias, etc. Los problemas menores no exigen necesariamente una nueva ronda de evaluaciones, pero sí una nueva versión del artículo con todas las mejoras añadidas, salvo razonamiento fundado de los autores¹².

En teoría, un problema identificado de forma adecuada incorpora de forma implícita la recomendación correspondiente. Por ejemplo, si un problema es que el resumen del artículo está pobremente redactado, es evidente que la recomendación, en caso de hacerse explícita, sería: «mejore la redacción del resumen»¹². No obstante, complementar la evaluación con una propuesta o recomendación específica, en lugar de limitarse a señalar la deficiencia, puede ser de gran utilidad para los autores, incrementando el valor del informe de revisión para estos⁶⁴.

¿Qué es y para qué sirve el informe confidencial para los editores?

En este apartado el revisor debe, de la manera más sucinta y directa posible, explicar al editor cuáles son los puntos clave que condicionan la aceptación o el rechazo del artículo. Estas razones suelen tener que ver con la solidez, novedad, calidad, importancia e idoneidad científica del manuscrito para la revista. Los editores toman en consideración muchos factores al decidir si un artículo es adecuado para su revista, por lo que proporcionar evidencia o razonamiento para la recomendación que emitimos como revisores es de gran utilidad para ellos.

Los comentarios a los editores en este informe confidencial deben restringirse a aquellos que no desean que los autores vean; todo aquello que sea importante que los investigadores lean debería incluirse en los comentarios a los autores. Así, no se debería utilizar este espacio para hacer críticas o sugerencias de mejora del manuscrito, ya que los comentarios aquí incluidos no se transmitirán a los autores. Por otra parte, el que no vaya a ser leído por los autores no autoriza a los revisores a «apuñalar por la espalda» al autor; por lo tanto, en un espíritu de equidad, el revisor debería escribir sus comentarios a los editores como si los autores también pudieran leerlos¹². Finalmente, no debería repetirse innecesariamente información ya incluida en el apartado dirigido a los autores, ya que el editor tiene acceso a ella.

Al ser este apartado confidencial, es el adecuado para incluir información sensible o expresar las dudas sobre aspectos éticos o conflictivos del artículo, como pueden ser la detección de potenciales conflictos de intereses no reconocidos por los autores, la sospecha de plagio o fraude, la publicación redundante o fraccionada, la ausencia de cumplimiento de los requerimientos de los comités de ética, etc.^29,65

El informe confidencial es también la sección apropiada para comentar al editor cualquier limitación del propio revisor para evaluar alguna parte concreta del manuscrito (en lugar de escribirlo «en abierto», lo que podría socavar la confianza de los autores en el revisor). Por ejemplo, el revisor puede reconocer que no tiene suficiente experiencia en una técnica de análisis estadístico compleja que se ha utilizado en el artículo, y por ello sugiere –con humildad y honestidad– que se consulte a otro experto.

¿Cuáles son las opciones del dictamen final de un revisor?

Se ha señalado que el objetivo del proceso de revisión por pares se puede resumir de la siguiente manera: «se acepta el artículo válido, se mejora el artículo parcialmente válido y se rechaza el artículo inválido»^66,67. De este modo, el dictamen de una revisión puede contemplar tres opciones, como se resume a continuación.

1) Aceptado sin cambios. Significa que el artículo se acepta para ser publicado tal como se ha recibido originalmente. Esta situación es excepcional, pues todos los artículos son mejorables y como mínimo los revisores deberían hacer alguna sugerencia, aunque sea menor¹². Si un evaluador no es capaz de sugerir siquiera una modificación o mejora, probablemente no está evaluando el artículo de manera adecuada. Si hemos aceptado revisar un artículo, tenemos la obligación moral de hacerlo con el detalle que se merece; si no estamos dispuestos a ello, simplemente no aceptemos ser revisores.

2) Rechazado (definitivamente). El motivo suele incluir insuficiencias en el desarrollo, alcance, interés, etc., del artículo, o incluso por errores conceptuales, o de diseño, o por detección de malas prácticas, o por considerarse de mala calidad en general¹². Las tasas de rechazo en las revistas con proceso de revisión por pares oscilan ampliamente, desde más del 90% hasta menos del 10%, habiéndose estimado una tasa promedio de rechazo de alrededor del 50%⁹. Esta decisión no tiene apelación. Rechazar un artículo supone, por tanto, una gran responsabilidad, pero si el revisor, en conciencia, cree que el artículo es inaceptable, no debe dudar en emitir esta recomendación¹². Al recomendar el rechazo de un manuscrito, puede resultar tentador redactar un brevísimo texto en el que básicamente se informe de nuestra decisión negativa o únicamente se incluyan algunos comentarios generales poco útiles; sin embargo, conviene recordar que el objetivo fundamental del proceso de revisión es mejorar la calidad de los artículos, y por ello deberíamos hacer un esfuerzo en preparar un informe suficientemente detallado para que pueda ser útil a los autores (al menos cuando lo remitan para optar a su publicación en otra revista)²⁷.

3) Aceptado con cambios. Quiere decir que se acepta (o mejor, que podría aceptarse), pero requiere una serie de cambios, que pueden ser menores o implicar rehacer una buena parte del trabajo. La aceptación final estará condicionada a la respuesta de los autores, que pueden optar por aceptar todos los cambios propuestos e incorporarlos sin más, o aceptar solo una parte y argumentar en contra de los otros si no los consideran oportunos. La revisión sugerida por el evaluador puede ser menor (minor revision) o mayor (major revision); la primera implica fundamentalmente aspectos de formato, pero no precisa cambios relevantes en el contenido, y habitualmente no requiere ser revisado de nuevo por el revisor; mientras que la segunda requiere cambios en el contenido del artículo, y habitualmente sí precisa ser revisado de nuevo por el revisor¹². Por tanto, si se solicitaron revisiones importantes (mayores), el editor generalmente devolverá el manuscrito a los revisores originales, a menos que estos rechacen revisarlo de nuevo.

Si los dos evaluadores (el número mínimo requerido) coinciden en rechazar definitivamente el artículo, el proceso se detiene aquí, ya que este rechazo no tiene apelación. Sin embargo, si hay empate, es decir, uno de los evaluadores acepta la publicación (aunque sea con cambios requeridos) y el otro la rechaza, los editores se suelen inclinar por el revisor que realizó una evaluación más detallada y mejor justificada²⁷. En otras ocasiones, los editores deciden incorporar un tercer evaluador para que desempate.

Es importante que los comentarios del revisor coincidan con su recomendación sobre la aceptación/rechazo del artículo. Si está recomendando (a los editores) que se rechace el manuscrito, sus comentarios (a los autores) deben indicar claramente cuáles son los problemas y no deben ser excesivamente positivos^12,21.

Aspectos éticos de la evaluación de manuscritos científicos

El Comité de Ética en Publicaciones (Committee on Publications Ethics [COPE]; http://publicationethics.org/) es un foro internacional para editores de revistas revisadas por pares donde se discuten todos los aspectos de la publicación ética⁶⁸. Este grupo ha desarrollado diagramas de flujo de buenas prácticas para editores sobre cómo manejar casos de mala conducta en investigaciones y publicaciones, incluido el plagio y el fraude, además de brindar orientación sobre cómo los editores pueden llevar a cabo la revisión por pares de manera responsable. En la tabla 3 se resumen las recomendaciones más relevantes de las guías COPE para los revisores¹².

Tabla 3.

Recomendaciones éticas para los revisores de manuscritos

Leer el artículo íntegramente, incluyendo el material complementario/suplementario

Seguir las indicaciones de la revista (si están disponibles) para la presentación de su información en cuanto a formato y otras características

Si, por alguna razón, se ha abstenido de evaluar algunas partes del manuscrito por razones de especialidad o competencia, debe informar a los editores cuando envíe su evaluación

Rechazar la evaluación si no conoce bien el tema o una parte sustancial del mismo

Rechazar la evaluación si existe un conflicto de intereses

No utilizar la información a la que ha tenido acceso como parte de la revisión antes de que el artículo se publique

No aprovechar su posición para hacer recomendaciones en su propio beneficio, como recomendar incluir referencias propias que no estén plenamente justificadas

No contactar directamente con los autores

El plagio en una revista científica constituye una mala práctica y uno de los atentados más graves que se pueden realizar contra la integridad científica. Aunque la responsabilidad de su reconocimiento generalmente recae sobre el comité editorial de la revista, también puede ser reconocido por los revisores.

Un aspecto de especial relevancia lo constituyen los potenciales conflictos de intereses. Aunque no existe una definición unificada de «conflicto de interés» dentro de la comunidad científica, habitualmente se describe como todo aquello que interfiere (o puede interferir) con la presentación completa y objetiva, la revisión por pares, la toma de decisiones editoriales o la publicación de la investigación. Más resumidamente, sería cuando existen intereses que pueden afectar la objetividad de una evaluación²¹, o dicho de otra manera, cuando un interés profesional «primario» está excesivamente influenciado por el interés «secundario» de una persona⁶⁹. Para mantener la integridad del proceso de revisión por pares, todas las personas involucradas en la investigación, redacción y evaluación de un manuscrito, incluidos los autores, editores y revisores, deben declarar posibles conflictos de intereses. Aunque, teóricamente, cualquier relación, personal, profesional o financiera, puede ser calificada como un conflicto de interés, declarar explícitamente un potencial conflicto de interés no significa necesariamente que la evaluación del manuscrito esté sesgada.

En los casos en los que el revisor tenga una relación cercana con los autores, como una colaboración en curso o subvenciones activas, o si simplemente considera que no puede evaluar de manera justa un manuscrito en particular, debería rechazar la invitación del editor. Por ejemplo, no deberíamos revisar un artículo escrito por un colega de nuestro propio servicio o departamento. Si estamos empleados en la misma institución que alguno de los autores o recientemente hemos sido mentores o colaboradores cercanos, o mutuos beneficiarios de una subvención, no deberíamos tampoco acceder a revisar el manuscrito, aunque no tengamos nada que ver con el proyecto de investigación actual.

Finalmente, si se identifican aspectos que van en contra de la ética en el artículo que estamos evaluando, deberíamos contactar con el editor de la revista y solicitar instrucciones al respecto, no intentar investigar por nuestra cuenta.

¿Qué no debemos hacer al evaluar un artículo científico? Los 10 errores más frecuentes de los revisores

El decálogo de los errores más frecuentes que todo revisor debería evitar se resume en la tabla 4; a continuación, se revisa cada uno de ellos.

Tabla 4.

Decálogo de errores frecuentes que todo evaluador debería evitar al revisar un artículo científico

Aceptar una invitación para revisar un artículo cuando no debería

No respetar los plazos de revisión de la revista

No respetar la confidencialidad del proceso de revisión

Involucrar a alguien más en la revisión del manuscrito sin antes obtener autorización de la revista

Incluir comentarios inespecíficos, ambiguos o poco claros

Obstruir injustamente la publicación del artículo revisado

Exigir la realización de experimentos adicionales que están fuera del alcance del estudio revisado

Exigir a los autores que agreguen citas del revisor que no estén plenamente justificadas

Centrarse en revisar la redacción del manuscrito

Incluir la recomendación de aceptación o rechazo en los comentarios del revisor al autor

Aceptar una invitación para revisar un artículo cuando no debería

Lo primero que debemos hacer antes de aceptar revisar un artículo es considerar si realmente tenemos la capacidad para evaluar un trabajo sobre ese tema, al menos tal como lo muestra el título y el resumen del artículo (que es la información que tendremos inicialmente disponible)¹². No es excepcional que recibamos alguna invitación para revisar un tema para el que no estamos realmente cualificados. Aunque declinar la invitación en estas circunstancias parece de sentido común, muchos hemos sufrido –como autores– en nuestras propias carnes la revisión por evaluadores manifiestamente ignorantes en el tema en cuestión. No es necesario ser un experto en todos los apartados del manuscrito y, de hecho, deberíamos señalar a los editores nuestras limitaciones para revisar partes concretas del artículo (por ejemplo, un análisis estadístico muy especializado), pero sí hemos de tener competencias en el tema principal²¹. Si, una vez aceptada la evaluación con base en el título y el resumen, al acceder al texto completo descubrimos que no somos suficientemente competentes, no debemos tener ningún reparo en declinar la invitación²². Rechazar una invitación para revisar un artículo si consideramos que no somos la persona adecuada, sobre todo si se responde con celeridad, será visto con buenos ojos por el editor de la revista. Además, explicar a los editores el motivo de nuestro rechazo –la falta de competencia en la materia a evaluar– evitará recibir artículos similares de esa misma revista¹².

No respetar los plazos de revisión de la revista

Uno de los aspectos más frustrantes, tanto para los editores como para los autores, es la prolongada demora que en ocasiones existe entre el envío del manuscrito por los autores a la revista y la recepción del informe de evaluación. Además, dicha demora puede tener un impacto muy negativo en las posibilidades de publicar la investigación, sobre todo si el tema del artículo es muy innovador, pues podría quedar obsoleto en pocos meses²¹. El retraso de los revisores en la respuesta a la invitación del editor sobre si acepta o no revisar el artículo es uno de los mayores responsables de esta demora. Para evitar esto, cuando reciba una invitación de un editor para revisar un manuscrito, debe responder con prontitud. Si considera que no puede o no debe revisar dicho artículo, no hay problema, pero debe contestar en este sentido, en lugar de ignorar simplemente la invitación³⁰. Por otra parte, no se debería aceptar llevar a cabo una evaluación si no se está seguro de respetar los plazos propuestos por la revista⁷⁰; aceptar una revisión también significa comprometerse con una fecha límite. Como es natural, pueden ocurrir circunstancias inesperadas que justifiquen una cierta demora; en ese caso, el retraso previsto se debe notificar al editor, al que debemos solicitar una extensión en el plazo de entrega. En cualquier caso, la peor opción es aceptar la invitación, pero nunca enviar el informe de evaluación, pues ello retrasará considerablemente todo el proceso de revisión, obligando al editor a invitar a nuevos evaluadores²². En este sentido, y como es lógico, la mayoría de las revistas monitorizan el rendimiento de sus revisores y deciden excluir finalmente a aquellos que repetidamente no cumplen los plazos establecidos⁵⁵.

No respetar la confidencialidad del proceso de revisión

Los revisores deben abstenerse de utilizar información obtenida durante el proceso de revisión por pares para ventaja propia o de otros. Es fundamental recordar que todo el material a que tenga acceso el revisor debe permanecer confidencial hasta que se publique el trabajo. Aunque puede ser tentador presumir de disponer en primicia de información novedosa, no debemos compartirla con otras personas ni emplearla para nuestro beneficio personal. Más aún, todas las copias del manuscrito, tanto impresas como electrónicas, deberían destruirse cuando se complete la revisión.

Involucrar a alguien más en la revisión del manuscrito sin antes obtener autorización de la revista

Los nombres de todas las personas que hayan contribuido a la revisión deberían ser reconocidos e incluidos desde el principio para que estén asociados al manuscrito en los registros de la revista y puedan además recibir el debido reconocimiento por sus esfuerzos⁵⁰.

Incluir comentarios de revisión inespecíficos, ambiguos o poco claros

Los comentarios de los revisores deberían ser lo más claros, explícitos, detallados e inequívocos posible, en lugar de hacer generalizaciones vagas que sean inútiles para los autores; si el autor no es capaz de interpretar los comentarios del revisor, no será capaz tampoco de responder a ellos. No solo debemos indicar lo que debería mejorarse, sino también sugerir cómo hacerlo²².

Obstruir injustamente la publicación del artículo revisado

Es poco probable que los autores del artículo en cuestión sean los únicos que estén investigando sobre ese tema específico. Con frecuencia, y como es natural, el área de interés de los revisores coincide con el de los autores, y puede ocurrir, por ejemplo, que los primeros estén preparando o acaben de remitir para publicación un artículo muy similar al de los segundos. La infracción más grave de la ética del revisor sería obstruir injustamente la publicación del trabajo del autor o utilizar su información para obtener una ventaja competitiva. Si, ante esta situación, consideramos que no podemos llevar a cabo una revisión justa, rápida y constructiva, deberíamos declarar la presencia de un conflicto de interés y notificarlo cuanto antes al editor^22,55.

Exigir la realización de experimentos adicionales que están fuera del alcance del estudio revisado

Existe una delgada línea entre ser constructivo y sugerir que se realicen experimentos adicionales que extiendan el trabajo que se evalúa más allá de su alcance actual, excediendo el objetivo del estudio. No debemos olvidar que nuestra función como revisores es juzgar el trabajo que recibimos, no solicitar a los autores que efectúen experimentos que se salgan o amplíen los objetivos del estudio^55,71. Obviamente, el revisor siempre puede argumentar de manera rigurosa que una investigación adicional es imprescindible para que el trabajo tenga algún sentido; pero entonces, puede ser que el estudio tenga un problema grave y tal vez lo que proceda sea rechazarlo, siempre con la debida justificación¹². En cualquier caso, el revisor debe dejar bien claro qué investigaciones adicionales considera esenciales para respaldar las afirmaciones realizadas en el manuscrito y cuáles simplemente fortalecerían el trabajo, pero son opcionales.

Exigir a los autores que agreguen citas del revisor que no estén plenamente justificadas

Como revisor, no deberíamos solicitar a los autores que añadan referencias de nuestra propia autoría, especialmente cuando estas son injustificadas, con el objetivo de inflar nuestro registro de citas o realzar la visibilidad del trabajo propio^12,72. Las sugerencias de ampliación de referencias deben basarse en motivos puramente científicos⁷³.

Centrarse en revisar la redacción del manuscrito

Como revisor, debemos centrarnos en el contenido de la investigación en lugar de en la redacción¹³. Lo fundamental es el fondo, no tanto la forma. No debemos perder el tiempo puliendo la gramática o la ortografía y señalando errores tipográficos individuales; basta especificar que se recomienda revisar la redacción del manuscrito⁵⁵. Los editores ya se asegurarán de que el texto tenga una correcta redacción antes de su publicación. Así, por nuestra parte, es suficiente con indicar, por ejemplo, que «los párrafos de la discusión son excesivamente largos, y convendría fraccionarlos para facilitar su lectura». Sin embargo, si detectamos errores gramaticales que afectan a la claridad del manuscrito, es importante resaltarlos⁷⁴.

Incluir la recomendación de aceptación o rechazo en los comentarios del revisor al autor

Nunca debemos escribir en los comentarios a los autores si recomendamos la aceptación o el rechazo del artículo; esto es privilegio del editor⁵⁵. Este tomará la decisión final tras sopesar diversos factores, entre ellos nuestra recomendación particular. Los editores están más interesados en nuestros comentarios que en nuestras opiniones sobre si el artículo debe ser publicado o no.

Revistas depredadoras y revisión por pares

Hace unos pocos años, el movimiento de acceso abierto a la ciencia revolucionó el proceso de comunicación científica reclamando el acceso libre a los artículos publicados, sin restricciones económicas o de copyright, proponiendo para su materialización la publicación en revistas de acceso abierto y el depósito de los artículos en repositorios⁷⁵. En las revistas de acceso abierto, al contrario que en sistema tradicional de publicación, los autores retienen sus derechos patrimoniales, cediéndolos a los lectores con licencias Creative Commons, que permiten su acceso gratuito y la reutilización de sus contenidos⁷⁵. Estas revistas carecen de la financiación derivada de su comercialización y su supervivencia depende de nuevos modelos económicos, como el del pago de tasas por el proceso de los artículos, pasando del modelo habitual de cobro múltiple por lectura al de pago único por publicación⁷⁵. Como contrapartida, este modelo ha abierto una vía para la corrupción aprovechada por empresas sin escrúpulos que crean revistas con el único fin de enriquecerse con los ingresos de estas tasas, sin aportar ninguno de los servicios tradicionalmente prestados por las publicaciones biomédicas habituales⁷⁵. Así, las denominadas revistas «depredadoras» no realizan un proceso de revisión por pares –o solo lo hacen de forma superficial– que garantice la calidad científica de los manuscritos publicados. Una de las diferencias fundamentales entre las revistas «depredadoras» y las revistas en acceso abierto de calidad con información fiable es la mención en los artículos de estas últimas del editor asociado y de los revisores implicados. En resumen, la proliferación de revistas depredadoras, que haciendo una interpretación torticera del acceso abierto funcionan con dudosos o inexistentes estándares éticos, amenazan la integridad del sistema científico, fundamentalmente porque comprometen la calidad de lo publicado al carecer de procesos adecuados de revisión por pares o ser éste una farsa^75–77. La consecuencia de una revisión por pares inexistente o incompleta incluye la publicación de investigaciones defectuosas que confunden a los médicos y potencialmente dañan a los pacientes⁷⁸.

Limitaciones de la revisión por pares

No todo son bondades en el proceso de la revisión por pares^79,80. Este proceso de evaluación es una actividad humana; los revisores, como los editores, pueden ser parciales, celosos, ignorantes, incompetentes, maliciosos, corruptos o pueden estar incapacitados por conflictos de intereses²⁰. A continuación, se resumen las limitaciones más frecuentes y relevantes de la revisión por pares.

Existe una escasa evidencia sobre la efectividad de la revisión por pares

La evidencia científica que sustenta la eficacia del proceso de revisión por pares es muy escasa⁷. Una de las razones del reducido número de estudios prospectivos y aleatorizados podría ser la dificultad para evaluar un comportamiento humano complejo como es este de la revisión por pares⁸¹. Otra dificultad añadida es que la revisión por pares parece cumplir una serie de funciones muy diversas, no existiendo consenso sobre cuál es su objetivo principal. Los medicamentos generalmente se prueban en indicaciones estrictamente definidas, con criterios de valoración perfectamente establecidos. Sin embargo, dado que la auténtica función de la revisión por pares no se ha definido claramente, es complicado medir la efectividad de las diferentes intervenciones⁸².

La Colaboración Cochrane ha revisado la evidencia de la efectividad de esta estrategia de revisión y ha concluido que «existe escasa evidencia empírica disponible que respalde el empleo de la revisión por pares como un mecanismo para garantizar la calidad de la investigación biomédica»⁸³; aunque, por otra parte, se señala que la ausencia de evidencia no es sinónimo de evidencia de ausencia. En cualquier caso, los autores de esta revisión Cochrane sí encuentran evidencia de que la revisión por pares, al menos, hace que los artículos sean más legibles y mejora la calidad de los informes de revisión.

La revisión por pares tiene una limitada capacidad para detectar errores

La revisión por pares es un sistema con una escasa capacidad para detectar errores en los artículos evaluados. Hace años se llevó a cabo un estudio en el que se introdujeron deliberadamente ocho errores en un artículo que luego fue revisado por más de 200 evaluadores, el número promedio de errores detectados fue de dos, nadie detectó más de cinco y aproximadamente una sexta parte no detectó ninguno⁸⁴. En otro estudio, los investigadores elaboraron un manuscrito ficticio que contenía intencionadamente 10 errores mayores y 13 errores menores⁸⁵, el artículo describía un ensayo clínico controlado con placebo que utilizaba propranolol para el tratamiento agudo de la migraña, los errores mayores incluían la ausencia de especificación de los criterios de exclusión, la falta de aleatorización de los grupos de tratamiento y la ausencia de enmascaramiento, entre otros, por otro lado, aunque una figura incluida en el manuscrito mostraba claramente que el propranolol no tenía ningún efecto beneficioso, los autores del artículo ficticio concluían que este fármaco era eficaz para el tratamiento de la migraña, el manuscrito fue revisado por 200 revisores, y estos identificaron una media de tan solo un tercio de los 10 errores mayores y una cuarta parte de los 13 errores menores, más aún, nada menos que al 70% de los revisores le pasó desapercibido el hecho de que las conclusiones del artículo no estaban respaldadas por sus resultados, si bien la mayoría de los revisores (58%) recomendaron que el artículo fuera rechazado, una proporción sustancial (un tercio) aconsejaron aceptarlo con modificaciones, y unos pocos (7%) incluso recomendaron su aceptación sin cambios.

Por tanto, lamentablemente la revisión por pares no siempre ofrece un producto mejor. Los estudios muestran que incluso después de este proceso de revisión, algunos artículos aún contienen inexactitudes, y que la mayoría de los artículos rechazados se publicarán en otro lugar (sin haber sido sustancialmente modificados) con, todavía, mucho margen de mejora porque los autores suelen ignorar los comentarios de los revisores si su manuscrito no ha sido aceptado^86-88. Se ha afirmado que casi cualquier manuscrito científico, por deficiente que sea, consigue encontrar una revista en la que puede ser publicado si el autor es lo suficientemente persistente. Como algunos autores han señalado, el hecho de que un artículo esté publicado no significa que sea perfecto⁸⁹. Otros han llegado a denunciar que la revisión por pares es una lotería ineficaz, lenta, cara, tendenciosa, anti-innovadora y de fácil abuso⁹⁰. No obstante, estos errores residuales tras la revisión por pares no son razones para abandonar esta estrategia por completo: los errores probablemente serían peores sin ella.

La revisión por pares puede inhibir la innovación

La revisión por pares puede ser excesivamente conservadora para artículos revolucionarios. Se necesita un acuerdo significativo entre los revisores para que se acepte un artículo, y esto puede ser difícil cuando el trabajo evaluado supone un cambio de paradigma⁹¹. Así, se ha sugerido que la revisión por pares sofoca la innovación y perpetúa el status quo⁹². El eventual bloqueo de un trabajo innovador o contrario a las opiniones o la perspectiva del revisor puede provocar un retraso innecesario en su publicación⁹².

Un estudio reciente publicado en Proc Natl Acad Sci USA (PNAS) rastreó más de 1.000 manuscritos enviados a tres prestigiosas revistas médicas, de los 808 que se publicaron en algún momento, el 2% que se citaba con mayor frecuencia había sido rechazado por dichas revistas⁹³.

Las ideas ganadoras del premio Nobel no siempre fueron aceptadas fácilmente en sus inicios por la comunidad científica. Casi por definición, son ideas revolucionarias, que con frecuencia pueden generar un cierto rechazo entre los revisores, sobre todo entre los más «tradicionales». Como consecuencia, muchos de los avances que se encuentran actualmente en nuestros libros de texto fueron inicialmente rechazados, si no ridiculizados, por la comunidad científica. De hecho, varios artículos de investigadores que han obtenido el premio Nobel fueron inicialmente rechazados por revisión anónima por pares.

Un interesante ejemplo de discordancia entre la opinión de un premio Nobel y su revisor es el de Albert Einstein y su airada reacción ante su primera experiencia de revisión por pares, cuando este sistema estaba aún en sus albores. Einstein, sorprendido por recibir un informe de evaluación de su trabajo, y más aún que fuera anónimo, retiró el artículo de la revista con una declaración dirigida al editor que es todo un poema al desconocimiento de este proceso de evaluación: «Yo le había enviado mi manuscrito para su publicación y no le había autorizado a mostrarlo a otros científicos antes de su impresión; no veo ninguna razón para abordar los comentarios, en cualquier caso erróneos, de su experto anónimo, como resultado de este incidente, prefiero publicar el artículo en otro lugar»⁹⁴.

Otro ejemplo paradigmático de divorcio entre un premio Nobel y su revisor lo constituye el caso de Robin Warren y Barry Marshall. En el año 1983, estos investigadores remitieron un resumen a la Asociación Australiana de Gastroenterología describiendo el aislamiento, por primera vez, de la bacteria Helicobacter pylori. Tras ser revisada, la comunicación, remitida a un congreso meramente nacional, fue rechazada. El comité científico, en la carta de respuesta, justificaba el rechazo por la limitación numérica que suponía aceptar 56 de los 67 trabajos recibidos, el de Warren y Marshal carecía de interés científico. Años más tarde, en 2005, los autores recibieron el premio Nobel de Medicina precisamente por este descubrimiento. Es evidente que la resistencia al cambio y la dificultad de rechazar la verdad oficial de que «en un medio ácido no crecen bacterias» impidieron la aceptación inicial de este revolucionario descubrimiento por la comunidad científica⁹⁵.

La revisión por pares puede estar sesgada

Diversos factores (diferentes de la calidad del manuscrito) pueden influir en las decisiones editoriales^86,96. El proceso de revisión por pares no está exento de sesgos potenciales, que pueden ser intencionales o subconscientes⁹⁷. Estos sesgos incluyen el sesgo de prestigio, de género, de confirmación, de publicación y de idioma, entre otros⁹⁸. Por ejemplo, como se ha mencionado previamente en el apartado dedicado al diseño ciego de la revisión por pares, es más probable que los revisores recomienden la aceptación de un artículo escrito por autores de reconocido prestigio pertenecientes a instituciones muy reputadas. Esto puede parecer intuitivo y al menos en parte apropiado, ya que se podría presuponer que los autores más experimentados producirían artículos de mayor calidad. Sin embargo, las críticas favorables parecen traducir también un sesgo positivo hacia personas e instituciones prestigiosas. Okike et al.⁹⁹ enviaron un manuscrito ficticio supuestamente escrito por dos expresidentes de la Academia Americana de Cirujanos Ortopédicos, ambos pertenecientes a instituciones de renombre, a un grupo de revisores, se incluyeron deliberadamente varias inexactitudes en el manuscrito, incluidos errores numéricos y conclusiones erróneas, la mitad de los revisores sabían quién era el autor del artículo y la otra mitad no, los revisores que conocían los detalles de la autoría recomendaron con más frecuencia la aceptación del artículo que los revisores ciegos, de manera similar, los revisores no ciegos otorgaron calificaciones más altas en cuanto a métodos, resultados, discusión, organización y claridad. Estos hallazgos sugieren poderosamente que el autor y el prestigio institucional son factores que influyen en la percepción de los revisores sobre el valor y la calidad de un artículo.

Con frecuencia las opiniones de los diversos revisores son discordantes

Diferentes estudios han demostrado que, con bastante frecuencia, los revisores de un mismo manuscrito no están de acuerdo entre sí o incluso sus opiniones son manifiestamente incongruentes¹⁰⁰. No es raro que un artículo sea elogiado por un revisor y criticado por otro. De hecho, como se ha mencionado previamente, un estudio reciente ha constatado que la probabilidad de que dos revisores estén de acuerdo es solo un poco mayor que la explicada por el azar, y que para obtener un resultado estadísticamente confiable, los editores necesitarían recibir revisiones de seis o más evaluadores, en lugar de solo dos¹⁰. En otro estudio ya clásico, dos investigadores seleccionaron varios artículos ya aceptados por revistas de gran prestigio, intercambiaron los nombres reales y filiaciones académicas por otras falsas, y volvieron a enviar el material (idéntico) a las mismas revistas que ya los habían aceptado en los años anteriores, de los nueve artículos que continuaron con el proceso de revisión, ocho fueron rechazados¹⁰¹. De este modo, se ha llegado a sugerir que las decisiones de los revisores por pares son como las pruebas de diagnóstico: los falsos positivos y los falsos negativos son inevitables²⁴.

Cada vez es más difícil encontrar buenos revisores

A medida que la presión de publicación continúa aumentando (publish or perish), también lo hace la necesidad de disponer de revisores por pares de alta calidad. Pero esta disponibilidad es limitada. De hecho, se ha sugerido que el número de revisores, o su disponibilidad, está declinando^102–104. Posibles motivos de ello podrían ser la fatiga del revisor, el rápido aumento en el número de revistas disponibles para el envío de manuscritos, el exigente compromiso de celeridad o la falta de reconocimiento. De entre estos factores destaca la reciente explosión de la industria de las revistas científicas y el consiguiente crecimiento exponencial en el envío de artículos, es ciertamente asfixiante el número de correos electrónicos no deseados que se reciben semanalmente solicitando el envío de manuscritos a incontables revistas. Otro factor a tener en consideración es que los editores tienden a abusar de la eficacia de los revisores, lo que puede conducir al síndrome de agotamiento¹⁶, a menudo, un revisor que ha proporcionado comentarios y críticas perspicaces, especialmente si lo ha hecho con puntualidad, se ve «recompensado» con otro artículo para su revisión dentro de un breve intervalo de tiempo¹⁰³. Por ello, no es de extrañar que exista un notable desequilibrio en la distribución del esfuerzo de revisión por pares en la comunidad científica: el 20% de los investigadores realiza entre el 70% y el 95% de las revisiones¹⁰⁵. Por otra parte, solo los revisores conocedores del tema están capacitados para evaluar el artículo de interés, pero estos, al ser competidores, están frecuentemente descalificados por su potencial conflicto de intereses. Finalmente, la falta de reconocimiento (personal y económico), supone otra limitación adicional al número de revisores disponible.

El coste de la revisión por pares es sustancial

La revisión por pares no está exenta de costes, tanto en términos financieros como humanos. Los costes económicos asumidos por las revistas incluyen la creación y mantenimiento de una base de datos de revisores, el tiempo del personal para identificar a estos y hacer un seguimiento de los manuscritos, la correspondencia con revisores y autores, y el tiempo de los editores para ocuparse de las revisiones externas, entre otros, se ha calculado que la revisión por pares representa aproximadamente el 5% de los costes totales de una revista científica⁷. Finalmente, existe otro coste menos tangible: la revisión por pares retrasa la publicación de los resultados de las investigaciones que podrían mejorar la práctica clínica y la salud pública⁷. Existe una notable variación en el tiempo que tardan las revistas en llevar a cabo la revisión por pares, desde unas pocas semanas hasta varios meses.

Sugerencias para la mejora de la revisión por pares

Como reflexión inicial, no es fácil hacer propuestas de mejora sobre la revisión por pares sin que antes exista un acuerdo sobre sus objetivos⁹: ¿seleccionar los mejores artículos para publicar en una revista? ¿minimizar el fraude? ¿mejorar la calidad de los artículos publicados? ¿mejorar la calidad de la investigación? ¿actuar como filtro, rechazando los trabajos deficientes? ¿decidir dónde se publica un artículo en lugar de si se publica? Existe, por tanto, la perentoria necesidad de aclarar el objetivo del proceso de revisión por pares, la definición de qué constituye un informe de evaluación de buena calidad y los resultados que deben tenerse en consideración para evaluar dicho proceso, y obviamente se precisan más estudios que permitan identificar las intervenciones que podrían mejorarlo^49,83. Todas las partes interesadas, editores, autores, revisores y lectores, deben entender las limitaciones de la revisión por pares y esforzarse por mejorar el proceso. A continuación, se plantean algunas sugerencias de mejora.

Incluir nuevos y más jóvenes revisores por parte de las revistas

Tradicionalmente se considera que los mejores revisores son aquellos profesionales experimentados y consumados porque acumulan la sabiduría y la experiencia para dar buenos consejos. Sin embargo, los estudios sobre el desempeño de los revisores sugieren que este no es necesariamente el caso. Diversos estudios han evidenciado que las mejores revisiones (medidas tanto por su calidad como por su capacidad crítica y por su rapidez) fueron realizadas por los evaluadores más jóvenes; de hecho, una de las características de los revisores que se asociaron de forma independiente con la calidad de la evaluación fue la edad menor de 40 años^106–108. Acorde con ello, en otro estudio realizado durante un período de 14 años, los investigadores encontraron que las calificaciones de la calidad de los revisores se deterioraban lentamente con el tiempo¹⁰⁹, quizá debido a su progresiva menor disponibilidad de tiempo. Estos hallazgos sugieren que las revistas no deberían reclutar automáticamente a los investigadores más experimentados para realizar revisiones, ya que existe escasa evidencia de que estos vayan a elaborar revisiones de calidad más alta. Por lo tanto, es importante que las revistas recluten continuamente nuevos revisores jóvenes bien capacitados y monitoricen su eficacia a lo largo del tiempo.

Educar y entrenar en el proceso de revisión por pares

Los revisores, aunque son expertos en el tema sobre el que evalúan, no han recibido habitualmente capacitación específica para llevar a cabo el proceso de revisión por pares. Esto explica que, cuando se evalúa la calidad de las revisiones de manuscritos enviados, esta sea con frecuencia deficiente⁷⁸. Por tanto, una estrategia razonable sería ofrecer (por ejemplo, por parte de las revistas o editoriales) sesiones de capacitación para revisores, incluyendo una variedad de formatos: texto, presencial, seminarios web, podcasts y vídeos. Algunas organizaciones, como Committee on Publication Ethics y Sense about Science, han desarrollado materiales formativos para revisores (disponibles en: http://publicationethics.org y http://senseaboutscience.org/activities/peer-review-the-nuts-and-bolts/). Se debería, por ejemplo, incorporar una mejor capacitación en los programas de doctorado y posdoctorado, y fomentar las mentorías de revisores novatos^110,111. Las sociedades médicas deberían desempeñar aquí un papel más activo, organizando programas educativos. Sin embargo, el entrenamiento por sí solo parece tener un impacto modesto y fugaz¹¹²; los eventos educativos aislados tienen poco o ningún efecto sobre el cambio de comportamiento^113,114. Para ser más eficaces, los programas educativos deben ser multimodales (interdisciplinares) y longitudinales (a lo largo del tiempo).

Emplear plantillas estructuradas de revisión

El objetivo es que los revisores escriban comentarios y califiquen los elementos clave del manuscrito. Una estrategia, desarrollada por algunas revistas, consiste en hacer que el proceso sea más sistemático y coherente mediante el uso de formularios o plantillas de revisión, listas de verificación y escalas de puntuación¹⁹. Como mínimo, las revistas deberían instar a los revisores a escribir comentarios y calificar los aspectos críticos que más influyen en la decisión editorial, como son: la importancia de la pregunta de investigación, la originalidad del artículo, las fortalezas y debilidades de la metodología, la cohesión entre las diversas secciones del manuscrito, así como la organización del mismo, la calidad de la redacción y la utilidad de las tablas y figuras^86,115. A modo de ejemplo, algunos materiales que incluyen estas listas de verificación para diferentes tipos de estudios están disponibles en http://www.equator-network.org/toolkits/peer-reviewing-research/.

Generar retroalimentación a los revisores

Proporcionar comentarios a los revisores puede mejorar la calidad de las revisiones por pares. Una estrategia relativamente simple, que por otra parte puede aumentar la satisfacción de los revisores, consiste en informarles de la decisión editorial al final del proceso de revisión del manuscrito y compartir las críticas remitidas por todos los evaluadores. Otra alternativa consiste en calificar a los revisores (por parte de los editores) sobre la calidad de su evaluación (incluyendo el contenido, la estructura y la puntualidad), y compartir esta retroalimentación con ellos periódicamente para promover el aprendizaje; se ha sugerido que la elaboración de una especie de tarjeta de puntos para los revisores les permitiría comparar su desempeño con respecto a los demás evaluadores¹¹⁶. Evidentemente, esta puntuación podría ser también de utilidad para los editores a la hora de seleccionar de nuevo a un revisor o para prescindir de él en el futuro. Sin embargo, no debemos olvidar que la actividad de revisión por pares es voluntaria y altruista, por lo que es preciso que los editores sean cuidadosos con los potenciales comentarios negativos para evitar que los revisores puedan sentirse despreciados u ofendidos.

Eliminar la posibilidad de que los autores sugieran revisores de sus artículos

Una práctica común de algunas revistas científicas es permitir que los autores sugieran revisores potenciales¹¹⁷. Los autores pueden aprovechar esta opción y sugerir colegas o colaboradores que probablemente sean más «receptivos» a sus manuscritos⁶⁹. De hecho, diversos estudios han demostrado que los revisores sugeridos por los autores tienden a calificar los manuscritos de manera más benévola que los propuestos por los editores, siendo más probable que el artículo sea aceptado^97,118,119. A modo de ejemplo, un estudio examinó casi 800 informes de revisores de las 10 principales revistas biomédicas y observó que los revisores sugeridos por el autor hacían recomendaciones de publicación significativamente más favorables que los revisores propuestos por el editor, aunque no hubo diferencias en la calidad de ambas evaluaciones¹²⁰. Esta práctica de recomendar revisores afines ha permitido a autores sin escrúpulos sugerir a sus propios familiares, amigos y colegas, o proporcionar direcciones de correo electrónico falsas; en un caso especialmente vergonzoso de manipulación editorial, un investigador coreano escribió la mayoría de sus propios informes de evaluación, lo que finalmente despertó la sospecha del editor porque estos se completaron excesivamente rápido (a menudo dentro de las primeras 24 horas)¹²¹.

Incluir incentivos para los revisores

Ejemplos de incentivos para los revisores incluyen el acceso o la suscripción gratuita al contenido de la revista, el reconocimiento anual en la lista de revisores en el sitio web de la revista, el envío de cartas de agradecimiento a los revisores por parte de los editores, la convocatoria de premios al mejor revisor del año o el nombramiento para formar parte del comité editorial de la revista como reconocimiento a la excelencia de los mejores revisores. El incentivo económico, pago a los revisores por su tiempo, no es generalmente aceptado, considerándose que la revisión por pares es una actividad eminentemente altruista.

Finalmente, una posible estrategia para convertir la revisión por pares en una actividad más gratificante es fomentar su reconocimiento mediante la elaboración de certificados que puedan incluirse en expedientes académicos o profesionales de cara a futuras evaluaciones o promociones^122–124. En este escenario, hace no mucho que apareció en escena la iniciativa Publons (http://publons.com/), del grupo Web of Science, que trabaja con revisores y editores para dar crédito a esta altruista actividad y garantizar que el arduo trabajo de los revisores no pase desapercibido. La misión de Publons es proporcionar a los revisores un registro oficial de su trabajo, convirtiendo las revisiones por pares en actividades mensurables. De este modo, los revisores pueden crear y mantener, sin esfuerzo, un perfil personal que incluye, junto con una lista de sus publicaciones, un «historial de revisión por pares» verificado que enumera las revisiones que han realizado para las diversas revistas.

Reflexiones finales

Todos los investigadores se encontrarán, antes o después, con el proceso de revisión por pares en sus carreras, ya sea como autores cuando envíen su artículo a una revista para su publicación o como revisores cuando un editor de una revista les solicite la evaluación de un manuscrito⁴; de hecho, el mismo investigador puede, y suele, desempeñar el papel de autor un día y el de revisor al siguiente. La revisión por pares se basa en la confianza y cooperación de la comunidad científica y se considera hoy en día el estándar de oro, la piedra angular, para garantizar la adecuada publicación de los artículos científicos, representando una parte esencial del proceso de control de calidad de estos, al asegurar que la investigación publicada sea válida, significativa y original. Un informe de revisión por pares crítico y bien elaborado es un tesoro, un auténtico lujo, tanto para el autor como para el editor. Sirve como hoja de ruta para la transformación desde un imperfecto artículo original hasta otro final de mejor calidad y mayor valor para los lectores. Aunque la revisión por pares no es infalible y está lejos de ser perfecta, probablemente es el menos malo de los sistemas, y en cualquier caso no disponemos de una alternativa mejor. A veces, la revisión por pares puede verse meramente como un obstáculo a superar. Sin embargo, la misión del revisor no es impedir publicar un artículo sino conseguir sacar lo mejor de aquellos que merezcan serlo. Por ello, debemos contribuir a que los autores vean a los revisores como asesores útiles en lugar de adversarios hostiles. Elaborar una revisión constructiva y objetiva requiere tiempo y esfuerzo, pero hay algunos consejos simples, que hemos compartido en el presente manuscrito, que esperamos puedan ser de utilidad. Como revisores, debemos tratar de ser metódicos, constructivos, objetivos, informados, considerados y claros al elaborar nuestros informes de evaluación. En suma, debemos hacer todo lo posible por ponernos en el lugar del autor, siguiendo siempre la regla de oro de la reciprocidad: evaluar a los demás como nos gustaría ser evaluados. Contribuir al proceso de revisión por pares nos convierte en mejores investigadores y en mejores autores.

Conflicto de intereses

Javier P. Gisbert: Asesoramiento científico, soporte para investigación o actividades formativas: MSD, Abbvie, Pfizer, Kern Pharma, Biogen, Mylan, Takeda, Janssen, Roche, Sandoz, Celgene/Bristol Myers, Gilead/Galapagos, Lilly, Ferring, Faes Farma, Shire Pharmaceuticals, Dr. Falk Pharma, Tillotts Pharma, Chiesi, Casen Fleet, Gebro Pharma, Otsuka Pharmaceutical, Norgine, Vifor Pharma, Mayoly, Allergan, Diasorin, Gebro Pharma, Richen.

María Chaparro: Asesoramiento científico, soporte para investigación o actividades formativas: MSD, Abbvie, Hospira, Pfizer, Takeda, Janssen, Ferring, Shire Pharmaceuticals, Dr. Falk Pharma, Tillotts Pharma.