metricas
covid
Buscar en
Neurología
Toda la web
Inicio Neurología El proceso de “peer-review” en las Revistas Biomédicas: Cualidades de los R...
Información de la revista
Vol. 25. Núm. 9.
Páginas 521-529 (noviembre - diciembre 2010)
Compartir
Compartir
Descargar PDF
English PDF
Más opciones de artículo
Visitas
8170
Vol. 25. Núm. 9.
Páginas 521-529 (noviembre - diciembre 2010)
Editorial
Acceso a texto completo
El proceso de “peer-review” en las Revistas Biomédicas: Cualidades de los Revisores de “Excelencia”
The “peer-review” process in biomedical journals: characteristics of “Elite” reviewers
Visitas
8170
F. Alfonso
Unidad de Hemodinámica y Cardiología Intervencionista, Instituto Cardiovascular, Hospital Universitario Clínico San Carlos, Madrid, España
Contenido relacionado
J. Matías-Guiu, E. Moral, R. García-Ramos, E. Martínez-Vila
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Resumen

El proceso de “peer-review” es trascendental para la mejora de los artículos científicos y representa una ayuda inestimable para los editores en la selección de los trabajos para su publicación. Su calidad debe supervisarse muy estrechamente, ya que en ella se basa la credibilidad del proceso científico. El perfil general de los mejores revisores ya está definido pero todavía son necesarios nuevos estudios para conocer mejor sus características. El reto todavía pendiente, para los editores y para las sociedades científicas médicas en general, sigue siendo conseguir la excelencia dentro del proceso de “peer-review” y lograr que este importante trabajo sea valorado y reconocido como un mérito académico.

Palabras clave:
Revistas Biomédicas
Cualidades de los revisores
Revisión por pares
Abstract

The “peer-review” system is used to improve the quality of submitted scientific papers and provides invaluable help to the Editors in their decision-making process. The “peer-review” system remains the cornerstone of the scientific process and, therefore, its quality should be closely monitored. The profile of the “elite” reviewers has been described, but further studies are warranted to better identify their main characteristics. A major challenge, not only for Editors but also for medical scientific societies as a whole, is to continue to guarantee the excellence in the “peer-review” process and to ensure that it receives adequate academic recognition.

Keywords:
Biomedical Journals
Characteristics of “Elite” reviewers
Peer-review
Texto completo

Las revistas biomédicas tienen como objetivo fundamental publicar artículos científicos de calidad y conseguir la máxima difusión posible de sus contenidos1–5. Estas revistas constituyen el medio de comunicación natural de los últimos avances médicos entre la comunidad científica internacional. En un mundo académico cada vez más competitivo y globalizado, las revistas biomédicas se esfuerzan por alcanzar los más altos estándares de calidad, tanto desde el punto de vista editorial como científico. Como no pueden publicar todos los estudios que reciben, intentan seleccionar y elegir solamente aquellos artículos de mayor relevancia desde el punto de vista científico de acuerdo con su política editorial1–5. De esta forma, las que alcancen un mayor reconocimiento internacional serán, a su vez, las más atractivas para los investigadores, con lo que lograrán entrar en el “círculo del prestigio” y siempre estarán en disposición de poder elegir los mejores trabajos originales1–5.

El proceso científico se basa en el sistema de “peer-review” o revisión por pares (RPP), expertos independientes –externos y ajenos al equipo de editorial- que realizan una revisión crítica y valoran el interés de los trabajos remitidos4–7. Este proceso ayuda a mejorar el contenido científico del artículo, consigue detectar aspectos que deben ser aclarados, subsanar inconsistencias o errores y, además, permite establecer el interés relativo de los manuscritos de cara a la decisión final de los editores4–7. Los hallazgos científicos no pueden considerarse como tales hasta que son publicados en una revista médica. En este contexto, el sistema de RPP adquiere una importancia capital, permitiendo el avance del conocimiento científico y asegurando la integridad y credibilidad de la literatura médica4–7. Aunque el sistema de RPP tiene una influencia trascendental en el proceso de selección, la decisión final sobre la publicación o no de los artículos científicos recae directamente en el editor de la revista2,8.

En este número de NEUROLOGIA, Matías-Guiu et al9, analizan las características de los revisores que han valorado trabajos para esta revista en relación con sus respuestas. Los editores de NEUROLOGIA demuestran que las respuestas obtenidas fueron mejores en los evaluadores más jóvenes y en las mujeres. Además, la pertenencia al Comité Editorial de la publicación se asoció a una menor demora en las contestaciones. Finalmente, cuando por motivos editoriales era necesario ampliar el número de evaluadores, la tasa de respuesta caía pero, sin embargo, en los buenos evaluadores no se evidenciaba un “efecto fatiga” al crecer el número de invitaciones que recibían9. Este trabajo es de gran interés editorial y nos permite realizar algunas reflexiones generales sobre el proceso de RPP.

Consideraciones generales del proceso de “peer review

Para valorar los méritos científicos de un trabajo de investigación original lo ideal es que sea analizado críticamente por expertos de prestigio reconocido en dicha materia4–7,10–14. Estos expertos independientes manejan la información más reciente sobre el tema tratado y, por tanto, pueden identificar con facilidad las aportaciones originales de la investigación que se presenta sobre lo ya conocido. Además, se encuentran en una situación óptima para revisar críticamente la información disponible en las bases de datos bibliométricas internacionales y analizarla en relación con el nuevo estudio. Al trabajar en esa área del conocimiento tienen información de primera mano sobre la metodología utilizada y sobre las limitaciones de las técnicas empleadas4–7,10–14. Esta posición de privilegio les autoriza para valorar los trabajos de forma crítica y sugerir aclaraciones metodológicas o incluso que se realicen nuevos análisis para mejorar y completar el estudio. Sin embargo, los revisores no deben ser “censores” ni “inquisidores” que limiten el avance del conocimiento al rechazar todos los trabajos que no sean consistentes con los “dogmas” prevalentes15.

¿Qué valoramos?

La mayoría de los investigadores (y también los editores) suelen valorar la originalidad y la novedad sobre el conocimiento previo como la característica más importante a la hora de puntuar un trabajo científico4-7,10–14. La originalidad se considera fundamental en las revistas desde que Franz J. Ingelfinger resaltó hace ya 4 décadas16 la importancia de que los trabajos científicos fueran originales y que nunca hubieran sido publicados previamente, ni siquiera de forma parcial. Por eso los trabajos que simplemente confirman o matizan hipótesis ya conocidas o los que reproducen resultados previos en escenarios diferentes reciben una menor prioridad. Además, también deben identificarse los trabajos claramente redundantes para evitar su publicación17. El rigor metodológico asimismo es muy importante, ya que si el diseño del estudio es adecuado y la metodología es cuidadosa, los resultados serán más consistentes. La metodología debe estar descrita de una forma lo suficientemente explícita para permitir a otros investigadores reproducir los experimentos realizados y ser capaces de confirmar los resultados. También es importante que las conclusiones se basen en los datos obtenidos y deben diferenciarse claramente de las interpretaciones de carácter especulativo4-7,10–14. Los editores deben mantener actualizados los listados temáticos en los que sus revisores son expertos para poder asignarles los manuscritos adecuados.

¿Cómo se hace una revisión?

Una excelente forma de empezar una revisión es resumiendo el diseño y los hallazgos principales del estudio al comienzo del informe de evaluación. La introducción (donde se suele resaltar la importancia de la investigación) y los métodos (donde se determina la calidad del estudio) deben analizarse minuciosamente4–7,10–14. En su caso, debe revisarse la literatura pertinente utilizando los motores electrónicos de búsqueda más conocidos o incluso los proporcionados por la propia revista. Los evaluadores suelen considerarse “jueces” pero también deben actuar como “abogados de los autores” –tratando cada manuscrito como les gustaría que fueran tratados los suyos- aunque su misión fundamental será la de servir como “abogados de la revista” ejerciendo funciones de filtro12. Se ha sugerido que revisar algunos listados de variables puede ayudar a los evaluadores a realizar una crítica más completa12. Actualmente, la mayoría de las revistas que emplean sistemas de gestión electrónica de manuscritos obligan a completar al revisor una serie de valoraciones cuantitativas y cualitativas, aparte de rellenar los apartados específicos de comentarios para los autores (donde no debe hacerse referencia a la posibilidad de publicación) y comentarios dirigidos directamente al editor18. Estos sistemas electrónicos agilizan el proceso de RPP, facilitan la comunicación entre autores, evaluadores, y editores, y generan un cierto efecto llamada para el envío de manuscritos18.

¿Cuales son las funciones del revisor?

Se han señalado las siguientes responsabilidades de los evaluadores4–7,10–14: 1) comunicar inmediatamente a la revista cuando no pueden realizar una evaluación para evitar demoras en el proceso de RPP; 2) reconocer problemas éticos o conflictos de interés; 3) asegurar la validez científica del trabajo revisando su metodología y resultados; 4) valorar su originalidad; 5) resaltar sus fortalezas y limitaciones; 6) sugerir formas de mejorar el manuscrito, 7) respetar la confidencialidad de todo el proceso y la propiedad intelectual de los autores19. Otros expertos20 resumen, como funciones más importantes de los revisores las de juzgar si los manuscritos son: 1) importantes, 2) científicamente válidos, 3) coherentes, 4) legibles y 5) apropiados para la revista en particular. A su vez, DeMaria14 destacó las cualidades de los revisores de excelencia. Los revisores de “elite” deben estar altamente capacitados en el tema que evalúan y ser expeditivos. Deben ser altamente objetivos y capaces de generar críticas analíticas que identifiquen las virtudes y debilidades del estudio de una forma constructiva. También deben ser capaces de detectar todos los errores graves de diseño o los problemas metodológicos que invaliden las conclusiones y deben ser consistentes en sus comentarios para los autores y para los editores. Por último, no deben ser vagos en sus apreciaciones sino que deben basarlas en referencias concretas y, en caso necesario, sugerir la implementación de los métodos estadísticos más adecuados14.

Ser revisor de una revista prestigiosa es a la vez un gran privilegio y una gran responsabilidad4–7,10–14. El proceso se basa en la confianza y la credibilidad. En realidad, realizar informes de RPP tiene gran similitud con el proceso de diseño, desarrollo y redacción de un artículo científico original y, por tanto, requiere los mismos altos estándares de perfeccionismo y honestidad. Como en cualquier proceso de escritura, la calidad puede ser variable porque, de alguna manera, depende de un cierto grado de inspiración. Los evaluadores siempre plantearán críticas constructivas y en todo momento mantendrán un lenguaje respetuoso. Deben recordar que en muchos casos sus comentarios tendrán una importante labor educadora. Sus críticas serán mesuradas, teniendo en cuenta el peso relativo de la revista dentro del conjunto de las publicaciones de la disciplina4–7,10–14. Siempre deben recordar y respetar el esfuerzo que han requerido los investigadores para culminar su trabajo de investigación y lograr plasmarlo en un manuscrito definitivo. Los editores deben evitar que los evaluadores transmitan una sensación de superioridad, con comentarios sarcásticos o destructivos, amparándose en su anonimato. Los evaluadores deben conocer bien las normas de la revista y, de esta forma, podrán ayudar a los autores a satisfacer sus requisitos formales. Finalmente, los revisores no deben tener conflictos de interés (económicos ni de otra índole) que puedan percibirse como un potencial sesgo en sus opiniones. En caso de duda, es mejor declararlos abiertamente a los editores para que ellos decidan6,21.

¿Es un sistema perfecto?

La RPP ya fue utilizada en 1731 por la “Royal Society of Edinburgh” para la valoración de manuscritos científicos15. Sin embargo su aplicación sistemática por las revistas fue muy posterior7,15,22. El proceso de RPP es universalmente utilizado y defendido tanto por los editores como por la comunidad científica internacional pero, al mismo tiempo, siempre ha sido cuestionado y criticado23. Cualquier persona con cierta experiencia en el proceso de RPP, bien como autor bien como revisor, suele ser capaz de contar historias aparentemente inverosímiles de situaciones vividas en primera persona. Richard Smith, ex-editor del BMJ23 resumía así las limitaciones del proceso de RPP: 1) es poco reproducible y es subjetivo (poco acuerdo entre revisores), 2) puede ser sesgado, 3) no evita un componente de suerte (puede ser una lotería), 4) su capacidad de detectar errores importantes en los manuscritos es limitada y es muy poco eficaz para detectar el fraude científico, 5) representa un despilfarro de actividad académica por parte de los revisores (que podrían emplear -de forma más productiva- en realizar investigación original), 6) durante el mismo pueden producirse abusos, y 7) aunque pueda parecer paradójico, este proceso diseñado para valorar la ciencia no se basa en evidencias científicas que prueben su eficacia23. En este sentido, una interesante revisión sistemática y meta-análisis ha confirmado que realmente existe poca evidencia científica, contrastada con los estudios adecuados, sobre el valor del proceso de RPP11. El grupo de Davidoff et al11 revisaron toda la literatura disponible y únicamente encontraron 19 estudios en los que se analizaba adecuadamente (de una forma comparativa e intentando controlar por factores de confusión) el valor del proceso de RPP. Estos estudios analizaban las implicaciones del enmascaramiento, el empleo de listas de variables, las estrategias de comunicación con la revista, la existencia de sesgos sistemáticos en los revisores y la influencia del proceso de RPP en la “calidad” de los estudios publicados11. Los resultados de todos estos estudios fueron, en general, o no concluyentes o muy controvertidos.

Debemos, por tanto, reconocer que, en comparación con otras áreas del conocimiento, la evidencia que apoya los beneficios del sistema de RPP es relativamente limitada11,23. Sin embargo, como hemos dicho, todos los editores lo defienden y también se valora muy positivamente por la comunidad científica internacional4–7,10–14. En una encuesta reciente realizada entre más de 3.040 investigadores académicos, el 93% respondieron que el proceso de RPP era necesario y, además, la mayoría consideraron que había ayudado significativamente a mejorar su último artículo publicado24,25. Es, sin lugar a dudas, el menos malo de los sistemas posibles. No obstante, no es necesario que los editores envíen “todos” los trabajos a revisión externa, ya que aquellos de baja calidad pueden ser identificados internamente y rechazados directamente por los editores26. Esto evita que se consuman recursos editoriales en manuscritos que no tienen posibilidades de aceptación y facilita que puedan ser enviados precozmente para su valoración en otras revistas más adecuadas. Johnston et al26 realizaron un estudio aleatorizado sobre este tema donde se valoraron 351 manuscritos. De ellos, 88 fueron asignados a RPP convencional y 263 a valoración inicial por los editores (182 fueron rechazados directamente por los editores y 81 enviados finalmente a RPP convencional). El brazo asignado a RPP sistemática se asoció a un mayor trabajo de revisión y a un significativo retraso en la decisión final. Sin embargo, la valoración del mérito e impacto científico de los manuscritos finalmente aceptados resultaron similares con ambas estrategias editoriales26.

¿Se puede educar al revisor?

Según Davidoff, el proceso de RPP sólo puede aprenderse con la práctica, es decir con el método de ensayo y error (“experimental learming”)10. Se ha sugerido que la “educación” de los revisores podría mejorar su rendimiento y la calidad de sus revisiones. Sin embargo, en un estudio controlado y aleatorizado Schroter et al27 no lograron demostrar el valor de una estrategia de intervención educativa. En este estudio, las modestas mejoras obtenidas en el brazo de intervención en algunas variables de calidad de las revisiones no se consideraron de relevancia editorial. El estudio fue criticado porque la intervención fue excesivamente breve, únicamente centrada en aprendizaje de tipo pasivo y porque los revisores ya eran personas experimentadas y, por tanto, el efecto del aprendizaje podía no ser tan evidente27. Queda pendiente por establecer si otros programas de intervención más ambiciosos podrían obtener resultados más alentadores10. También se ha criticado que el proceso de RPP no logra detectar todos los problemas que presentan los trabajos. En un curioso estudio americano28 se utilizó un manuscrito ficticio en el que los editores habían introducido de forma deliberada una serie de errores importantes. Aunque los revisores (n=262) identificaron muchos de los problemas hasta 2/3 de los mismos no fueron identificados. En concreto, el 68% de los revisores no se dieron cuenta de que las conclusiones del estudio no se basaban en los resultados presentados. Los revisores que identificaban menos errores tendían a aconsejar la aceptación del manuscrito28. Para obviar este tipo de problemas se ha sugerido la conveniencia de incluir revisores “profesionalizados”. Así, algunas revistas incluyen sistemáticamente a revisores expertos en metodología, epidemiología y bioestadística en la valoración de los manuscritos originales que reciben2. Esta decisión puede estar justificada por la importancia de los aspectos metodológicos, muchas veces no valorados adecuadamente por los expertos clínicos, y además por la función docente y de ayuda para los autores2. Otras revistas, por el contrario, sólo piden asesoramiento estadístico cuando los manuscritos ya están en fase de aceptación.

Concordancia y revisores “hueso”

Una crítica muy extendida es que el grado de acuerdo entre los revisores suele ser escaso, aunque esto lo saben, mejor que nadie, los propios editores. Incluso en algunos estudios el acuerdo supera por muy poco el que sería esperable simplemente por azar23,29. Con el tiempo los editores conocen perfectamente quiénes son sus mejores revisores en cuanto a la calidad de sus evaluaciones y la consistencia y fiabilidad de sus respuestas. Es fácil de entender que, en caso de discrepancias, los editores atiendan mucho más fácilmente a recomendaciones bien fundamentadas, de evaluadores rigurosos que han revisado exhaustivamente el manuscrito, que a aquellas basadas en valoraciones muy superficiales2,7. Por otro lado, la calidad y la orientación general de las recomendaciones de un revisor determinado suele mantenerse relativamente estable. Hay un reducido número de revisores (<1%) que siempre son muy fáciles de contentar (“entusiastas”) mientras que otros son siempre muy duros (“asesinos”) y esto debe ser tenido en cuenta por los editores para mantener un balance adecuado29. A pesar de los desacuerdos en las evaluaciones, todos los estudios confirman la alta apreciación que los editores muestran por los comentarios de los evaluadores2,7,29. Lógicamente, los editores de las revistas más selectivas siempre prestarán mayor atención y darán más crédito a los revisores más críticos30.

La recomendación aconsejando rechazo dependerá del límite de tolerancia del revisor y del número de errores identificados en el manuscrito. Algunos estudios31 han sugerido que las características más importantes asociadas con recomendaciones de aceptación fueron: 1) la calidad científica, 2) la importancia del estudio y 3) el origen geográfico del manuscrito. Curiosamente, los manuscritos de América del Norte tenían más posibilidad de éxito que los de otros países, incluso cuando se ajustaban por las puntuaciones de calidad científica y de importancia y esto fue confirmado por estudios independientes31,32. Se ha sugerido que la tasa de rechazo no se afecta por la edad del revisor33. Sin embargo, aquellos revisores que publican habitualmente artículos en las mejores revistas de cada especialidad suelen ser más críticos durante el proceso de RPP y más frecuentemente aconsejan el rechazo del manuscrito en sus evaluaciones33.

Anonimato y elección del revisor

En nuestro país generalmente se utiliza un sistema de “doble ciego” en el proceso de RPP2,7. De este modo, ni el autor conoce a sus evaluadores ni éstos conocen la identidad de los autores. En la encuesta antes mencionada realizada a 3.040 profesionales del ámbito académico, el 71% prefería el sistema de RPP doble ciego24,25. En muchas revistas anglosajonas, sin embargo, se opta por un sistema de ciego simple en el cual la identidad de los autores es conocida pero los revisores se mantienen en el anonimato. Varios estudios aleatorizados han analizado el posible beneficio de cegar a los revisores para los nombres de los autores34–36. Este enmascaramiento no mejoraba la detección de errores ni la calidad de las revisiones y tampoco acortaba el tiempo de revisión. Por eso este método generalmente no se suele adoptar, ya que cegar la identidad de los autores suele ser muy complicado y además poco efectivo porque, a pesar de los esfuerzos editoriales, los revisores suelen terminan identificando a los autores34–36. Sin embargo, en general se prefiere que los revisores queden en el anonimato2,7. Muy recientemente la importancia de mantener el anonimato de los revisores que participan en RPP ha sido defendida y aceptada en procesos judiciales americanos interpuestos por poderosas compañías farmacéuticas multinacionales que litigaban por conocer sus nombres37. En 1999 Richard Smith, entonces editor del Brithis Medical Journal38, inició un novedoso sistema “abierto” de revisión en el que se pedía a los revisores que firmaran sus comentarios. Nature desarrolló un proceso similar39. Esto tiene la ventaja de que así este trabajo se reconoce y, sobre todo, de que los revisores se hacen públicamente “responsables” de sus críticas38. El sistema evita que algunos revisores amparados en el anonimato realicen comentarios destructivos o simplemente, superficiales y de baja calidad. Un estudio aleatorizado40 demostró que con las revisiones abiertas es menor el número de revisores que acepta la invitación para realizar la evaluación (se puede perder hasta un 25% de los revisores) y los informes tardan más en efectuarse, aunque éstos son mas corteses y de mejor calidad. El problema fundamental es que estas críticas suelen ser son mucho mas favorables a los autores40. Aunque es importante que los revisores se responsabilicen de sus revisiones, esta estrategia también puede favorecer un dialogo “extra-editorial” indeseable entre autores y revisores, especialmente en ámbitos científicos reducidos y cerrados. La iniciativa todavía está en fase experimental y pendiente de que se establezcan sus resultados definitivos38–40.

Otro tema que genera cierta polémica es si se deben aceptar los revisores sugeridos directamente por los autores. Generalmente, los editores no aceptan estas sugerencias aunque sí suelen respetar las peticiones de que se excluyan del proceso a revisores concretos. Algunos estudios han sugerido que los revisores elegidos por los editores proporcionan revisiones de mayor calidad y son algo más rápidas, aunque las diferencias encontradas no parecen tener gran relevancia práctica41. Por el contrario, otros estudios han sugerido que el tiempo de revisión y la calidad de las revisiones es muy similar42,43. En todos los estudios, los revisores sugeridos por los editores suelen ser muchos menos favorables a la aceptación del manuscrito que los elegidos por los autores41–43

Estudios previos sobre la calidad de los revisores

En un interesante estudio previo, Matías-Guiu et al7 describieron las características fundamentales del proceso de RPP. Se destacaban aspectos de imparcialidad, equidad, competencia y decisión, como elementos claves en el proceso de mejora del artículo y en la toma de decisiones. Al estudiar la competencia de los revisores se adelantaba ya que los mejores evaluadores son aquellos de menor edad, con mejores curriculum vitae, los pertenecientes a unidades de investigación reconocidas y aquellos que son bien conocidos por los editores7. Se ha sugerido que el pertenecer a una institución académica de prestigio puede mejorar la calidad de los revisores que estarán inmersos en un ambiente más científico y rodeados de mejores medios materiales e intelectuales (apoyo informático, estadístico etc.). También se ha considerado que las instituciones académicas permiten obtener un “tiempo protegido” que podría emplearse en el proceso de RPP20.

Curiosamente, sin embargo, muchos estudios han demostrado que la calidad de la revisión –valorada con “scores” validados- declinaba al aumentar el rango académico del evaluador41. Stossel et al44 fueron los primeros en alertar sobre la existencia de una correlación inversa entre la reputación como líder de opinión y el rango académico y la calidad de las evaluaciones recibidas. Además, los revisores con estas características también fueron los que rechazaron más frecuentemente realizar las evaluaciones. En el estudio de Evans et al45 se evaluó el curriculum vitae de 201 internistas. Tras eliminar la influencia de muchas variables de confusión, sólo la edad <40 años y trabajar para instituciones académicas de excelencia predijeron las evaluaciones de mayor calidad. El género, pertenecer al Comité Editorial, ser un autor prolífico, o tener un alto rango académico no afectaban a la calidad de las revisiones. En este estudio, un revisor menorde 40 años, conocido por el editor, perteneciente a una universidad de prestigio y anónimo para los autores (4% de los revisores) tenía una probabilidad del 87% de generar una revisión de máxima calidad. Por el contrario, si no tenía ninguna de estas características, la probabilidad era de tan sólo el 7%45.

En el estudio de Black46 se evaluaron las revisiones de 420 manuscritos enviados al BMJ. Solo la edad <40 años y un entrenamiento formal en epidemiología se asociaron con la calidad de las revisiones. Sin embargo, la adscripción académica, la experiencia en la publicación o en investigación y la pertenecía al Comité Editorial no se asociaron con la calidad de las evaluaciones. A su vez, en el trabajo de Kliewer20 las puntuaciones de los editores de una revista de radiología también fueron mejores para los evaluadores de menor edad y para aquéllos que ejercían en instituciones académicas. Una vez más, ni el género, los años de experiencia como revisor, el rango académico o la valoración final del manuscrito se asociaban con las puntuaciones otorgadas a la calidad de las evaluaciones.

Finalmente, Callahan et al47 estudiaron la relación entre la calidad de las revisiones y el entrenamiento previo o la experiencia de los evaluadores. En este estudio 307 revisores completaron un cuestionario estructurado sobre diferentes variables que intentaban analizar la experiencia previa. Posteriormente, los editores valoraron de una forma prospectiva, durante un periodo de 4 años, las evaluaciones recibidas (2,856 informes en total). Utilizando una escala de calidad validada y estandarizada se identificaron a: 1) revisores de excelencia y 2) revisores satisfactorios; ambos grupos fueron comparados con los revisores restantes. En el análisis multivariado, variables como el rango académico, entrenamiento formal en lectura crítica o métodos estadísticos, o ser investigador principal de proyectos financiados, no se relacionaba con la calidad de las revisiones. Sorprendentemente, el hecho de pertenecer a un comité ético hospitalario se asociaba con peores evaluaciones. Los únicos predictores independientes de calidad de las revisiones fueron trabajar en un centro universitario y la juventud de los evaluadores. Estar presentes en otros Comités Editoriales (para revisores de excelencia) o haber pertenecido a comités de selección de becas (para revisores satisfactorios) sólo ayudaba a mejorar parcialmente algunos de los estimadores de calidad. Los autores concluían que no existen antecedentes académicos claros que ayuden a identificar con fiabilidad a los mejores revisores. Esto resalta la importancia de que los editores supervisen muy cerca la calidad de las revisiones y, en general, todo el proceso de RPP de sus revistas47.

Estudio actual

Matías-Guiu et al9, del equipo directivo de NEUROLOGIA, analizan el perfil de los expertos externos que valoraron trabajos para esta publicación durante los últimos 3,5 años en relación con las características de sus evaluaciones. Con el objetivo de identificar el perfil de sus mejores evaluadores se analizó su edad, género y su pertenencia o no al Comité Editorial de la revista. La tasa de respuesta a las invitaciones para revisar artículos fue mayor a medida que disminuía la edad de evaluadores y también cuando los expertos invitados eran mujeres. La condición de miembro del Comité Editorial no condicionó una mejor tasa de respuesta aunque los evaluadores de este colectivo tuvieron una menor demora en sus contestaciones9. Este estudio permite profundizar en el perfil de los mejores evaluadores de las revistas biomédicas en nuestro entorno científico y socio-sanitario. En nuestro conocimiento no existen en nuestro país trabajos editoriales similares sobre este tema. El tema es relevante ya que las conclusiones de este estudio pueden servir para ayudar a mejorar y agilizar el proceso de RPP.

Tiempo y tasa de respuesta

Con buen criterio, en este estudio se excluyeron del análisis aquellas valoraciones en las que el revisor contestó que no podría realizar la evaluación en el tiempo solicitado9. Está claro que, de forma ocasional, incluso los mejores revisores pueden estar sobrecargados con excesivos compromisos clínicos o académicos previos. Siempre es mejor avisar lo antes posible de que la evaluación no podrá realizarse para permitir que el equipo editorial busque un sustituto a tiempo. De otra forma se producen retrasos indeseables que dañan el interés de los autores y el prestigio de la propia revista. Este problema, sin embargo, sólo puede entenderse como algo excepcional en los evaluadores de élite que siempre deben priorizar su compromiso con la revista2,14. No es infrecuente que los autores que se quejan más amargamente cuando sus trabajos se retrasan durante el proceso de RPP, sean los mismos a quienes previamente los editores han tenido que reclamar insistentemente que envíen sus evaluaciones2. En realidad un tiempo de 4 semanas es más que razonable para permitir acomodar compromisos previos. De hecho, actualmente la mayor parte de las revistas médicas solicitan recibir las evaluaciones dentro de un plazo de 15 días2. Los tiempos de evaluación repercuten en los tiempos para la primera decisión editorial (la más importante) y en los tiempos totales de publicación de los manuscritos aceptados. Éstos son aspectos claves de calidad editorial, con implicaciones tanto a nivel científico (para los investigadores) como bibliométrico (para las propia revista)3,8. Una de las variables de resultado más interesantes del estudio es el tiempo medio en recibir las evaluaciones, que fue de 31 días. Como decíamos, es un tiempo razonable pero, al mismo tiempo, señala una oportunidad de mejora editorial. Ésta debería considerarse dentro de una estrategia de “esfuerzo en común” que no sólo atañe a los editores de la revista sino a todos los miembros de esta sociedad que, bien como autores o como lectores, serán los beneficiados directos de las mejoras de calidad obtenidas.

Edad

Se ha sugerido que los revisores más jóvenes detectan mejor los errores en los manuscritos que los revisores más seniors13. Aparte de su interés por alcanzar reconocimiento profesional, suelen haber recibido más recientemente entrenamiento en habilidades de diseño, metodología y estadística y conocen mejor las bases de las técnicas diagnósticas o terapéuticas más novedosas que suelen ser objeto o base de los estudios científicos20. Además, los revisores más jóvenes buscan más datos en la literatura y están más abiertos y receptivos para aceptar nuevas ideas mientras que los de mayor edad se basan más frecuentemente en su experiencia y mantienen opiniones más arraigadas, lo que se ha denominado “sesgo de confirmación20. También se ha sugerido que los revisores de mayor edad y aquéllos con rangos académicos más altos son menos impresionables por los nuevos trabajos y que tienden a dar menores puntuaciones globales a los trabajos31. Ya hemos destacado cómo en todos los estudios los jóvenes tienen mayor calidad en sus revisiones44–47.

Mujeres

A veces las mujeres necesitan esforzarse mucho más para lograr ascender por las resbaladizas escaleras de la promoción académica y para superar el ya tópico “techo de cristal” 48–51. Aunque en los países desarrollados las mujeres representan ya más de la mitad de los estudiantes de Medicina, su presencia en cargos académicos de relevancia sigue siendo todavía muy escasa y, desde luego, menor de la esperable48–50. Algunos estudios han sugerido que las mujeres escriben menos artículos en revistas científicas. También que son invitadas menos frecuentemente a escribir comentarios editoriales en revistas de prestigio y que están pobremente representadas en los Comités Editoriales48–51. Incluso en nuestro país datos recientes confirman este problema48. Se ha especulado que la competitividad propia del mundo académico requiere horarios más prolongados que muchas mujeres deciden no elegir. También se ha sugerido que, en general, las mujeres prefieren orientarse hacia posiciones con mayor componente clínico o docente que hacia el mundo de la investigación. Esto podría explicar, al menos en parte, su menor presencia en el mundo académico48–51. La parte positiva de la información disponible es que las cosas ya están cambiando y en todos los estudios, tanto en España como a nivel internacional, el número de autoras se está incrementando de forma progresiva48–51. Además, en cuanto a la calidad del proceso de RPP, su comportamiento es muy similar al de los varones y en algunos estudios ha sido incluso superior. Un estudio realizado por los editores de JAMA52 sugería que, en comparación con las revisoras, los revisores varones daban más frecuentemente recomendaciones extremas de aceptación o rechazo. Los datos del estudio presentado en este número de NEUROLOGIA indican que las mujeres obtienen unos excelentes resultados en el proceso de RPP9. Queda por definir si la menor edad de las mujeres de este estudio (46 vs 52 años) condicionó los resultados de sus respuestas o si éstos pueden achacarse directamente a otros aspectos relativos al género. También hubiera sido interesante conocer el porcentaje de mujeres evaluadoras que pertenecían al Comité Editorial y si esto modificaba o no los resultados obtenidos. Estos datos podrían ayudar a aclarar la compleja interrelación que parece existir entre estos tres factores y su potencial influencia en las variables de respuesta analizadas. En cualquier caso, los resultados del trabajo de Matías-Guiu et al9 demuestran convincentemente que, en nuestro medio, las mujeres son tan buenas evaluadoras –si no mejores- que los varones, por lo que no sólo deben participar cada vez más en el proceso de RPP, sino que también tener una presencia creciente en los Comités Editoriales de nuestras revistas48.

Miembros del Comité Editorial

En este estudio, la edad de los evaluadores pertenecientes al Comité Editorial era mayor que la de los simples colaboradores con la revista (54 vs 49 años). Sin embargo, la demora media de los miembros del Comité Editorial era menor que la de los colaboradores no miembros (26 vs 33 días)9. Esto puede apuntar a que los miembros del Comité Editorial de esta revista están especialmente estimulados y claramente comprometidos con su tarea. Además, la falta de un “fenómeno fatiga” en los revisores más utilizados demuestra la habilidad de los editores de la revista para estimular a sus miembros de mayor confianza. A modo de ejemplo, el revisor que recibió un mayor número de invitaciones fue, sorprendentemente, el que menos tiempo empleo en finalizarlas (14 solicitudes de revisión con un tiempo medio de demora de sólo 11 días)9. Curiosamente, un estudio reciente parece sugerir que los miembros del Comité Editorial de una revista publican más en esa misma revista que miembros equivalentes de otros Comités Editoriales53. Sin embargo, no queda claro si esto podría deberse a sesgos internos en el proceso de RPP o en las decisiones editoriales, o bien a la remisión preferencial de manuscritos a la revista con la que los revisores están más familiarizados.

Los miembros del Comité Editorial de una revista deben expresar todo el dinamismo científico que atesora la sociedad correspondiente. Los miembros científicamente más activos deben asumir un mayor protagonismo en el proceso de RPP. A veces miembros más seniors pueden ir adquiriendo un número creciente de responsabilidades académicas que les dificulta mantener los estándares de calidad requeridos por el proceso de RPP. Aunque se podría considerar que en este momento estos miembros debieran ser reemplazados, esta decisión puede no ser tan fácil ya que muchos de ellos exhiben un alto prestigio internacional. Debemos recordar que los indicadores que analizan la calidad de las revistas valoran entre otras consideraciones el prestigio internacional y el impacto científico de los miembros de su Comité Editorial. Probablemente lo ideal es conseguir un equilibrio y obtener la máxima colaboración de los miembros más prestigiosos de la sociedad pero, al mismo tiempo, actualizar el comité con miembros jóvenes y entusiastas aunque su prestigio internacional todavía no esté consolidado. En cualquier caso, la elección del Comité Editorial es responsabilidad exclusiva del editor2,6 y en su decisión siempre deberán prevalecer los aspectos científicos y el interés de la revista frente a otras consideraciones de tipo más político.

Otros Aspectos del Estudio

Hay algunos aspectos potencialmente interesantes que no han sido analizados en este trabajo pero que podrían ser tenidos en cuenta en estudios posteriores estudios. Como hemos indicado, la mayoría de las revistas biomédicas “califican” a sus propios evaluadores, aunque dichas valoraciones suelen mantenerse en la intimidad de los editores2. Independientemente de la tasa de respuesta y la demora, los editores evalúan las revisiones efectuadas atendiendo a su calidad, profundidad y a su rigor científico. Este aspecto de la “calidad de las evaluaciones” en relación con el perfil de los evaluadores no ha podido ser analizado en el presente trabajo pero sería muy interesante conocer si, también en nuestro país, esta variable está influida por el perfil científico de los evaluadores. En este sentido, conocer si los mejores evaluadores tienen un papel especialmente activo como autores en publicaciones nacionales o internacionales de prestigio o bien si están especialmente vinculados con el mundo académico o universitario podría ser de gran interés. Sin embargo, este proceso hubiera requerido una metodología mucho más compleja que la empleada en el estudio actual que, siendo de gran sencillez (datos directos del registro de socios de la Sociedad Española de Neurología), tiene una validez interna incuestionable9.

¿Qué podemos hacer para estimular a nuestros revisores?

Paradójicamente, a pesar de la trascendencia del proceso de RPP, esta actividad académica está muy poco reconocida. Debido al anonimato de los evaluadores, sólo los editores conocen el valor real de su trabajo. Realizar de forma precoz un buen informe de revisión es un trabajo voluntario que sólo puede generar nuevas invitaciones… y más trabajo4–7,10–14. Por eso, sin un reconocimiento explícito, con el tiempo puede resultar tentador abandonar el proceso de RPP y dedicarse a otras actividades académicamente más “rentables”.

Ser invitado a valorar un trabajo para una revista de prestigio debe considerarse como un verdadero honor. Muchas veces este esfuerzo de “altruismo académico” se realiza simplemente para sentirse un miembro activo de la comunidad científica. En esta familia todos somos autores pero, al mismo tiempo, todos debemos servir como revisores. La recompensa por ser autor es clara. La gratificación más importante del revisor es saber que ha contribuido a mejorar la calidad de la ciencia que se publica. Con el tiempo, los revisores consolidados suelen ser invitados a formar parte del Comité Editorial. Sin embargo, este “escaparate” está muy limitado y no todos los revisores de calidad pueden verse incluidos en él2. Uno de los problemas mas desagradables que pueden encontrarse los editores de revistas con Comités Editoriales bien asentados es ver cómo algunos buenos revisores jóvenes, que no logran ser incorporados (y reconocidos) en los mismos a pesar de haber desarrollado una excelente actividad durante varios años, terminan por decepcionarse y no aceptar nuevas invitaciones2.

¿Qué incentivos tangibles se pueden ofrecer para estimular un sistema tan vital para la salud del proceso científico? Aparte del reconocimiento de participar como colaborador (cartas del editor o publicación de agradecimientos en páginas especiales) o de pertenecer al Comité Editorial, existen otros estímulos2. Muchas sociedades científicas otorgan créditos oficiales de formación médica continuada por actividades de RPP2,14. El número de horas que se emplea en finalizar una de estas revisiones puede establecerse y computarse como actividad acreditada. De hecho, algunas publicaciones han desarrollado un “score” en el que se pondera de forma combinada -aunque con diferente peso- la calidad, el número de evaluaciones y el tiempo empleado en realizarlas2. Así, cada revisor alcanzará anualmente una puntuación que, de forma automática, le otorgará los correspondientes créditos de formación continuada. Los evaluadores también pueden ser premiados con acceso libre a los buscadores bibliométricos de la revista o con suscripciones gratuitas a la publicación. Otra forma, ya clásica, de premiar el trabajo de RPP es invitar al revisor a escribir un editorial acompañante para poner en perspectiva los aspectos más destacables del artículo original aceptado2. Esto parece especialmente acertado, ya que dicho revisor es, por definición, un experto en el tema y conoce el artículo en profundidad por lo que fácilmente podrá resaltar sus méritos y limitaciones. Además, en muchos países este trabajo puede recompensarse con cartas de recomendación especiales del editor para promociones académicas. Finalmente, algunas revistas premian a sus mejores evaluadores con premios específicos (revisor de élite) que se entregan oficialmente durante las correspondientes reuniones científicas2,14.

Sin embargo, aún queda mucho trabajo por hacer. Es trascendental que las sociedades científicas médicas promuevan que las actividades de RPP sean adecuadamente valoradas como méritos académicos tanto en los baremos de provisión de plazas como en los concursos de promoción en el ámbito universitario. Es la mejor manera de reconocer la importancia de este trabajo para que, entre todos, contribuyamos mantener la credibilidad del proceso científico.

Bibliografía
[1]
F. Alfonso, J. Bermejo, J. Segovia.
Nuevas recomendaciones del Comité Internacional de Editores Médicos. Cambiando el énfasis: de la uniformidad de los requisitos técnicos a los aspectos bioéticos.
Rev Esp Cardiol., 57 (2004), pp. 592-593
[2]
F. Alfonso, J. Bermejo, M. Heras, J. Segovia.
Revista Española de Cardiología 2009: Reflexiones Editoriales.
Rev Esp Cardiol., 62 (2009), pp. 1482-1493
[3]
F. Alfonso, J. Bermejo, J. Segovia.
Impactología, impactitis, impactoterapia.
Rev Esp Cardiol., 58 (2005), pp. 1239-1245
[4]
F. Alfonso.
Revistas biomédicas españolas: relevancia académica, impacto científico o factor de impacto. ¿Qué es lo que importa?.
Rev Neurol., 48 (2009), pp. 113-116
[5]
F. Alfonso.
El duro peregrinaje de las revistas biomédicas españolas hacia la excelencia: ¿Quién nos ayuda? Calidad, impacto y méritos de investigación.
Endocrinol Nutr., 57 (2010), pp. 110-120
[6]
International Committee of Medical Journal Editors. Uniform requirements for manuscripts submitted to biomedical journals: writing and editing for biomedical publication. Disponible en: http://www.icmje.org/
[7]
J. Matías-Guiu, R. García Ramos.
El proceso de mejora y decisión de un artículo.
Neurología., 24 (2009), pp. 353-358
[8]
J. Matías-Guiu, R. García-Ramos.
The impact factor and editorial decisions.
Neurología., 23 (2008), pp. 342-348
[9]
Matías-Guiu J, Moral E, García-Ramos R, Martínez-Vila E. El perfil de los evaluadores de una publicación médica en relación a la respuesta. Neurología. 2010;25:530–535.
[10]
F. Davidoff.
Improving peer review: who¿s responsible?.
BMJ., 328 (2004), pp. 657-658
[11]
T. Jefferson, P. Alderson, E. Wager, F. Davidoff.
Effects of editorial peer review. A systematic review.
JAMA., 287 (2002), pp. 2784-2786
[12]
D.J. Benos, K.L. Kirk, J.E. Hall.
How to review a paper.
Adv Physiol Educ., 27 (2003), pp. 47-52
[13]
J. Lemann.
Serving as a reviewer.
Kidney International., 62 (2002), pp. 1081-1087
[14]
A.N. DeMaria.
The elite reviewer.
J Am Coll Cardiol., 41 (2003), pp. 157-158
[15]
A. Casadevall, F.C. Fang.
Is peer review censorship?.
Infect Immun., 77 (2009), pp. 1273-1274
[16]
F.J. Ingelfinger.
Definition of “sole” contribution.
N Engl J Med., 281 (1969), pp. 676-677
[17]
F. Alfonso, J. Bermejo, J. Segovia.
Duplicate or redundant publication: can we afford it?.
Rev Esp Cardiol., 58 (2005), pp. 601-604
[18]
J. Bermejo, J. Segovia, M. Heras, F. Alfonso.
Gestión electrónica de manuscritos en Revista Española de Cradiología. Nuevas herramientas para viejos objetivos.
Rev Esp Cardiol., 60 (2007), pp. 1206-1210
[19]
W.F. Balistreri.
Landmark, landmine, or landfill? The role of peer review in assessing manuscripts.
J Pediatr., 151 (2007), pp. 107-108
[20]
M.A. Kliewer, K.S. Freed, D.M. DeLong, P.J. Pickhardt, J.M. Provenzale.
Reviewing the reviewers: comparison of review quality and reviewer characteristics at the American Journal of Roentgenology.
AJR., 184 (2005), pp. 1731-1735
[21]
J.M. Drazen, M.B. Van Der Weyden, P. Sahni, J. Rosenberg, A. Marusic, C. Laine, et al.
Uniform format for disclosure of competing interest in ICMJE Journals.
N Engl J Med., 361 (2009), pp. 1896-1897
[22]
J.C. Burnham.
The evolution of editorial peer review.
JAMA., 263 (1990), pp. 1323-1329
[23]
R. Smith.
Peer review: a flawed process at the heart of science and journal.
J R Soc Med., 99 (2006), pp. 178-182
[24]
Publishing research consortium: Peer review in schoolarly journals. Perspective of the scholarly community –an international study-. London: Publishing Research Consortium; 2008; 80.p.1–80.
[25]
Z. Kmietowicz.
Double blind peer review are fairer and more objective, say academics.
[26]
S.C. Johnston, D.H. Lowenstein, D.M. Ferriero, R.O. Messing, J.R. Oksenberg, S.L. Hauser.
Early editorial manuscript screening versus obligate peer review: a randomized trial.
Ann Neurol., 61 (2007), pp. A10-A12
[27]
S. Schroter, N. Black, S. Evans, J. Carpenter, F. Godlee, R. Smith.
Effects of training on quality of peer review: randomized controlled trial.
[28]
W.G. Baxt, J.F. Waeckerle, J.A. Berlin, M.L. Callaham.
Who reviews the reviewers? Feasibility of using a fictious manuscript to evaluate peer review performance.
Ann Emerg Med., 32 (1999), pp. 310-317
[29]
Krawitz RL, Franks P, Feldman MD, Gerrity M, Byrne C, Tierney WM. Editorial peer reviewer's recommendations at general medical journal: Are they reliable and do editors care? PLoS ONE. 2010; 5:e10072 (1–5).
[30]
L.L. Hargens.
Schoolarly consensus and journals rejection rates.
Am Sociol Rev., 53 (1988), pp. 139-151
[31]
M.A. Kliewer, D.M. DeLong, K. Freed, C.B. Jenkins, E.K. Paulson, J.M. Provenzale.
Peer review at the American Journal of Roentgenology.: How reviewer and manuscript characteristics affected editorial decisions on 196 major papers.
AJR., 183 (2004), pp. 1545-1550
[32]
A.M. Link.
US and non-US submissions: an analysis of reviewer bias.
JAMA., 280 (1998), pp. 246-247
[33]
Aarssen LW, Lortie CJ, Budden AE, Koricheva J, Leimu R, Tregenza T. Does publication in top-tier journals affect reviewer behabior? PLoS ONE. 2009; 4:e6283 (1–3).
[34]
F. Godlee, C.R. Gale, C. Martyn.
Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: A randomized controlled trial.
JAMA., 280 (1998), pp. 237-240
[35]
S. Van Rooyen, F. Godlee, S. Evans, R. Smith, N. Black.
Effect of blinding and unmasking on the quality of peer review.
JAMA., 280 (1998), pp. 234-237
[36]
A.C. Justice, M.K. Cho, M.A. Winker, J.A Berlin, D. Rennie.
Does masking author identity improve peer review quality? A randomized controlled trial.
JAMA., 280 (1998), pp. 240-242
[37]
C.D. DeAngelis, J.P. Thorton.
Preserving confidiality in the peer review process.
[38]
R. Smith.
Opening up BMJ peer review. A beginning that should led to complete transparency.
BMJ., 318 (1999), pp. 4-5
[39]
Opening up peer review. Nat Cell Biol. 2007; 9:1.
[40]
E. Walsh, M. Rooney, L. Appleby, G. Wilkinson.
open peer-review: a randomised controlled trial.
Br J Phsychiatry., 176 (2000), pp. 47-51
[41]
F.P. Rivara, P. Commings, S. Ringold, A.B. Bergman, A. Joffe, D.A. Christakis.
A comparison of reviewers selected by editors and reviewers suggested by authors.
J Pediatr., 151 (2007), pp. 202-205
[42]
Earnshaw JJ, Fardon JR, Guillou PJ, Johnson CD, Murie JA, Murray GD. A comparison of reports from referees chosen by authors or journal editors in the peer review process. An Rol Coll Surg Engl. 200;82:133–5.
[43]
S. Schroter, L. Tite, A. Hutchings, N. Black.
Differences in review quality and recommendations for publication between peer reviews suggested by authors or by editors.
JAMA., 295 (2006), pp. 314-317
[44]
T.P. Stossel.
Reviewer status and review quality: Experience of the Journal of Clinical Investigation.
N Engl J Med., 312 (1985), pp. 658-659
[45]
A.T. Evans, R.A. McNutt, S.W. Fletcher, R.H. Fletcher.
The characteristics of peer reviewers who produce good-quality reviews.
J Gen Intern Med., 8 (1993), pp. 422-428
[46]
N. Black, S. van Rooyen, F. Godlee, R. Smith, S. Evans.
What makes a good reviewer and a good review for a general medical journal?.
JAMA., 280 (1998), pp. 231-233
[47]
Callahan ML, Tercier J. The relationship of previous training and experience of journal peer reviewers to subsequent review quality. PLsO Med. 2007; 4:e40 (32–39).
[48]
G. Gónzalez-Alcaide, A. Alonso-Arroyo, J.C. Valderrama-Zurián, R. Aleixandre-Benavent.
Women in Spanish cardiological research.
Rev Esp Cardiol., 62 (2009), pp. 941-954
[49]
R. Jagsi, E.A. Guancial, C.C. Worobey, L.E. Henault, Y.C. Chang, R. Starr, et al.
The “gender gap” in authorship of academic medical literature: a 35 year perspective.
N Engl J Med., 355 (2006), pp. 281-287
[50]
F. Andreotti, F. Crea.
Women in cardiology: a European perspective.
Heart., 91 (2005), pp. 275-276
[51]
M.C. Davo, C. Vives, C.A. lvarez-Dardet.
Why are women underused in the JECH peer review process?.
J Epidemiol Community Health., 57 (2003), pp. 936-937
[52]
J.R. Gilbert, E.S. Williams, G.D. Lumdberg.
Is there gender bias in JAMA¿s peer review process?.
JAMA., 272 (1994), pp. 139-142
[53]
J. Luty, S.M. Arokiadass, J.M. Easow, J.R. Anapreddy.
Preferential publication of editorial board members in medical specialty journals.
J Med Ethics., 35 (2009), pp. 200-202
Copyright © 2010. Sociedad Española de Neurología
Descargar PDF
Opciones de artículo
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

Quizás le interese:
10.1016/j.nrl.2020.05.005
No mostrar más