Regístrese
Buscar en
Revista Colombiana de Reumatología
Toda la web
Inicio Revista Colombiana de Reumatología El método Delphi en la investigación en reumatología: ¿lo estamos haciendo b...
Información de la revista
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
30
Artículo de reflexión
DOI: 10.1016/j.rcreu.2019.04.001
Open Access
Disponible online el 30 de Junio de 2019
El método Delphi en la investigación en reumatología: ¿lo estamos haciendo bien?
Delphi method in rheumatology research: Are we doing well?
Visitas
30
Daniel G. Fernández-Ávilaa,b,
Autor para correspondencia
daniel.fernandez@javeriana.edu.co

Autor para correspondencia.
, María Ximena Rojasc, Diego Rossellic
a Departamento de Epidemiología Clínica y Bioestadística-Programa de Doctorado en Epidemiología Clínica, Facultad de Medicina, Pontificia Universidad Javeriana, Bogotá, Colombia
b Departamento de Medicina Interna, Unidad de Reumatología, Hospital Universitario San Ignacio-Pontificia Universidad Javeriana, Bogotá, Colombia
c Departamento de Epidemiología Clínica y Bioestadística, Facultad de Medicina, Pontificia Universidad Javeriana, Bogotá, Colombia
Este artículo ha recibido
30
Visitas

Under a Creative Commons license
Recibido 31 enero 2019. Aceptado 11 abril 2019
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (2)
Tablas (2)
Tabla 1. Temas abordados con metodología de investigación tipo Delphi
Tabla 2. Enfermedades reumáticas estudiadas con metodología Delphi
Mostrar másMostrar menos
Resumen
Introducción

El método Delphi es una técnica que permite llegar al consenso en un grupo de expertos que opinan sobre un asunto específico. Se ha usado ampliamente en diferentes áreas del conocimiento, entre ellas las ciencias de la salud. La reumatología es una de las especialidades médicas que más ha empleado esta técnica de consenso.

Objetivos

Realizar una revisión del proceso ideal que debe cumplir la aplicación del método Delphi. Describir el impacto actual del método Delphi en la investigación en salud y hacer una mirada crítica a su aplicación en la investigación en reumatología.

Materiales y métodos

Se evaluó la frecuencia del uso del método Delphi en las publicaciones indexadas en MEDLINE como una aproximación a la medición de su empleo en ciencias de la salud. Se realizó una búsqueda de los artículos que reportan el uso del método Delphi como método de investigación en el área de reumatología.

Resultados

Al realizar una búsqueda en Medline usando el término MeSH Delphi Technique se encontraron 4.574 artículos. Se incluyeron 148 artículos que aplicaron el método Delphi en investigación de reumatología. Se encontró que la aplicación del método no ha seguido los lineamientos definidos originalmente, ya sea tanto por no cumplir sus características definitorias u omitir alguna de sus fases, como por la falta de rigurosidad en el desarrollo de las mismas, hasta tal punto que solo una quinta parte de los artículos analizados cumplía las características definitorias del método, lo que puede poner en riesgo la validez de los resultados reportados por estas investigaciones.

Conclusiones

El uso del método Delphi en investigación en salud es cada vez mayor, y la reumatología no es la excepción. La no estandarización y el apego a la metodología Delphi puede poner en riesgo la validez de los resultados que se obtienen de su uso en investigación. Los investigadores deben tener en cuenta los aspectos metodológicos básicos que definen el método Delphi para incluirlos en sus trabajos.

Palabras clave:
Técnica Delphi
Consenso
Reumatología
Abstract
Introduction

The Delphi method is a technique that allows consensus to be reached by a group of experts who have opinions on a specific issue. It has been widely used in different areas of knowledge, including health sciences. Rheumatology is one of the medical specialties that has used this consensus technique the most.

Objectives

To conduct a review of the ideal process for application of the Delphi method. To describe the current impact of the Delphi method on health research, and take a critical look at its application in rheumatology research.

Materials and methods

The frequency of use of the Delphi method in publications indexed in MEDLINE was evaluated, as an approximation to the measurement of its use in health sciences. A search was made of the articles that mentioned the use of the Delphi method as a research tool in rheumatology.

Results

A total of 4,574 articles were found when searching Medline using the MeSH term “Delphi Technique”. The analysis included 148 articles that applied the Delphi method in rheumatology research. It was found that the application of the method did not follow the guidelines originally defined. This was due to not meeting its defining characteristics, or omitting some of its phases. There was also lack of rigour in developing it, to the point that only a fifth of the articles analysed fulfilled the defining characteristics of the method. All these can put the validity of the results reported by these investigations at risk.

Conclusions

Use of the Delphi method in health research is growing, and rheumatology is no exception. The lack of standardisation and adherence to the Delphi methodology may jeopardise the validity of the results obtained from its use in research. Researchers must take into account the basic methodological aspects that define the Delphi method, in order to include them in their work.

Keywords:
Delphi Technique
Consensus
Rheumatology
Texto completo
Introducción

El estudio de la salud y los procesos de enfermedad enfrentan interrogantes que no siempre son fáciles de responder con métodos de investigación basados en la medición y cuantificación de un fenómeno y sus efectos en un paciente, en una población específica o en la comunidad. Para muchas preguntas en salud hay poca información y, en ocasiones, el clínico se enfrenta a situaciones en las que la respuesta a su pregunta no se encuentra en las clásicas fuentes de evidencia. Es entonces frecuente que se requiera del conocimiento y percepciones de expertos en un área temática, o llegar a acuerdos entre los involucrados en el cuidado de la salud respecto a un tema en particular, para guiar la toma de decisiones1. El consenso de expertos es una herramienta útil en la búsqueda de respuestas en las situaciones anteriores, y también ha sido fundamental en el desarrollo de diversos procesos en la ciencia y la investigación; en el desarrollo de instrumentos de medición, por ejemplo, la consulta a expertos se utiliza para establecer si los ítems de un instrumento representan adecuadamente el constructo que se pretende medir. En la toma de decisiones sobre adjudicación de recursos de investigación, publicación de artículos en revistas científicas y otros procesos similares que implican selección y escogencia, la consulta a expertos permite definir criterios de selección o de escogencia más apropiados, al considerar diferentes perspectivas y posiciones que aportan los consultados en el proceso2.

El lograr consenso entre varios expertos o implicados no es tarea fácil, por lo que se han desarrollado técnicas de consenso que buscan lograr acuerdos y establecer criterios que faciliten el logro de los objetivos de la consulta. Una de estas técnicas es el método Delphi, que puede ser considerado uno de los más usados en la actualidad en el área de salud, con un aumento creciente en su uso año tras año, y la reumatología no ha sido la excepción para el uso y aplicación cada vez más frecuente de esta metodología de consenso, en trabajos de investigación sobre diferentes aspectos relacionados con el diagnóstico y tratamiento de enfermedades reumáticas; sin embargo, dadas las posibles variaciones que los investigadores pueden realizar al método, se ha llegado a cuestionar la validez de sus procesos y, por ende, de sus resultados, en especial porque muchas de estas variaciones se aplican sin que se haya evaluado su validez e idoneidad.

Este artículo busca, por una parte, presentar al lector una revisión del proceso ideal que debe cumplir la aplicación del método Delphi, por otra, tener una aproximación acerca de su impacto actual en la investigación en salud, y hacer una mirada crítica a la aplicación del método Delphi en la investigación en reumatología, como un ejemplo de su uso, al ser esta una de las áreas del conocimiento médico en la que más se ha empleado este método como técnica de investigación.

Materiales y métodos

Se realizó una revisión de la literatura que siguió 3 estrategias de búsqueda complementarias: una primera encaminada a identificar los artículos que reportaran aspectos metodológicos del método Delphi y sus variaciones en la aplicación a ciencias de la salud; una segunda, encaminada a identificar la frecuencia del uso de método Delphi en las publicaciones indexadas en Medline como una aproximación a la medición en ciencias de la salud; y una tercera, encaminada a identificar los artículos que reportan el uso del método Delphi como método de investigación en el área de la reumatología. Para el primer caso se adelantó una búsqueda en las bases de datos Medline, Embase, Clinical Key y Scielo-Bireme; en todas se usó el término MeSH Delphi technique, y se aplicaron los filtros revisión, revisión sistemática y reporte técnico. Los resultados se restringieron a artículos en inglés y español, sin establecer límite para la fecha de publicación. La consulta se realizó el 18 agosto de 2018. Tras excluir duplicados se revisaron todos los títulos y resúmenes. Se incluyeron todos aquellos artículos que reportaran aspectos metodológicos o evaluación del método Delphi como técnica de consenso en salud. La segunda estrategia se basó en un análisis del número de publicaciones bajo el término MeSH Delphi technique, que habían sido publicadas desde el 1 de enero de 1975 hasta el 31 de diciembre de 2017. La consulta se realizó el 6 de enero de 2019. Para la identificación de estudios en reumatología que usaron el método Delphi la búsqueda se adelantó en las bases de datos Medline, Embase, Clinical Key y Scielo. Se usaron los términos MeSH Delphi Technique, Rheumatology, Rheumatic Diseases y Consensus. Se restringió la búsqueda a artículos en inglés y español sin restricción por fecha de publicación, encontrando 517 artículos. Se hizo una lectura de la totalidad de los resúmenes de estos estudios, descartando duplicados, artículos de metodología de consenso diferentes al Delphi, capítulos de libro, artículos de revisión, cartas al editor y estudios de otras especialidades. Se incluyeron 148 artículos, los cuales fueron leídos y revisados en su totalidad, incluyendo el material suplementario. La consulta se realizó el 30 de octubre de 2018.

Historia, definición y características del método Delphi

El término Delphi, traducción de la palabra en inglés Delphos (ciudad de la antigua Grecia en la que se encontraba el templo de Apolo, al cual los griegos acudían buscando a la sacerdotisa y vidente Pitia), hace referencia a una técnica que permite llegar al consenso en un grupo de expertos que opinan sobre un asunto específico3. Fue ideado en Santa Mónica, Estados Unidos, a principios de los años 50, por Olaf Helmer y Theodore J. Gordon, quienes formaban parte del centro de investigación norteamericano denominado The RAND Corporation (Research ANd Development), un laboratorio de ideas estadounidense que apoya a las Fuerzas Armadas de Estados Unidos. En la primera aplicación del método se preguntó a 7 expertos en defensa nacional sobre cuáles serían los posibles blancos industriales de un potencial bombardeo soviético y cuántas bombas «A» se requerirían para lograr ese objetivo4. En vez de realizar reuniones conjuntas con los expertos, a cada uno de ellos se le pedía información que luego se reunía y se contrastaba con la de los demás expertos. Después, a cada uno se le presentaba de manera anónima lo que opinaban los demás, para así, de una manera progresiva, ir llegando a un consenso. En el documento original se explicaban las ventajas de este método, que era «más conducente a pensamiento independiente» en comparación con la confrontación directa, evitaba que los participantes se cerraran a las ideas nuevas, o se obstinaran en defender su posición personal una vez presentada, o que, por el contrario, cedieran a ideas ajenas solo por ser presentadas de una manera persuasiva (o por un superior jerárquico).

El método Delphi es un proceso iterativo, diseñado para combinar la opinión de un grupo de expertos dentro de un consenso5–7. Se trata de una metodología estructurada para recolectar sistemáticamente juicios de expertos acerca de un problema8, procesar la información9 y, finalmente, construir un acuerdo general de grupo10–12. Se identificaron 4 características definitorias del método Delphi13:

  • Proceso iterativo: los expertos deben emitir su respuesta u opinión en más de una ocasión, a través de varias rondas que llevan a estabilizar las opiniones, de tal forma que el experto puede reflexionar (reconsiderando o reafirmando su opinión), a la luz de los planteamientos propios o de otros expertos.

  • Anonimato: ningún miembro del grupo conoce a quien corresponde un concepto o una respuesta en particular, lo cual evita las influencias negativas o positivas de los miembros dominantes del grupo. No existe comunicación directa entre los expertos, pues la comunicación está en manos del grupo coordinador.

  • Retroalimentación: antes de iniciar cada ronda, los participantes reciben la posición de ellos mismos como conjunto frente al problema o situación bajo análisis, destacando los aportes significativos de alguno de los expertos, las posturas discordantes o información adicional solicitada por alguno de los participantes. De esta forma, los participantes, antes de cada ronda, pueden contrastar sus criterios con los del resto del grupo y replantear o reafirmar su posición frente al problema en estudio.

  • Construcción de un consenso: el propósito final del método Delphi es obtener un acuerdo general del grupo a través del procesamiento estadístico de las diferencias y coincidencias, entre las apreciaciones individuales y sus modificaciones a través de las rondas.

Respecto a su metodología se identificó que el método Delphi tiene 3 componentes principales14–19:

  • El problema: usualmente difícil (o imposible) de responder con una metodología de investigación tradicional, y por ello se acude al conocimiento y opinión de los expertos.

  • Grupo coordinador: estructura y coordina el proceso de investigación. Se encarga de diseñar el protocolo, fijar criterios de selección de los expertos, elaborar cuestionarios, garantizar el flujo de información entre los expertos durante el proceso iterativo de consultas con su respectiva retroalimentación, analizar las respuestas de cada ronda, preparar los subsecuentes cuestionarios y, finalmente, construir el documento de consenso. El número de integrantes del grupo coordinador puede variar entre 2 y 5 personas.

  • Grupo de expertos: la clave para un ejercicio Delphi exitoso está en la correcta selección de los participantes. El problema subyacente está en la definición como tal de experto, pues esta definición varía de acuerdo con el problema que se esté estudiando. Como criterios que se pueden emplear están: especialidad médica, tiempo de experiencia en el área, pertenencia a determinado grupo o institución, nivel de prestigio en su campo o número de publicaciones sobre el tema de interés. El número de expertos depende de los objetivos de cada estudio, considerándose de forma general que debe ser entre 7 y 30. Por encima de este último número la mejora en precisión es muy pequeña por cada experto adicional incluido, y el incremento en costos y trabajo de investigación no compensa la mejora marginal en los resultados. El grupo coordinador también debe considerar como criterio de selección el grado de interés, cooperación y capacidad para contribuir en el proceso, puesto que la metodología Delphi requiere de la participación activa de los expertos durante un tiempo continuo, para finalmente llegar a un consenso como grupo.

El método se puede dividir en 3 fases20:

  • Fase de preparación: consiste en preparar el instrumento que será sometido a consideración del grupo. Usualmente es un cuestionario que para la primera ronda se recomienda que esté compuesto en su mayoría por preguntas abiertas, aunque también puede incluir preguntas dicotómicas excluyentes (sí-no, de acuerdo-en desacuerdo), de ponderación (asignar un lugar de forma ascendente o descendente), o tipo Likert.

  • Fase de consulta: el uso de Internet para el envío de los cuestionarios es la forma recomendada para realizar la consulta, por su rapidez, practicidad, privacidad y bajo costo. Basándose en las respuestas a las preguntas del primer cuestionario, se tendrá el insumo con el cual se elaboran las nuevas preguntas e ítems de evaluación de la segunda ronda. En la segunda ronda se enviará un cuestionario con preguntas cerradas, en el cual se pide a los expertos una de las siguientes acciones: jerarquizar, asignando un orden de importancia en relación con la situación en estudio; valorar, que consiste en ofrecer puntuaciones de acuerdo con una escala establecida (ejemplo de 0 a 5 o una escala de Likert); estimar cuantitativamente (asignar un valor en porcentaje, por ejemplo). Para la tercera ronda se integran las respuestas que los expertos han enviado de forma individual, y cada experto recibirá nuevamente el cuestionario (o una versión de este si se hacen modificaciones), acompañado de sus respuestas y de los resultados del análisis estadístico de las respuestas grupales de la ronda anterior. El análisis estadístico depende de la naturaleza del ítem que se esté evaluando, empleándose más frecuentemente medidas de tendencia central y de dispersión, además de otras medidas como el coeficiente de concordancia Kendall W, la prueba de Wilcoxon o el coeficiente alfa de Cronbach. A partir de este punto se le pide al experto que reevalúe sus conceptos, teniendo en cuenta la opinión del grupo, de tal forma que el experto podrá mantener o cambiar la respuesta dada en la ronda anterior, según lo considere a la luz de la nueva información que está recibiendo. Por lo general se requieren entre 2 y 4 rondas para aumentar la convergencia de las opiniones, y así lograr una opinión consensuada.

  • Fase de consenso: los investigadores deben plantear desde el principio del estudio la forma en la que se definirá el acuerdo y el valor que se espera alcanzar para definir que se ha logrado llegar a un consenso. El valor de acuerdo varía y depende en gran medida del tema de estudio; se utiliza con frecuencia alcanzar un acuerdo mayor a 70%, en la respuesta dada a cada ítem de consulta. La figura 1 resume los componentes básicos y las fases de la metodología Delphi.

    Figura 1.

    Componentes básicos y fases de la metodología Delphi.

    (0,21MB).

Una vez se ha logrado el consenso se pasa a la elaboración del documento final, que debe incluir las características del panel de expertos, los criterios que se tuvieron en cuenta para su elección, la forma en que evolucionaron las respuestas de los expertos a través de las diferentes rondas, la definición operativa escogida para definir consenso y el nivel de consenso alcanzado21.

Debilidades y fortalezas del método Delphi

El método Delphi ha sido criticado por varios aspectos. El primero de ellos tiene que ver con uno de sus principios básicos: el anonimato y no interacción directa entre expertos, pues se critica el hecho de que no se permita la discusión y debate entre los expertos, lo cual se cree que enriquecería el proceso22. Esto se puede suplir en parte con la habilidad del grupo coordinador en garantizar el flujo de la información (i. e. identificación, agregación y síntesis de las respuestas) de forma adecuada, de tal manera que logre maximizar la retroalimentación en cada una de las rondas. Un segundo punto tiene que ver con la duración del proceso, puesto que un ejercicio Delphi de una sola ronda podría tardar 3 semanas y uno de 3 rondas puede tardar entre 3 y 4 meses23. El método es muy sensible a la forma en la que se plantean las preguntas, por lo que el grupo coordinador debe tener un conocimiento claro del tema, que le permita elaborar los cuestionarios de la manera más completa y acertada posible, equilibrando las preguntas abiertas y cerradas de una forma correcta, maximizando la cantidad y calidad de información obtenida de los expertos24. Como ventajas están: la posibilidad de poder contar con expertos de diversas partes del mundo dados los desarrollos actuales en el uso de Internet, lo cual disminuye considerablemente los costos de gestión25 y la riqueza de la información obtenida, que genera un grado de empoderamiento en cada uno de los expertos, quienes después de haber participado en el ejercicio tendrán una visión mucho más completa del problema de salud que se abordó mediante metodología Delphi26.

Variaciones del método Delphi

Pocos autores usan una aproximación pura en la técnica Delphi descrita inicialmente27; además, no existen guías formales universalmente aceptadas acerca de la metodología para desarrollar un ejercicio Delphi, por lo que a través del tiempo y dadas las necesidades específicas que demandan determinados procesos de investigación se han aplicado diferentes variaciones a la metodología Delphi. Estas variaciones constituyen un eventual riesgo para la validez de los resultados obtenidos, puesto que son realizadas por los investigadores dependiendo de la pregunta de investigación a responder y los objetivos del trabajo de investigación, sin seguir unos parámetros concretos, lo que lleva a que exista un relativamente amplio rango de variación. Se reconocen 3 variaciones del método Delphi28:

  • Delphi convencional: clásico proceso iterativo diseñado para combinar la opinión de un grupo de expertos dentro de un consenso.

  • Delphi modificado o en tiempo real: variante más corta del método, en la cual el proceso toma lugar en una reunión, usando mecanismos para resumir las respuestas de los participantes inmediatamente.

  • Delphi político: foro de ideas, en el cual tomadores de decisiones buscan informar a un grupo para que presente opiniones y opciones posibles sobre un problema, de tal forma que se tenga un grupo informado.

Impacto actual del método Delphi en los procesos de investigación en salud

Al realizar una búsqueda en Medline usando el término MeSH Delphi Technique entre el 1 de enero de 1975 y el 31 de diciembre de 2017 se encontraron 4.574 artículos. El uso de este tipo de metodología de investigación ha venido en aumento constante en los últimos años, lo cual se corrobora al analizar los resultados del análisis del número de publicaciones que estén indexadas bajo el término MeSH Delphi Technique en Medline. La figura 2 muestra la tendencia que han tenido estas publicaciones en el tiempo analizado.

Figura 2.

Distribución de artículos relacionados con metodología Delphi en el área de la salud, por año. Enero de 1975-diciembre de 2017.\ Tomado de Medline. Fecha de consulta: 9 de enero de 2019.

(0,09MB).
Método Delphi en reumatología

Al hacer una búsqueda sistemática de trabajos de investigación en reumatología, en los que se haya empleado metodología Delphi, se encontraron 148 artículos29–174. La revista con el mayor número de publicaciones de este tipo fue Reumatología Clínica (30 artículos), seguida de Annals of The Rheumatic Diseases (24 artículos), Journal of Rheumatology (15 artículos), Arthritis Care and Research (14 artículos) y Joint Bone Spine (9 artículos). El 89,9% (n=133) de los artículos correspondía a reumatología de adultos, el 5,4% (n=8) a reumatología pediátrica y el 4,7% (n=7) a las 2 especialidades. El tema más frecuentemente investigado con metodología Delphi fue el tratamiento de enfermedades reumáticas en el 43,2% (n=64) de los artículos, seguido por el diagnóstico de enfermedades reumáticas en el 18,9% (n=28) y ultrasonografía en reumatología en el 8,1% (n=12) (tabla 1).

Tabla 1.

Temas abordados con metodología de investigación tipo Delphi

Tema 
Tratamiento de enfermedad reumática  64  43,2 
Diagnóstico de enfermedad reumática  28  18,9 
Ultrasonografía en reumatología  12  8,1 
Medición de actividad de enfermedad reumática  5,4 
Calidad del cuidado de pacientes reumáticos  4,7 
Reportes en experimentos clínicos en reumatología  4,7 
Remisión de pacientes a reumatología  2,7 
Tratamiento de comorbilidades en reumatología  2,7 
Educación en reumatología  2,7 
Desenlaces centrados en pacientes reumáticos  2,0 
Clínicas de transición en reumatología  2,0 
Creación de clínicas especializadas en reumatología  0,7 
Funcionalidad en enfermedades reumáticas  0,7 
Definición de indicación quirúrgica en reumatología  0,7 
Historia clínica electrónica en reumatología  0,7 

En cuanto a las enfermedades reumáticas estudiadas la artritis reumatoide fue la primera en el 23% (n=34) de los estudios, seguida de la artrosis en el 12,2% (n=18) y la artritis psoriásica en el 8,1% (n=12) (tabla 2).

Tabla 2.

Enfermedades reumáticas estudiadas con metodología Delphi

Enfermedad reumática 
Artritis reumatoide  34  23,0 
Ninguna específica  27  18,2 
Artrosis  18  12,2 
Artritis psoriásica  12  8,1 
Gota  10  6,8 
Espondilitis anquilosante  5,4 
Esclerosis sistémica  4,7 
Artritis idiopática juvenil  4,7 
Polimialgia reumática  2,7 
Fibromialgia  2,7 
EAI no específica  2,0 
Espondiloartritis  2,0 
Osteoporosis  2,0 
Miopatías inflamatorias  1,4 
Infección por Chikungunya  1,4 
Síndrome de Sjögren  1,4 
Espondiloartritis asociada a EII  0,7 
Lupus eritematoso sistémico  0,7 

EAI: enfermedad articular inflamatoria; EII: enfermedad inflamatoria intestinal.

Como se anotó antes, el método Delphi tiene 4 características definitorias (proceso iterativo, retroalimentación, anonimato y construcción de un consenso), las cuales deberían ser cumplidas en su totalidad por los estudios que usen esta metodología de consenso; sin embargo, para el caso de los artículos que se revisaron sobre su aplicación en reumatología, se encontró que solamente el 18,2% (n=27) cumple las 4 características; el 27,7% (n=41) cumple con 3 características, el 23,6% (n=35) cumple con 2 características y el 30,4% (n=45) cumple solamente una de las características definitorias del método. La retroalimentación es uno de los aspectos más importantes de la metodología, puesto que permite que el participante pueda contrastar sus criterios con los del resto del grupo, y de esta forma replantear o reafirmar su posición frente al problema o pregunta en cuestión. En los artículos revisados se encontró que solamente se hace retroalimentación en el 41,2% (n=61) de los estudios. El proceso es iterativo en solo el 68,2% (n=101) de los trabajos analizados, empleando 2 rondas de consulta en el 33,1% (n=49), 3 rondas en el 31,1% (n=46) y 4 o más rondas en el 3,4% (n=5). En el 12,2% (n=18) de los artículos no se determinó por parte de los autores el número de rondas que se llevaron a cabo durante el ejercicio Delphi. El anonimato es la tercera característica, de gran importancia, pues evita las influencias negativas o positivas de los miembros dominantes del grupo. Para los estudios de reumatología se encontró que solamente en el 24,3% (n=36) de los artículos se declaró explícitamente que el ejercicio Delphi fue llevado a cabo de una forma anónima. La construcción de un consenso fue la única de las 4 características del método Delphi que se cumplió a cabalidad en los estudios analizados. En cuanto al método para definir el acuerdo, el más frecuentemente utilizado fue establecer un mínimo de expertos que otorguen un puntaje mínimo determinado al ítem en estudio (38,5%, n=57), seguido de escoger los ítems que sean calificados con un puntaje promedio mínimo determinado (30,4%, n=45).

El grupo coordinador fue reportado en el 21,6% (n=32) de los estudios, con un promedio de 5 (±3) coordinadores por estudio. El grupo de expertos fue reportado en 93,9% (n=139) de los estudios, con una mediana de 28 (rango intercuartílico: 40,5) expertos por cada estudio. La mayoría de los estudios de reumatología que emplearon esta técnica fueron llevados a cabo con expertos de un solo país (58,1%, n=86). El método de comunicación más frecuentemente empleado fue el correo electrónico (37,2%, n=55), seguido de encuentros presenciales (13,5%, n=20), uso de la plataforma digital de encuestas Survey Monkey (7,4%, n=11), uso de una plataforma electrónica específicamente diseñada para el ejercicio (6,1%, n=9) y uso de correo postal (1,4%, n=2). En el 30,4% (n=45) de los estudios no se reportó la forma como se estableció la comunicación con el grupo de expertos.

La modificación de la técnica Delphi fue declarada en el 14,9% (n=22) de los estudios, sin embargo, en 18 de estos estudios no se explica cuál fue la modificación de la técnica; en 4 estudios la modificación consistió en realizar una reunión presencial del grupo de expertos posterior a las rondas de consulta; uno de los estudios aclara haber realizado un método «RAND/UCLA» sin explicar en más detalle en qué consiste este método47. Para referirse a las versiones modificadas del método se acuñan términos como informal Delphi56 o Delphi like study86, sin hacer mayores consideraciones o aclaraciones a lo que estos términos significan, pero que claramente indican que no se siguió la metodología Delphi como tal, y que esta se adaptó a las necesidades de los investigadores, como incluso se anota textualmente en un consenso sobre el tratamiento de osteoporosis: «se siguió una metodología Delphi adaptada al presente consenso»125. Por último, de los artículos que informan haber utilizado el método modificado, ninguno reporta evaluación de la validez del mismo o de sus resultados.

Discusión

El método Delphi ha cobrado relevancia en los últimos años, con una tendencia al aumento en la cantidad de artículos relacionados con el uso de esta metodología en el área de la salud. Los estudios realizados con método Delphi responden generalmente a un determinado grupo de preguntas, las cuales no podrían ser respondidas con métodos tradicionales de investigación, por lo que la búsqueda de un consenso de expertos se hace necesaria para complementar el estudio de diferentes problemáticas en salud.

Como se expuso, la aplicación del método Delphi requiere de una técnica estructurada, que puede llegar a ser compleja dependiendo del tema y del número de ítems sobre los cuales se requiere lograr un consenso. De la correcta elección de los expertos, así como del adecuado manejo de los cuestionarios y del óptimo flujo de información durante las rondas de consulta, depende el éxito del estudio y la validez de sus resultados. El ejemplo de aplicación y uso del método Delphi en la investigación en reumatología que se ha revisado aquí muestra que, en general, la aplicación del método no ha seguido los lineamientos definidos originalmente, ya sea tanto por no cumplir sus características definitorias u omitir alguna de sus fases, como por la falta de rigurosidad en el desarrollo de las mismas, hasta tal punto que solo una quinta parte de los artículos analizados cumplían las características definitorias del método, lo que puede poner en riesgo la validez de los resultados reportados por estas investigaciones. A lo anterior se le suma el uso de versiones modificadas del método en casi el 15% de las publicaciones revisadas, que tienen como agravante no ser explícitamente descritas por los investigadores que las utilizan, y por tanto no es posible evaluar su idoneidad, pertinencia y validez, aspectos que ninguno de los estudios revisados reporta cuando introduce variaciones al método, como tampoco si se ajustan a alguna de las 3 variaciones reconocidas del método28. Estos hallazgos coinciden con lo reportado por otros autores. Boulkedid et al., en 2011, realizaron una revisión sistemática que incluyó más de 80 estudios que usaron metodología Delphi, con el fin de lograr consenso en la selección de indicadores de calidad en salud, y encontraron que menos del 40% de los estudios incluidos siguieron la metodología adecuada en cuanto a la información de respuestas y retroalimentación a expertos entre las rondas, y más del 25% no reportó la metodología usada para definir el logro de consenso15. Ya en 1987 Goodman175 criticaba la aplicación poco rigurosa del método y sus variaciones en el área de enfermería, considera que parece que aún no ha sido atendida por investigadores y editores de revistas científicas, hasta el punto que recientemente otros autores hacen un llamamiento a la comunidad científica para que se revisen las limitaciones y alcances de las técnicas de consenso y acuerdo176 y retomen la investigación en el método Delphi y sus aplicaciones en salud177. Llama la atención que, siendo un método tan ampliamente usado y con tal antigüedad, hasta la fecha no existan guías metodológicas aceptadas universalmente para su aplicación que garanticen la validez de sus resultados, esto a pesar de la preocupación constante de varios autores que han buscado establecer pautas metodológicas para la técnica Delphi19,21,178. Es evidente, entonces, la necesidad de establecer y validar unos criterios mínimos de cumplimiento para que un ejercicio de consenso de expertos a través del método Delphi logre su propósito de forma válida. De esta forma se genera una oportunidad de investigación metodológica en aproximaciones y estrategias de consenso, que como proponen recientemente Humphrey-Murto y de Wit178 debe incluir en su agenda, entre otros aspectos, trabajar en una definición clara y estandarizada del concepto «consenso», el uso y validez de la técnica Delphi y sus variaciones, incluida su aplicación combinada con otras técnicas (p. ej. grupo nominal, grupo focal). Como clínicos, usuarios de los resultados de la investigación, debemos promover una actitud crítica hacia la apreciación de los estudios que reportan resultados basados en consenso, y de acuerdo con ella, definir cuál o cuáles se pueden considerar válidos y aplicables al cuidado de los pacientes.

Conclusión

El uso del método Delphi en investigación en salud es cada vez mayor. Sin embargo, se observa que es también cada vez más frecuente la inclusión de modificaciones a la metodología originalmente descrita, sin que el efecto de estas variaciones sea evaluado, lo que pone en riesgo la validez de los resultados obtenidos. Se requiere por parte de investigadores y de las mismas revistas científicas una mayor rigurosidad en la aplicación del método. Se requiere retomar la investigación en estrategias de consenso con miras a garantizar la validez de los resultados que se obtienen de su uso en investigación.

Financiación

Apoyo económico otorgado por la Asociación Colombiana de Reumatología.

Conflicto de intereses

Ninguno.

Bibliografía
[1]
J. Steurer.
The Delphi method: An efficient procedure to generate knowledge.
Skeletal Radiol, 40 (2011), pp. 959-961
[2]
J.A. Baker, K.H.N. Lovell.
How expert are the experts: An exploration of the concept of expert within the Delphi panel techniques.
Nurse Res, 14 (2006), pp. 59-70
[3]
T. Tomasik.
Reliability and validity of the Delphi method in guideline development for family physicians.
Qual Prim Care, 18 (2010), pp. 317-326
[4]
N. Dalkey, O. Helmer.
An experimental application of the Delphi method to the use of experts.
Manage Sci, 9 (1963), pp. 458-468
[5]
J. Greatorex, T. Dexter.
An accessible analytical approach for investigating what happens between the rounds of a Delphi study.
J Adv Nurs, 32 (2000), pp. 1016-1024
[6]
R. Yañez Gallardo, R. Cuadra Olmos.
La técnica Delphi y la investigación en los servicios de salud.
Cienc Enferm, 1 (2008), pp. 9-15
[7]
S. Keeney, F. Hasson, H. McKenna.
Consulting the oracle: Ten lessons from using the Delphi technique in nursing research.
J Adv Nurs, 53 (2006), pp. 205-212
[8]
P.M. Mullen.
Delphi: Myths and reality.
J Health Organ Manag, 17 (2003), pp. 37-52
[9]
M. García, M. Suárez.
El método Delphi para la consulta a expertos en la investigación científica.
Rev Cuba Salud Pública, 39 (2013), pp. 253-267
[10]
S. Keeney, F. Hasson, H.P. McKenna.
A critical review of the Delphi technique as a research methodology for nursing.
Int J Nurs Stud, 38 (2001), pp. 195-200
[11]
M. Varela-Ruiz, L. Díaz-Bravo, R. García-Durán.
Investigacion en educacion médica.
Elsevier, (2012), pp. 90-95
[12]
M.J. Clayton.
Delphi: A technique to harness expert opinion for critical decision making tasks in education.
Educ Psychol, 17 (1997), pp. 373-386
[13]
A.F. Jorm.
Using the Delphi expert consensus method in mental health research.
Aust New Zeal J Psychiatry, 49 (2015), pp. 887-897
[14]
C.C. Hsu.
The Delphi technique: Making sense of consensus-practical assessment.
Pract Assess Res Eval, (2007), pp. 12
[15]
R. Boulkedid, H. Abdoul, M. Loustau, O. Sibony, C. Alberti.
Using and reporting the delphi method for selecting healthcare quality indicators: A systematic review.
[16]
J. De Meyrick.
The Delphi method and health research.
Health Educ, 103 (2003), pp. 7-16
[17]
C. Okoli, S.D. Pawlowski.
The Delphi method as a research tool: An example, design considerations and applications.
Inf Manag, 42 (2004), pp. 15-29
[18]
R. Ono, D.J. Wedemeyer.
Assessing the validity of the Delphi technique.
Futures, 26 (1994), pp. 289-304
[19]
I.R. Diamond, R.C. Grant, B.M. Feldman, P.B. Pencharz, S.C. Ling, A.M. Moore, et al.
Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies.
J Clin Epidemiol, 67 (2014), pp. 401-409
[20]
K.J. Chalmers, K.S. Bond, A.F. Jorm, C.M. Kelly, B.A. Kitchener, A. Williams-Tchen.
Providing culturally appropriate mental health first aid to an Aboriginal or Torres Strait Islander adolescent: Development of expert consensus guidelines.
Int J Ment Health Syst, 8 (2014), pp. 6
[21]
F. Hasson, S. Keeney, H. McKenna.
Research guidelines for the Delphi survey technique.
J Adv Nurs, 32 (2000), pp. 1008-1015
[22]
P.L. Williams, C. Webb.
The Delphi technique: A methodological discussion.
J Adv Nurs, 19 (1994), pp. 180-186
[23]
M.R. De Villiers, P.J.T. de Villiers, A.P. Kent.
The Delphi technique in health sciences education research.
Med Teach, 27 (2005), pp. 639-643
[24]
B. Graham, G. Regehr, J.G. Wright.
Delphi as a method to establish consensus for diagnostic criteria.
J Clin Epidemiol, 56 (2003), pp. 1150-1156
[25]
C. Powell.
The Delphi technique: Myths and realities.
J Adv Nurs, 41 (2003), pp. 376-382
[26]
Jairath N, Weinstein J. The Delphi methodology (Part one): A useful administrative approach. Can J Nurs Adm. 1994;7:29-42.
[27]
M.C. Jaimes.
Title: The Delphi technique: “When Two Heads Think Better than One”; in the development of guidelines for clinical practice.
Rev Colomb Psiquiat, 38 (2009), pp. 185-193
[28]
C.E.H. Barber, D.P. Mosher, V. Ahluwalia, M. Zummer, D.A. Marshall, D. Choquette, et al.
Development of a Canadian core clinical dataset to support high-quality care for Canadian patients with rheumatoid arthritis.
J Rheumatol, 44 (2017), pp. 1813-1822
[29]
J. Sanz Sanz, X. Juanola Roura, D. Seoane-Mato, M. Montoro, F. Gomollón.
Grupo de trabajo del proyecto PIIASER. Criterios de cribado de enfermedad inflamatoria intestinal y espondiloartritis para derivación de pacientes entre reumatología y gastroenterología.
Gastroenterol Hepatol, 41 (2018), pp. 54-62
[30]
I. Möller, I. Janta, M. Backhaus, S. Ohrndorf, D.A. Bong, C. Martinoli, et al.
The 2017 EULAR standardised procedures for ultrasound imaging in rheumatology.
Ann Rheum Dis, 76 (2017), pp. 1974-1979
[31]
J.K. Park, C.A. Mecoli, H. Alexanderson, M. Regardt, L. Christopher-Stine, M. Casal-Domínguez, et al.
Advancing the development of patient-reported outcomes for adult myositis at OMERACT 2016. An international Delphi Study.
J Rheumatol, 44 (2017), pp. 1683-1687
[32]
A. Migliore, C.A. Scirè, L. Carmona, G.H. Beaumont, E. Bizzi, J. Branco, et al.
The challenge of the definition of early symptomatic knee osteoarthritis: A proposal of criteria and red flags from an international initiative promoted by the Italian Society for Rheumatology.
Rheumatol Int, 37 (2017), pp. 1227-1236
[33]
J.C. Torre-Alonso, L. Carmona, M. Moreno, E. Galíndez, J. Babío, P. Zarco, et al.
Identification and management of comorbidity in psoriatic arthritis: Evidence- and expert-based recommendations from a multidisciplinary panel from Spain.
Rheumatol Int, 37 (2017), pp. 1239-1248
[34]
R. Buchbinder, M.J. Page, H. Huang, A.P. Verhagen, D. Beaton, C. Kopkow, et al.
A preliminary core domain set for clinical trials of shoulder disorders: A report from the OMERACT 2016 shoulder core outcome set special interest group.
J Rheumatol, 44 (2017), pp. 1880-1883
[35]
G. Lapadula, A. Marchesoni, F. Salaffi, R. Ramonda, C. Salvarani, L. Punzi, et al.
Evidence-based algorithm for diagnosis and assessment in psoriatic arthritis: Results by Italian DElphi in psoriatic Arthritis (IDEA).
Reumatismo, 68 (2016), pp. 126-136
[36]
O. Kowal-Bielecka, J. Fransen, J. Avouac, M. Becker, A. Kulak, Y. Allanore, et al.
Update of EULAR recommendations for the treatment of systemic sclerosis.
Ann Rheum Dis, 76 (2017), pp. 1327-1339
[37]
J. Gratacos-Masmitja, J. Luelmo-Aguilar, P. Zarco-Montejo, R. Botella-Estrada, A.M. Carrizosa-Esquivel, M.L. García-Vivar, et al.
Points to consider in the foundation of multidisciplinary units for psoriatic arthritis: A Delphi study and a systematic review of the literature.
Adv Ther, 33 (2017), pp. 2150-2159
[38]
A. Ravelli, F. Minoia, S. Davì, A. Horne, F. Bovis, A. Pistorio, et al.
2016 Classification criteria for macrophage activation syndrome complicating systemic juvenile idiopathic arthritis.
Ann Rheum Dis, 75 (2016), pp. 481-489
[39]
J.M. Nolla, C. Martínez, R. García-Vicuña, D. Seoane-Mato, M.P. Rosario Lozano, A. Alonso, et al.
Quality standards for rheumatology outpatient clinic. The EXTRELLA project.
Reumatol Clin, 12 (2016), pp. 248-255
[40]
T. Helliwell, E. Brouwer, C.T. Pease, R. Hughes, C.L. Hill, L.M. Neill, et al.
Development of a provisional core domain set for polymyalgia rheumatica: Report from the OMERACT 12 Polymyalgia Rheumatica Working Group.
J Rheumatol, 43 (2016), pp. 182-186
[41]
K. Ikeda, A. Narita, M. Ogasawara, S. Ohno, Y. Kawahito, A. Kawakami, et al.
Consensus-based identification of factors related to false-positives in ultrasound scanning of synovitis and tenosynovitis.
Mod Rheumatol, 26 (2016), pp. 9-14
[42]
M. Kojima, T. Nakayama, Y. Kawahito, Y. Kaneko, M. Kishimoto, S. Hirata, et al.
The process of collecting and evaluating evidences for the development of guidelines for the management of rheumatoid arthritis. Japan College of Rheumatology 2014: Utilization of GRADE approach.
Mod Rheumatol, 26 (2016), pp. 175-179
[43]
D. Poddubnyy, A. van Tubergen, R. Landewé, J. Sieper, D. van der Heijde.
Assessment of SpondyloArthritis International Society (ASAS) Development of an ASAS-endorsed recommendation for the early referral of patients with a suspicion of axial spondyloarthritis.
Ann Rheum Dis, 74 (2015), pp. 1483-1487
[44]
W.H. Boehncke, M.D. Anliker, C. Conrad, J. Dudler, F. Hasler, P. Hasler, et al.
The dermatologists’ role in managing psoriatic arthritis: results of a Swiss Delphi exercise intended to improve collaboration with rheumatologists.
Dermatology, 230 (2015), pp. 75-81
[45]
E. Loza, C. Lajas, J.L. Andreu, A. Balsa, I. González-Álvaro, O. Illera, et al.
Consensus statement on a framework for the management of comorbidity and extra-articular manifestations in rheumatoid arthritis.
Rheumatol Int, 35 (2015), pp. 445-458
[46]
S.L. Chow, S. Herman-Kideckel, D. Mahendira, H. McDonald-Blumer.
Immunology for rheumatology residents: Working toward a Canadian national curriculum consensus.
J Clin Rheumatol, 21 (2015), pp. 10-14
[47]
X. Juanola Roura, E. Collantes Estévez, F. León Vázquez, A. Torres Villamor, M.J. García Yébenes, R. Queiro Silva, et al.
Reccomendations for the detection, study and referral of inflammatory low-back pain in primary care.
Reumatol Clin, 11 (2015), pp. 90-98
[48]
P.F. Weiss, R.A. Colbert, R. Xiao, C. Feudtner, T. Beukelman, E.M. deWitt, et al.
Development and retrospective validation of the juvenile spondyloarthritis disease activity index.
Arthritis Care Res (Hoboken), 66 (2014), pp. 1775-1782
[49]
B.L. Richards, S. Whittle, R. Buchbinder, C. Barrett, N. Lynch, G. Major, et al.
Australian and New Zealand evidence-based recommendations for pain management by pharmacotherapy in adult patients with inflammatory arthritis.
Int J Rheum Dis, 17 (2014), pp. 738-748
[50]
M.H. Buch, L. Silva-Fernández, L. Carmona, D. Aletaha, R. Christensen, B. Combe, et al.
Development of EULAR recommendations for the reporting of clinical trial extension studies in rheumatology.
Ann Rheum Dis, 74 (2015), pp. 963-969
[51]
J.D. Cañete, E. Daudén, R. Queiro, M.D. Aguilar, J.L. Sánchez-Carazo, J.M. Carrascosa, et al.
Recommendations for the coordinated management of psoriatic arthritis by rheumatologists and dermatologists: A Delphi study.
Actas Dermosifiliogr, 105 (2014), pp. 216-232
[52]
M.Á. Abad, R.A. Ariza, J.J. Aznar, E. Batlle, E. Beltrán, J. de Dios Cañete, et al.
Standards of care for patients with spondyloarthritis.
Rheumatol Int, 34 (2014), pp. 165-170
[53]
L.M. Wildi, A. Hensel, M. Wertli, B.A. Michel, J. Steurer.
Relevant baseline characteristics for describing patients with knee osteoarthritis: Results from a Delphi survey.
BMC Musculoskelet Disord, 14 (2013), pp. 369
[54]
A. Iagnocco, F. Porta, G. Cuomo, A. Delle Sedie, E. Filippucci, W. Grassi, et al.
The Italian MSUS S**tudy G**roup recommendations for the format and content of the report and documentation in musculoskeletal ultrasonography in rheumatology.
Rheumatology (Oxford), 53 (2014), pp. 367-373
[55]
C. Barrett, P. Bird, G. Major, E. Romas, I. Portek, A. Taylor, et al.
Australian and New Zealand national evidence-based recommendations for the investigation and follow-up of undifferentiated peripheral inflammatory arthritis: An integration of systematic literature research and rheumatological expert opinion.
Int J Rheum Dis, 16 (2013), pp. 637-651
[56]
K. Albrecht, K. Krüger, J. Wollenhaupt, R. Alten, M. Backhaus, C. Baerwald, et al.
German guidelines for the sequential medical treatment of rheumatoid arthritis with traditional and biologic disease-modifying antirheumatic drugs.
Rheumatol Int, 34 (2014), pp. 1-9
[57]
Coulter C, Baron M, Pope JE. A Delphi exercise and cluster analysis to aid in the development of potential classification criteria for systemic sclerosis using SSc experts and databases. Clin Exp Rheumatol. 2013;31:24-30.
[58]
J. Yazdany, G. Schmajuk, M. Robbins, D. Daikh, A. Beall, E. Yelin, et al.
Choosing wisely: The American College of Rheumatology's Top 5 list of things physicians and patients should question.
Arthritis Care Res (Hoboken), 65 (2013), pp. 329-339
[59]
M. Porcheret, J. Grime, C. Main, K. Dziedzic.
Developing a model osteoarthritis consultation: A Delphi consensus exercise.
BMC Musculoskelet Disord, 14 (2013), pp. 25
[60]
J. Zhao, Q. Zha, M. Jiang, H. Cao, A. Lu.
Expert consensus on the treatment of rheumatoid arthritis with Chinese patent medicines.
J Altern Complement Med, 19 (2013), pp. 111-118
[61]
M. Benhamou, I. Boutron, M. Dalichampt, G. Baron, S. Alami, F. Rannou, et al.
Elaboration and validation of a questionnaire assessing patient expectations about management of knee osteoarthritis by their physicians: The Knee Osteoarthritis Expectations Questionnaire.
Ann Rheum Dis, 72 (2013), pp. 552-559
[62]
F. Salaffi, A. Ciapetti, P. Sarzi Puttini, F. Atzeni, C. Iannuccelli, M. Di Franco, et al.
Preliminary identification of key clinical domains for outcome evaluation in fibromyalgia using the Delphi method: The Italian experience.
Reumatismo, 64 (2012), pp. 27-34
[63]
Nikolaus S, Bode C, Taal E, van der Laar MAFJ. Expert evaluations of fatigue questionnaires used in rheumatoid arthritis: A Delphi study among patients, nurses and rheumatologists in the Netherlands. Clin Exp Rheumatol. 2012;30:79-84.
[64]
A. Heiligenhaus, H. Michels, C. Schumacher, I. Kopp, U. Neudorf, T. Niehues, et al.
Evidence-based, interdisciplinary guidelines for anti-inflammatory treatment of uveitis associated with juvenile idiopathic arthritis.
Rheumatol Int, 32 (2012), pp. 1121-1133
[65]
Montecucco C, Caporali R, Matucci-Cerinic M. Updating the Italian Society for Rheumatology recommendations for biologic therapy in adult patients with inflammatory rheumatic diseases. Clin Exp Rheumatol. 2011;29:S3-6.
[66]
Huscher D, Pittrow D, Distler O, Denton CP, Foeldvari I, Humbert M, et al. Interactions between rheumatologists and cardio-/pulmonologists in the assessment and use of outcome measures in pulmonary arterial hypertension related to systemic sclerosis. Clin Exp Rheumatol. 2010;28:S47-52.
[67]
C. Pineda, A.M. Reginato, V. Flores, M. Aliste, M. Alva, R.A. Aragón-Laínez, et al.
Pan-American League of Associations for Rheumatology (PANLAR) recommendations and guidelines for musculoskeletal ultrasound training in the America for rheumatologists.
J Clin Rheumatol, 16 (2010), pp. 113-118
[68]
A. Boonen, M. van Berkel, I. Kirchberger, A. Cieza, G. Stucki, D. van der Heijde.
Aspects relevant for functioning in patients with ankylosing spondylitis according to the health professionals: A Delphi study with the ICF as reference.
Rheumatology (Oxford), 48 (2009), pp. 997-1002
[69]
D’Angelo S, Padula A, Nigro A, Cantini F, Matucci-Cerinic M, Modena V, et al. Italian evidence-based recommendations for the management of ankylosing spondylitis: the 3E Initiative in Rheumatology Clin Exp Rheumatol. 2008;26:11-1005.
[70]
P.J. Mease, L.M. Arnold, L.J. Crofford, D.A. Williams, I.J. Russell, L. Humphrey, et al.
Identifying the clinical domains of fibromyalgia: contributions from clinician and patient Delphi exercises.
Arthritis Rheum, 59 (2008), pp. 952-960
[71]
S. Hewlett, B. Clarke, A. O’Brien, A. Hammond, S. Ryan, L. Kay, et al.
Rheumatology education for undergraduate nursing, physiotherapy and occupational therapy students in the UK: Standards, challenges and solutions.
Rheumatology (Oxford), 47 (2008), pp. 1025-1030
[72]
W.J. Taylor, H.R. Schumacher, H.S.B. Baraf, P. Chapman, L. Stamp, M. Doherty, et al.
A modified Delphi exercise to determine the extent of consensus with OMERACT outcome domains for studies of acute and chronic gout.
Ann Rheum Dis, 67 (2008), pp. 888-891
[73]
B. Dasgupta, C. Salvarani, M. Schirmer, C.S. Crowson, H. Maradit-Kremers, A. Hutchings, et al.
Developing classification criteria for polymyalgia rheumatica: comparison of views from an expert panel and wider survey.
J Rheumatol, 35 (2008), pp. 270-277
[74]
F. Zulian, P. Woo, B.H. Athreya, R.M. Laxer, T.A. Medsger, T.J.A. Lehman, et al.
The Pediatric Rheumatology European Society/American College of Rheumatology/European League against Rheumatism provisional classification criteria for juvenile systemic sclerosis.
Arthritis Rheum, 57 (2007), pp. 203-212
[75]
H. Gazi, J.E. Pope, P. Clements, T.A. Medsger, R.W. Martin, P.A. Merkel, et al.
Outcome measurements in scleroderma: Results from a delphi exercise.
J Rheumatol, 34 (2007), pp. 501-509
[76]
P.J. Mease, D.J. Clauw, L.M. Arnold, D.L. Goldenberg, J. Witter, D.A. Williams, et al.
Fibromyalgia syndrome.
J Rheumatol, 32 (2005), pp. 2270-2277
[77]
A.K. Brown, P.J. O’connor, T.E. Roberts, R.J. Wakefield, Z. Karim, P. Emery.
Recommendations for musculoskeletal ultrasonography by rheumatologists: Setting global standards for best practice by expert consensus.
Arthritis Rheum, 53 (2005), pp. 83-92
[78]
D. Cabral, J.N. Katz, M.E. Weinblatt, G. Ting, J. Avorn, D.H. Solomon.
Development and assessment of indicators of rheumatoid arthritis severity: Results of a Delphi panel.
Arthritis Rheum, 53 (2005), pp. 61-66
[79]
C.A. Wallace, N. Ruperto, E. Giannini.
Childhood Arthritis and Rheumatology Research Alliance, Pediatric Rheumatology International Trials Organization Pediatric Rheumatology Collaborative Study Group. Preliminary criteria for clinical remission for select categories of juvenile idiopathic arthritis.
J Rheumatol, 31 (2004), pp. 2290-2294
[80]
C.D. Naylor, J.I. Williams.
Primary hip and knee replacement surgery: Ontario criteria for case selection and surgical priority.
Qual Health Care, 5 (1996), pp. 20-30
[81]
K. Toupin-April, J. Barton, L. Fraenkel, L.C. Li, P. Brooks, M. de Wit, et al.
Toward the development of a core set of outcome domains to assess shared decision-making interventions in rheumatology: Results from an OMERACT Delphi survey and consensus meeting.
J Rheumatol, 44 (2017), pp. 1544-1550
[82]
A.M. Huber, S. Kim, A.M. Reed, R. Carrasco, B.M. Feldman, S.D. Hong, et al.
Childhood Arthritis and Rheumatology Research Alliance Consensus Clinical Treatment Plans for Juvenile Dermatomyositis with Persistent Skin Rash.
J Rheumatol, 44 (2017), pp. 110-116
[83]
I. Calvo, J. Antón, S. Bustabad, M. Camacho, J. de Inocencio, M.L. Gamir, et al.
Consensus of the Spanish society of pediatric rheumatology for transition management from pediatric to adult care in rheumatic patients with childhood onset.
Rheumatol Int, 35 (2015), pp. 1615-1624
[84]
J. Fransen, S.R. Johnson, F. van den Hoogen, M. Baron, Y. Allanore, P.E. Carreira, et al.
Items for developing revised classification criteria in systemic sclerosis: Results of a consensus exercise.
Arthritis Care Res (Hoboken), 64 (2012), pp. 351-357
[85]
O. Distler, F. Behrens, D. Pittrow, D. Huscher, C.P. Denton, I. Foeldvari, et al.
Defining appropriate outcome measures in pulmonary arterial hypertension related to systemic sclerosis: A Delphi consensus study with cluster analysis.
Arthritis Rheum, 59 (2008), pp. 867-875
[86]
C. Akre, J.C. Suris, A. Belot, M. Couret, T.T. Dang, A. Duquesne, et al.
Building a transitional care checklist in rheumatology: A Delphi-like survey.
Joint Bone Spine, 85 (2018), pp. 435-440
[87]
S.L. Mackie, H. Twohig, L.M. Neill, E. Harrison, B. Shea, R.J. Black, et al.
The OMERACT core domain set for outcome measures for clinical trials in polymyalgia rheumatica.
J Rheumatol, 44 (2017), pp. 1515-1521
[88]
K.A. Jackson, S. Glyn-Jones, M.E. Batt, N.K. Arden, J.L. Newton.
Delphi Panel. Assessing risk factors for early hip osteoarthritis in activity-related hip pain: A Delphi study.
BMJ Open, 5 (2015), pp. e007609
[89]
R. van der Vaart, C.H.C. Drossaert, E. Taal, M.A.F.J. van de Laar.
Giving rheumatology patients online home access to their electronic medical record (EMR): Advantages, drawbacks and preconditions according to care providers.
Rheumatol Int, 33 (2013), pp. 2405-2410
[90]
A. Finney, M. Porcheret, J. Grime, K.P. Jordan, J. Handy, E. Healey, et al.
Defining the content of an opportunistic osteoarthritis consultation with primary health care professionals: A Delphi consensus study.
Arthritis Care Res (Hoboken), 65 (2013), pp. 962-968
[91]
K.L. Shaw, T.R. Southwood, J.E. McDonagh, British Paediatric Rheumatology Group.
Transitional care for adolescents with juvenile idiopathic arthritis: A Delphi study.
Rheumatology (Oxford), 43 (2004), pp. 1000-1006
[92]
J.A. Martínez López, M.L. García Vivar, R. Cáliz, M. Freire, M. Galindo, M.V. Hernández, et al.
Recommendations for the evaluation and management of patients with rheumatic autoimmune and inflammatory diseases during the reproductive age, pregnancy, postpartum and breastfeeding.
Reumatol Clin, 13 (2017), pp. 264-281
[93]
L. Gossec, B. Fautrel, É. Flipon, F. Lecoq d’André, L. Marguerie, H. Nataf, et al.
Safety of biologics: Elaboration and validation of a questionnaire assessing patients’ self-care safety skills: The BioSecure questionnaire. An initiative of the French Rheumatology Society Therapeutic Education section.
Joint Bone Spine, 80 (2013), pp. 471-476
[94]
F. Lavie, C. Salliot, E. Dernis, P. Claudepierre, T. Schaeverbeke, J. Tebib, et al.
Prognosis and follow-up of psoriatic arthritis with peripheral joint involvement: Development of recommendations for clinical practice based on published evidence and expert opinion.
Joint Bone Spine, 76 (2009), pp. 540-546
[95]
J. Tornero Molina, A. Balsa Criado, F. Blanco García, R. Blanco Alonso, S. Bustabad, J. Calvo Alen, et al.
Expert recommendations on the interleukin 6 blockade in patients with rheumatoid arthritis.
Reumatol Clin, piiS1699–258X (2018), pp. 30136-30140
[96]
J. Sanz Sanz, X. Juanola Roura, D. Seoane-Mato, M. Montoro, F. Gomollón.
Grupo de Trabajo del proyecto PIIASER Criterios de cribado de enfermedad inflamatoria intestinal y espondiloartritis para derivación de pacientes entre reumatología y gastroenterología.
Reumatol Clín, 14 (2018), pp. 68-74
[97]
M.A. Martín-Martínez, J.L. Andreu-Sánchez, F. Sánchez-Alonso, H. Corominas, J.J. Pérez-Venegas, J.A. Román-Ivorra, et al.
A composite indicator to assess the quality of care in the management of patients with rheumatoid arthritis in outpatient rheumatology clinics.
Reumatol Clin, 15 (2019), pp. 156-164
[98]
S. Muñoz Fernández, P. Lázaro y de Mercado, J. Alegre López, R. Almodóvar González, A. Alonso Ruiz, F.J. Ballina García, et al.
Quality of care standards for nursing clinics in rheumatology.
Reumatol Clin, 9 (2013), pp. 206-215
[99]
I. Möller, E. Loza, J. Uson, C. Acebes, J.L. Andreu, E. Batlle, et al.
Recommendations for the use of ultrasound and magnetic resonance in patients with rheumatoid arthritis.
Reumatol Clin, 14 (2018), pp. 9-19
[100]
J. Uson, E. Loza, I. Möller, C. Acebes, J.L. Andreu, E. Batlle, et al.
Recommendations for the use of ultrasound and magnetic resonance in patients with spondyloarthritis. Including psoriatic arthritis, and patients with juvenile idiopathic arthritis.
Reumatol Clin, 14 (2018), pp. 27-35
[101]
M.A. Martín-Martínez, C. González-Juanatey, S. Castañeda, J. Llorca, I. Ferraz-Amaro, B. Fernández-Gutiérrez, et al.
Recommendations for the management of cardiovascular risk in patients with rheumatoid arthritis: Scientific evidence and expert opinion.
Semin Arthritis Rheum, 44 (2014), pp. 1-8
[102]
R. García-Vicuña, M.A. Martín-Martínez, M.R. González-Crespo, J. Tornero-Molina, A. Fernández-Nebro, F.J. Blanco-García, et al.
Recommendations by the Spanish Society of Rheumatology for the management of patients diagnosed with rheumatoid arthritis who cannot be treated with methotrexate.
Reumatol Clin, 13 (2017), pp. 127-138
[103]
E. Dernis, A. Ruyssen-Witrand, G. Mouterde, J.F. Maillefert, J. Tebib, A. Cantagrel, et al.
Use of glucocorticoids in rheumatoid arthritis - pratical modalities of glucocorticoid therapy: Recommendations for clinical practice based on data from the literature and expert opinion.
Joint Bone Spine, 77 (2010), pp. 451-457
[104]
E. Dernis, F. Lavie, C. Salliot, R.M. Flipo, A. Saraux, J.F. Maillefert, et al.
Pharmacological treatment (biotherapy excluded) of peripheral psoriatic arthritis: Development of recommendations for clinical practice based on data from the literature and experts opinion.
Joint Bone Spine, 76 (2009), pp. 524-531
[105]
W. Zhang, R.W. Moskowitz, G. Nuki, S. Abramson, R.D. Altman, N. Arden, et al.
OARSI recommendations for the management of hip and knee osteoarthritis. Part II: OARSI evidence-based, expert consensus guidelines.
Osteoarthr Cartil, 16 (2008), pp. 137-162
[106]
C. Salliot, E. Dernis, F. Lavie, A. Cantagrel, P. Gaudin, D. Wendling, et al.
Diagnosis of peripheral psoriatic arthritis: Recommendations for clinical practice based on data from the literature and experts opinion.
Jt Bone Spine, 76 (2009), pp. 532-539
[107]
G. Mouterde, E. Dernis, A. Ruyssen-Witrand, P. Claudepierre, T. Schaeverbeke, A. Cantagrel, et al.
Indications of glucocorticoids in early arthritis and rheumatoid arthritis: Recommendations for clinical practice based on data from the literature and expert opinion.
Joint Bone Spine, 77 (2010), pp. 597-603
[108]
J.D. Cañete, R. Ariza-Ariza, S. Bustabad, C. Delgado, C. Fernández-Carballido, J.F. García Llorente, et al.
Recomendaciones sobre el uso de metotrexato en pacientes con artritis psoriásica.
Reumatol Clin, 14 (2018), pp. 183-190
[109]
S. Muñoz-Fernández, M.S. Bustabad Reyes, J. Calvo Alén, M. Castaño Sánchez, E. Chamizo Carmona, H. Corominas, et al.
Biologic disease-modifying antirheumatic drug attributes in the first lines of treatment of rheumatoid arthritis 2015 ACORDAR project.
Reumatol Clin, 14 (2018), pp. 90-96
[110]
V. Navarro-Compán, T. Otón, E. Loza, R. Almodóvar, R. Ariza-Ariza, W. Bautista-Molano, et al.
Assessment of SpondyloArthritis International Society (ASAS) consensus on Spanish nomenclature for spondyloarthritis.
Reumatol Clin, piiS1699-258X (2018), pp. 30173-30176
[111]
P. Vergne-Salle, O. Mejjad, R.M. Javier, E. Maheu, M. Fallut, J. Glowinski, et al.
Antiepileptic drugs to treat pain in rheumatic conditions. Recommendations based on evidence-based review of the literature and expert opinion.
Joint Bone Spine, 76 (2009), pp. 75-85
[112]
J. Tornero Molina, J. Calvo Alen, J. Ballina, Belmonte M.Á., F.J. Blanco, Caracuel M.Á., et al.
Recommendations for the use of parenteral methotrexate in rheumatic diseases.
Reumatol Clin, 14 (2018), pp. 142-149
[113]
J. Gratacós, P. Díaz del Campo Fontecha, C. Fernández-Carballido, X. Juanola Roura, L.F. Linares Ferrando, E. de Miguel Mendieta, et al.
Recomendaciones de la Sociedad Española de Reumatología sobre el uso de terapias biológicas en espondiloartritis axial.
Reumatol Clin, 14 (2018), pp. 320-333
[114]
M.T. Flórez García, L. Carmona, R. Almodóvar, C. Fernández de Las Peñas, F. García Pérez, Pérez Manzanero MÁ, et al.
Recommendations for the prescription of physical exercise for patients with spondyloarthritis.
Reumatol Clin, 15 (2019), pp. 77-83
[115]
A. Juan Mas, S. Castañeda, J.I. Cantero Santamaría, J.L. Baquero, F.J. del Toro Santos, en representación del grupo de trabajo OBSERVAR.
Adherencia al tratamiento con fármacos moduladores de la enfermedad sintéticos en la artritis reumatoide. Resultados del estudio OBSERVAR.
Reumatol Clin, piiS1699–258X (2017), pp. 30252-30258
[116]
J. Sanz Sanz, E. Beltrán, M.C. Díaz-Miguel Pérez, C. Fernández-Carballido, E. Galíndez, C. García Porrua, et al.
Quality standard for the management of patients with psoriatic arthritis: QUANTUM Project.
Reumatol Clin, piiS1699–258X (2018), pp. 30129-30133
[117]
J.C. Torre Alonso, P. Díaz del Campo Fontecha, R. Almodóvar, J.D. Cañete, C. Montilla Morales, M. Moreno, et al.
Recommendations of the Spanish Society of Rheumatology on treatment and use of systemic biological and non-biological therapies in psoriatic arthritis.
Reumatol Clin, 14 (2018), pp. 254-268
[118]
E. Martín Mola, B. Hernández, M. García-Arias, J.M. Alvaro-Gracia, A. Balsa, J.G. Reino, et al.
[Consensus on the use of rituximab in rheumatoid arthritis. A document with evidence-based recommendations]. Grupo de Expertos en Rituximab.
Reumatol Clin, 7 (2011), pp. 30-44
[119]
A. Lanas, P. Benito, J. Alonso, B. Hernández-Cruz, G. Barón-Esquivias, Á. Pérez-Aísa, et al.
Recomendaciones para una prescripción segura de antiinflamatorios no esteroideos: documento de consenso elaborado por expertos nominados por 3 sociedades científicas (SER-SEC-AEG).
Reumatol Clin, 10 (2014), pp. 68-84
[120]
J. Tornero Molina, R. Sanmartí Sala, V. Rodríguez Valverde, E. Martín Mola, J.L. Marenco de la Fuente, I. González Álvaro, et al.
Actualización del Documento de Consenso de la Sociedad Española de Reumatología sobre el uso de terapias biológicas en la artritis reumatoide.
Reumatol Clin, 6 (2010), pp. 23-36
[121]
X. Juanola Roura, P. Zarco Montejo, J. Sanz Sanz, S. Muñoz Fernández, J. Mulero Mendoza, L.F. Linares Ferrando, et al.
[Consensus Statement of the Spanish Society of Rheumatology on the management of biologic therapies in spondyloarthritis except for psoriatic arthritis].
Reumatol Clin, 7 (2011), pp. 113-123
[122]
J.L. Fernández Sueiro, X. Juanola Roura, J.D. Cañete Crespillo, J.C. Torre Alonso, R. García de Vicuña, R. Queiro Silva, et al.
Documento SER de consenso sobre el uso de terapias biológicas en la artritis psoriásica.
Reumatol Clin, 7 (2011), pp. 179-188
[123]
R. Sanmartí, S. García-Rodríguez, J.M. Álvaro-Gracia, J.L. Andreu, A. Balsa, R. Cáliz, et al.
2014 update of the Consensus Statement of the Spanish Society of Rheumatology on the use of biological therapies in rheumatoid arthritis.
Reumatol Clin, 11 (2015), pp. 279-294
[124]
L. Pérez Edo, A. Alonso Ruiz, D. Roig Vilaseca, A. García Vadillo, N. Guañabens Gay, P. Peris, et al.
[2011 Up-date of the consensus statement of the Spanish Society of Rheumatology on osteoporosis].
Reumatol Clin, 7 (2011), pp. 357-379
[125]
A. Medina Orjuela, Ó. Rosero Olarte, P. Nel Rueda Plata, F. Sánchez Escobar, M. Chalem Choueka, M.Á. González Reyes, et al.
II Consenso colombiano para el manejo de la osteoporosis posmenopáusica.
Rev Colomb Reumatol, 25 (2018), pp. 184-210
[126]
L. Carmona Ortells, E. Loza Santamaría, Grupo ESPOGUIA.
[Management of spondyloarthritis (ESPOGUIA): methodology and general data from the document].
Reumatol Clin, 6 (2010), pp. 1-5
[127]
G. Bori Segura, B. Hernández Cruz, M. Gobbo, Á. Lanas Arbeloa, M. Salazar Páramo, L. Terán Estrada, et al.
Uso apropiado de los antiinflamatorios no esteroideos en reumatología: documento de consenso de la Sociedad Española de Reumatología y el Colegio Mexicano de Reumatología.
Reumatol Clin, 5 (2009), pp. 3-12
[128]
J. Calvo-Alén, L. Silva-Fernández, E. Úcar-Angulo, J.M. Pego-Reigosa, A. Olivé, C. Martínez-Fernández, et al.
SER consensus statement on the use of biologic therapy for systemic lupus erythematosus.
Reumatol Clin, 9 (2013), pp. 281-296
[129]
J. Gómez Reino, E. Loza, J.L. Andreu, A. Balsa, E. Batlle, J.D. Cañete, et al.
[Consensus statement of the Spanish Society of Rheumatology on risk management of biologic therapy in rheumatic patients].
Reumatol Clin, 7 (2011), pp. 284-298
[130]
M.A. Stoffer, J.S. Smolen, A. Woolf, A. Ambrozic, F. Berghea, A. Boonen, et al.
Development of patient-centred standards of care for osteoarthritis in Europe: The eumusc.net-project.
Ann Rheum Dis, 74 (2015), pp. 1145-1149
[131]
J. Blanch, X. Nogués, M. Moro, M. Valero, D. del Pino-Montes, L. Canals, et al.
Circuitos de atención médica de la paciente con osteoporosis postmenopáusica en España.
Rev Osteoporos Metab Miner, 9 (2017), pp. 62-71
[132]
C.D.L. Marques, A.L.B.P. Duarte, A. Ranzolin, A.T. Dantas, N.G. Cavalcanti, R.S.G. Gonçalves, et al.
Recommendations of the Brazilian Society of Rheumatology for diagnosis and treatment of Chikungunya fever. Part 1-Diagnosis and special situations.
Rev Bras Reumatol, 57 (2017), pp. 421-437
[133]
C.D.L. Marques, A.L.B.P. Duarte, A. Ranzolin, A.T. Dantas, N.G. Cavalcanti, R.S.G. Gonçalves, et al.
Recommendations of the Brazilian Society of Rheumatology for the diagnosis and treatment of chikungunya fever. Part 2–Treatment.
Rev Bras Reumatol (English ed.), 57 (2017), pp. 438-451
[134]
Centro Provincial de Información de Ciencias Médicas de Camagüey. Ortega González C, García Lorenzo Y. Archivo médico de Camagüey. Rev AMC. 2013;17:121-8
[135]
I.A. Pereira, B.A. Cruz, R.M. Xavier, G.R.C. Pinheiro, D.C. Titton, R.D.N. Giorgi, et al.
Recomendações nacionais baseadas em evidências científicas e opiniões dos especialistas sobre o uso do metotrexato nas doenças reumáticas, especialmente na artrite reumatoide: resultados da iniciativa 3E do Brasil.
Rev Bras Reumatol, 49 (2009), pp. 346-361
[136]
B.A. Fisher, R. Jonsson, T. Daniels, M. Bombardieri, R.M. Brown, P. Morgan, et al.
Standardisation of labial salivary gland histopathology in clinical trials in primary Sjögren's syndrome.
Ann Rheum Dis, 76 (2017), pp. 1161-1168
[137]
A.M. Briggs, J.E. Jordan, I.N. Ackerman, S. Van Doornum.
Establishing cross-discipline consensus on contraception, pregnancy and breast feeding-related educational messages and clinical practices to support women with rheumatoid arthritis: An Australian Delphi study.
BMJ Open, 6 (2016), pp. e012139
[138]
P. Richette, M. Doherty, E. Pascual, V. Barskova, F. Becce, J. Castañeda-Sanabria, et al.
2016 updated EULAR evidence-based recommendations for the management of gout.
Ann Rheum Dis, 76 (2017), pp. 29-42
[139]
S.E. Carsons, F.B. Vivino, A. Parke, N. Carteron, V. Sankar, R. Brasington, et al.
Treatment guidelines for rheumatologic manifestations of Sjögren's syndrome: Use of biologic agents. Management of fatigue, and inflammatory musculoskeletal pain.
Arthritis Care Res (Hoboken), 69 (2017), pp. 517-527
[140]
E.M. Kool, M.J. Nijsten, A.E. van Ede, T.L. Jansen, W.J. Taylor.
Discrepancies in how the impact of gout is assessed in outcomes research compared to how health professionals view the impact of gout, using the lens of the International Classification of Functioning, Health and Disability (ICF).
Clin Rheumatol, 35 (2016), pp. 2259-2268
[141]
C. Götestam Skorpen, M. Hoeltzenbein, A. Tincani, R. Fischer-Betz, E. Elefant, C. Chambers, et al.
The EULAR points to consider for use of antirheumatic drugs before pregnancy, and during pregnancy and lactation.
Ann Rheum Dis, 75 (2016), pp. 795-810
[142]
C.E. Barber, J.N. Patel, L. Woodhouse, C. Smith, S. Weiss, J. Homik, et al.
Development of key performance indicators to evaluate centralized intake for patients with osteoarthritis and rheumatoid arthritis.
Arthritis Res Ther, 17 (2015), pp. 322
[143]
L. Terslev, M. Gutiérrez, R. Christensen, P.V. Balint, G.A. Bruyn, A. Delle Sedie, et al.
Assessing elementary lesions in gout by ultrasound: Results of an OMERACT patient-based agreement and reliability exercise.
J Rheumatol, 42 (2015), pp. 2149-2154
[144]
H. De Lautour, W.J. Taylor, A. Adebajo, R. Alten, R. Burgos-Vargas, P. Chapman, et al.
Development of preliminary remission criteria for gout using Delphi and 1000 minds consensus exercises.
Arthritis Care Res (Hoboken), 68 (2016), pp. 667-672
[145]
L. Terslev, M. Gutiérrez, W.A. Schmidt, H.I. Keen, E. Filippucci, D. Kane, et al.
Ultrasound as an outcome measure in gout. A validation process by the OMERACT Ultrasound Working Group.
J Rheumatol, 42 (2015), pp. 2177-2181
[146]
M. Paoloni, A. Bernetti, A. Belelli, O. Brignoli, S. Buoso, A.P. Caputi, et al.
Appropriateness of clinical and organizational criteria for intra-articular injection therapies in osteoarthritis. A Delphi method consensus initiative among experts in Italy.
Ann Ist Super Sanita, 51 (2015), pp. 131-138
[147]
M. Gutierrez, W.A. Schmidt, R.G. Thiele, H.I. Keen, G.S. Kaeley, E. Naredo, et al.
International consensus for ultrasound lesions in gout: Results of Delphi process and web-reliability exercise.
Rheumatology (Oxford), 54 (2015), pp. 1797-1805
[148]
G.A. Bruyn, E. Naredo, N. Damjanov, A. Bachta, P. Baudoin, H.B. Hammer, et al.
An OMERACT reliability exercise of inflammatory and structural abnormalities in patients with knee osteoarthritis using ultrasound assessment.
Ann Rheum Dis, 75 (2016), pp. 842-846
[149]
S.D. French, K.L. Bennell, P.J.A. Nicolson, P.W. Hodges, F.L. Dobson, R.S. Hinman.
What do people with knee or hip osteoarthritis need to know? An international consensus list of essential statements for osteoarthritis.
Arthritis Care Res (Hoboken), 67 (2015), pp. 809-816
[150]
L. Grypdonck, B. Aertgeerts, F. Luyten, H. Wollersheim, J. Bellemans, K. Peers, et al.
Development of quality indicators for an integrated approach of knee osteoarthritis.
J Rheumatol, 41 (2014), pp. 1155-1162
[151]
L. Fernandes, K.B. Hagen, J.W.J. Bijlsma, O. Andreassen, P. Christensen, P.G. Conaghan, et al.
EULAR recommendations for the non-pharmacological core management of hip and knee osteoarthritis.
Ann Rheum Dis, 72 (2013), pp. 1125-1135
[152]
R.L. Prowse, N. Dalbeth, A. Kavanaugh, A.O. Adebajo, A.L. Gaffo, R. Terkeltaub, et al.
A Delphi exercise to identify characteristic features of gout-opinions from patients and physicians, the first stage in developing new classification criteria.
J Rheumatol, 40 (2013), pp. 498-505
[153]
X. Torres, M.J. Herrero, M. Martí, A. Conesa, M. Valdés, A. Arias, et al.
Why people with fibromyalgia persist in activity despite the increasing pain? A Delphi study of the content of the Clinic Scale of Persistence in Activity in Fibromyalgia.
Rev Psiquiatr Salud Ment, 6 (2013), pp. 33-44
[154]
E. Naredo, M.A. D’Agostino, R.J. Wakefield, I. Möller, P.V. Balint, E. Filippucci, et al.
Reliability of a consensus-based ultrasound score for tenosynovitis in rheumatoid arthritis.
Ann Rheum Dis, 72 (2013), pp. 1328-1334
[155]
S.J. Bartlett, S. Hewlett, C.O. Bingham, T.G. Woodworth, R. Alten, C. Pohl, et al.
Identifying core domains to assess flare in rheumatoid arthritis: An OMERACT international patient and provider combined Delphi consensus.
Ann Rheum Dis, 71 (2012), pp. 1855-1860
[156]
O. Baser, J. Du, L. Xie, H. Wang, A.H. Dysinger, L. Wang.
Derivation of severity index for rheumatoid arthritis and its association with healthcare outcomes.
J Med Econ, 15 (2012), pp. 918-924
[157]
A. Heiligenhaus, I. Foeldvari, C. Edelsten, J.R. Smith, R.K. Saurenmann, B. Bodaghi, et al.
Proposed outcome measures for prospective clinical trials in juvenile idiopathic arthritis-associated uveitis: A consensus effort from the multinational interdisciplinary working group for uveitis in childhood.
Arthritis Care Res (Hoboken), 64 (2012), pp. 1365-1372
[158]
S. Nikolaus, C. Bode, E. Taal, M.A. van de Laar.
Which dimensions of fatigue should be measured in patients with rheumatoid arthritis? A Delphi study.
Musculoskeletal Care, 10 (2012), pp. 13-17
[159]
J.-M. Berthelot, M. de Bandt, J. Morel, F. Benatig, A. Constantin, P. Gaudin, et al.
A tool to identify recent or present rheumatoid arthritis flare from both patient and physician perspectives: The ‘FLARE’ instrument.
Ann Rheum Dis, 71 (2012), pp. 1110-1116
[160]
S. Nikolaus, C. Bode, E. Taal, M.A.F.J. vd Laar.
Selection of items for a computer-adaptive test to measure fatigue in patients with rheumatoid arthritis: A Delphi approach.
Qual Life Res, 21 (2012), pp. 863-872
[161]
D.J. Hunter, N. Arden, P.G. Conaghan, F. Eckstein, G. Gold, A. Grainger, et al.
Definition of osteoarthritis on MRI: Results of a Delphi exercise.
Osteoarthr Cartil, 19 (2011), pp. 963-969
[162]
S. Van Assen, N. Agmon-Levin, O. Elkayam, R. Cervera, M.F. Doran, M. Dougados, et al.
EULAR recommendations for vaccination in adult patients with autoimmune inflammatory rheumatic diseases.
Ann Rheum Dis, 70 (2011), pp. 414-422
[163]
C. Dejaco, C. Duftner, M.A. Cimmino, B. Dasgupta, C. Salvarani, C.S. Crowson, et al.
Definition of remission and relapse in polymyalgia rheumatica: Data from a literature search compared with a Delphi-based expert consensus.
Ann Rheum Dis, 70 (2011), pp. 447-453
[164]
C. Gebhardt, I. Kirchberger, G. Stucki, A. Cieza, G. Stucki.
Validation of the comprehensive ICF Core Set for rheumatoid arthritis: The perspective of physicians.
J Rehabil Med, 42 (2010), pp. 780-788
[165]
L.T.C. Van Hulst, J. Fransen, A.A. den Broeder, R. Grol, P.L.C.M. van Riel, M.E.J.L. Hulscher.
Development of quality indicators for monitoring of the disease course in rheumatoid arthritis.
Ann Rheum Dis, 68 (2009), pp. 1805-1810
[166]
W.J. Taylor, R. Shewchuk, K.G. Saag, H.R. Schumacher, J.A. Singh, R. Grainger, et al.
Toward a valid definition of gout flare: Results of consensus exercises using Delphi methodology and cognitive mapping.
Arthritis Rheum, 61 (2009), pp. 535-543
[167]
S. Hennell, R. Luqmani.
Developing multidisciplinary guidelines for the management of early rheumatoid arthritis.
Musculoskeletal Care, 6 (2008), pp. 97-107
[168]
J.N. Hoes, J.W.G. Jacobs, M. Boers, D. Boumpas, F. Buttgereit, N. Caeyers, et al.
EULAR evidence-based recommendations on the management of systemic glucocorticoid therapy in rheumatic diseases.
Ann Rheum Dis, 66 (2007), pp. 1560-1567
[169]
W. Zhang, M. Doherty, B.F. Leeb, L. Alekseeva, N.K. Arden, J.W. Bijlsma, et al.
EULAR evidence based recommendations for the management of hand osteoarthritis: Report of a Task Force of the EULAR Standing Committee for International Clinical Studies Including Therapeutics (ESCISIT).
Ann Rheum Dis, 66 (2007), pp. 377-388
[170]
W. Zhang, M. Doherty, E. Pascual, T. Bardin, V. Barskova, P. Conaghan, et al.
EULAR evidence based recommendations for gout Part I: Diagnosis. Report of a task force of the standing committee for international clinical studies including therapeutics (ESCISIT).
Ann Rheum Dis, 65 (2006), pp. 1301-1311
[171]
W. Zhang, M. Doherty, T. Bardin, E. Pascual, V. Barskova, P. Conaghan, et al.
EULAR evidence based recommendations for gout Part II: Management. Report of a task force of the EULAR Standing Committee for International Clinical Studies Including Therapeutics (ESCISIT).
Ann Rheum Dis, 65 (2006), pp. 1312-1324
[172]
A.V. Ramanan, R. Schneider, M. Batthish, C. Achonu, S. Ota, M. McLimont, et al.
Developing a disease activity tool for systemic-onset juvenile idiopathic arthritis by international consensus using the Delphi approach.
Rheumatology (Oxford), 44 (2005), pp. 1574-1578
[173]
W. Zhang, M. Doherty, N. Arden, B. Bannwarth, J. Bijlsma, K.P. Gunther, et al.
EULAR evidence based recommendations for the management of hip osteoarthritis: Report of a task force of the EULAR Standing Committee for International Clinical Studies Including Therapeutics (ESCISIT).
Ann Rheum Dis, 64 (2005), pp. 669-681
[174]
E. Roddy, W. Zhang, M. Doherty, N.K. Arden, J. Barlow, F. Birrell, et al.
Evidence-based recommendations for the role of exercise in the management of osteoarthritis of the hip or knee--the MOVE consensus.
Rheumatology, 44 (2005), pp. 67-73
[175]
C.M. Goodman.
The Delphi technique: A critique.
J Adv Nurs, 12 (1987), pp. 729-734
[176]
Peiró Moreno S, Portella Argelaguet E. [Consensus doesn’t always mean agreement: Limitations of consensus methods in health services]. Gac Sanit. 1993;7:294-300.
[177]
S. Humphrey-Murto, M. de Wit.
The Delphi method—more research please.
J Clin Epidemiol, 106 (2019), pp. 136-139
[178]
M.R. Couper.
The Delphi technique: Characteristics and sequence model.
ANS Adv Nurs Sci, 7 (1984), pp. 72-77
Copyright © 2019. Asociación Colombiana de Reumatología
Opciones de artículo
Herramientas
es en pt
Política de cookies Cookies policy Política de cookies
Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continua navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí. To improve our services and products, we use "cookies" (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here. Utilizamos cookies próprios e de terceiros para melhorar nossos serviços e mostrar publicidade relacionada às suas preferências, analisando seus hábitos de navegação. Se continuar a navegar, consideramos que aceita o seu uso. Você pode alterar a configuração ou obter mais informações aqui.