metricas

Psiquiatría Biológica

Sugerencias
Psiquiatría Biológica Fiabilidad interjueces en el contexto clínico: aplicación del método DOMENIC ...
Información de la revista
Vol. 32. Núm. 4.
(Octubre - Diciembre 2025)
Cita
Cita
Compartir
Descargar PDF
Más opciones de artículo
Visitas
601
Vol. 32. Núm. 4.
(Octubre - Diciembre 2025)
Original

Fiabilidad interjueces en el contexto clínico: aplicación del método DOMENIC (Detección de Múltiples Examinadores No Consensuados) en la evaluación de la manía

Inter-rater reliability in the clinical setting: Application of the DOMENIC (Detection of Multiple Examiners with No Consensus) method in the assessment of mania
Visitas
601
Carmen Vidal-Mariñoa,b,
Autor para correspondencia
carmenvidal.psiclinica@gmail.com

Autor para correspondencia.
, Irene Caro-Cañizaresj, María Luisa Barrigón Estévezc,e, Enrique Baca-Garcíaa,d,e,f,g,h,i
a Departamento de Psiquiatría, Hospital Universitario Rey Juan Carlos, Móstoles, España
b Servicio de Psiquiatría, Complejo Hospitalario Universitario de Pontevedra (CHUP), Pontevedra, España
c Departamento de Psiquiatría, Hospital Universitario Hospital Virgen del Rocío, Sevilla, España
d Departamento de Psiquiatría, Universidad Autónoma de Madrid (UAM), Madrid, España
e Departamento de Psiquiatría, IIS-Fundación Jiménez Díaz, Madrid, España
f Departamento de Psiquiatría, Hospital General de Villalba, Madrid, España
g Departamento de Psiquiatría, Hospital Universitario Infanta Elena, Valdemoro, España
h CIBERSAM (Centro de Investigación en Salud Mental), Instituto de Salud Carlos III, Madrid, España
i Departamento de Psiquiatría, Universidad Católica de Maule, Talca, Chile
j Departamento de Psicología, Universidad a Distancia de Madrid (UDIMA), Madrid, España
Ver más
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Resumen
Objetivo

el diagnóstico del trastorno bipolar genera discrepancias entre clínicos, impactando en su tratamiento. Exploramos la fiabilidad interjueces de la escala Young para la Evaluación de la Manía (YMRS) en contexto clínico, empleando el método de Detección de Múltiples Examinadores No Consensuados (DOMENIC), con el fin de comprobar si existen diferencias en el grado de acuerdo obtenido por evaluadores entrenados en la aplicación de la YMRS frente a evaluadores no entrenados, pero con mayor experiencia clínica.

Método

cuarenta y cuatro evaluadores (12 entrenados en el uso de la escala y 32 no entrenados) visualizaron una entrevista a una paciente con diagnóstico de trastorno bipolar y cumplimentaron la YMRS. Se utilizó el método DOMENIC para obtener el grado de acuerdo.

Resultados

el acuerdo medio interjueces osciló entre el 47 y el 100%. Los evaluadores entrenados presentaron acuerdos superiores al 79% en 7 de los 11 ítems, los evaluadores no entrenados, solo en 3 de los 11 ítems.

Conclusiones

el entrenamiento específico en el uso de la YMRS es clave para alcanzar niveles óptimos de fiabilidad interjueces, independientemente de la experiencia clínica. El método DOMENIC permite identificar el porcentaje de acuerdo entre evaluadores y comparar a cada evaluador con el resto del grupo, facilitando el entrenamiento de evaluadores.

Palabras clave:
Detection of Multiple Examiners Not in Consensus (DOMENIC)
Acuerdo
Fiabilidad interjueces
Escala Young para la Evaluación de la Manía (YMRS)
Abstract
Objective

The diagnosis of bipolar disorder generates discrepancies among clinicians, impacting its treatment. We explored the inter-rater reliability of the Young Mania Rating Scale (YMRS) in a clinical setting, using the Detection of Multiple Examiners with No Consensus (DOMENIC) method, to determine whether there were differences in the level of agreement obtained by raters trained in the use of the YMRS versus untrained raters with greater clinical experience.

Method

Forty-four raters (12 trained in the scale and 32 untrained) viewed an interview with a patient diagnosed with bipolar disorder and completed the YMRS. We used the DOMENIC method to obtain the level of agreement.

Results

The average inter-rater agreement ranged from 47% to 100%. Trained raters showed agreement ≥79% on 7 of the 11 items, while untrained raters only achieved agreement on 3 of the 11 items.

Conclusions

Specific training in the use of the YMRS is key to achieving optimal levels of inter-rater reliability, regardless of clinical experience. The DOMENIC method allows for identifying the percentage of inter-rater agreement and comparing each rater with the rest of the group, facilitating rater training.

Keywords:
Detection of Multiple Examiners Not in Consensus (DOMENIC)
Agreement
Inter-rater reliability
Young Mania Rating Scale (YMRS)

Artículo

Opciones para acceder a los textos completos de la publicación Psiquiatría Biológica
Suscriptor
Suscriptor de la revista

Si ya tiene sus datos de acceso, clique aquí.

Si olvidó su clave de acceso puede recuperarla clicando aquí y seleccionando la opción "He olvidado mi contraseña".
Comprar
Comprar acceso al artículo

Comprando el artículo el PDF del mismo podrá ser descargado

Comprar ahora
Contactar
Teléfono para suscripciones e incidencias
De lunes a viernes de 9h a 18h (GMT+1) excepto los meses de julio y agosto que será de 9 a 15h
Llamadas desde España
932 415 960
Llamadas desde fuera de España
+34 932 415 960
E-mail
Bibliografía
[1]
R.S. Beidas, R.E. Stewart, L. Walsh, S. Lucas, M.M. Downey, K. Jackson, et al.
Free, brief, and validated: standardized instruments for low-resource mental health settings.
Cogn Behav Pract, 22 (2015), pp. 5-19
[2]
G.J. Meyer, S.E. Finn, L.D. Eyde, G.G. Kay, K.L. Moreland, R.R. Dies, et al.
Psychological testing and psychological assessment: a review of evidence and issues.
Am Psychol, 56 (2001), pp. 128-165
[3]
A.C. de Souza, N.M.C. Alexandre, E. de B. Guirardello.
Psychometric properties in instruments evaluation of reliability and validity.
Epidemiol Serv Saúde, 26 (2017), pp. 649-659
[4]
R. García-Nieto, I. Parra Uribe, D. Palao, J. Lopez-Castroman, P.A. Sáiz, M.P. García-Portilla, et al.
Protocolo breve de evaluación del suicidio: fiabilidad interexaminadores.
Rev Psiquiat Salud Ment, 5 (2012), pp. 24-36
[5]
J. Cohen.
A coefficient of agreement for nominal scales.
Educ Psychol Meas, 20 (1960), pp. 37-46
[6]
J.L. Fleiss, J. Cohen.
The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability.
Educ Psychol Meas, 33 (1973), pp. 613-619
[7]
P.E. Shrout, J.L. Fleiss.
Intraclass correlations: uses in assessing rater reliability.
Psychol Bull, 86 (1979), pp. 420-428
[8]
N. Gisev, J.S. Bell, T.F. Chen.
Interrater agreement and interrater reliability: key concepts, approaches, and applications.
Res Soc Administr Pharm: RSAP, 9 (2013), pp. 330-338
[9]
K.L. Gwet.
Computing inter-rater reliability and its variance in the presence of high agreement.
Br J Math Stat Psychol, 61 (2008), pp. 29-48
[10]
U. Olsson.
Maximum likelihood estimation of the polychoric correlation coefficient.
Psychometrika, 44 (1979), pp. 443-460
[11]
Colegio Oficial de Psicólogos (COP) (s.f.). Evaluación test Editados en España. [consultado 1 Abr 2025]. Disponible en: https://www.cop.es/test/directricesinternacionales.php.
[12]
R. Fernández-Ballesteros.
Introducción a la evaluación psicológica.
Pirámide, (2003), pp. 114
[13]
D.V. Cicchetti, D. Showalter, R. Rosenheck.
A new method for assessing interexaminer agreement when multiple ratings are made on a single subject: applications to the assessment of neuropsychiatric symptomatology.
Psychiatry Res, 72 (1997), pp. 51-63
[14]
F. Cegla-Schvartzman, S. Ovejero, J. López-Castroman, N. Palomar-Ciria, M. Migoya-Borja, H. Bello, et al.
Diagnostic stability in bipolar disorder: a follow-up study in 130,000 patient-years.
J Clin Psychiatry, 82 (2021),
[15]
M.L. McHugh.
Interrater reliability: the kappa statistic.
Biochem Med, 22 (2012), pp. 276-282
[16]
K. Fritz, A.M.T. Russell, C. Allwang, S. Kuiper, L. Lampe, G.S. Malhi.
Is a delay in the diagnosis of bipolar disorder inevitable?.
Bipolar Disord, 19 (2017), pp. 396-400
[17]
I. Oyffe, R. Shwizer, T. Stolovy.
The association between diagnosis, treatment delay and outcome among patients with bipolar disorders.
Psychiatr Quart, 86 (2015), pp. 95-105
[18]
A.J. Wright, H. Pade, E.D. Gottfried, P.A. Arbisi, D.M. McCord, D.B. Wygant.
Evidence-based clinical psychological assessment (EBCPA): review of current state of the literature and best practices.
Prof Psychol Res Pract, 53 (2022), pp. 372-386
[19]
F. Colom, E. Vieta, A. Martínez-Arán, M. Garcia-Garcia, M. Reinares, C. Torrent, et al.
Spanish version of a scale for the assessment of mania: validity and reliability of the Young Mania Rating Scale.
Med Clin, 119 (2002), pp. 366-371
[20]
R.C. Young, J.T. Biggs, V.E. Ziegler, D.A. Meyer.
A rating scale for mania: reliability, validity and sensitivity.
Br J Psychiatry J Ment Sci, 133 (1978), pp. 429-435
[21]
M.L. Barrigón, S. Berrouiguet, J.J. Carballo, C. Bonal-Giménez, P. Fernández-Navarro, B. Pfang, et al.
User profiles of an electronic mental health tool for ecological momentary assessment: MEmind.
Int J Methods Psychiatr Res, 26 (2017),
[22]
D.V. Cicchetti.
Assessing inter-rater reliability for rating scales: resolving some basic issues.
Br J Psychiatr, 129 (1976), pp. 452-456
[23]
D.V. Cicchetti, S.A. Sparrow.
Developing criteria for establishing interrater reliability of specific items: applications to assessment of adaptive behavior.
Am J Ment Defic, 86 (1981), pp. 127-137
[24]
D.V. Cicchetti, D. Showalter.
A computer program for assessing interexaminer agreement when multiple ratings are made on a single subject.
Psychiatry Res, 72 (1997), pp. 65-68
[25]
D.V. Cicchetti, F. Volkmar, A. Klin, D. Showalter.
Diagnosing autism using ICD−10 criteria: a comparison of neural networks and standard multivariate procedures.
Child Neuropsychol, 1 (1995), pp. 26-37
[26]
E. Baca-García, C. Blanco, J. Sáiz-Ruiz, F. Rico, C. Diaz-Sastre, D.V. Cicchetti.
Assessment of reliability in the clinical evaluation of depressive symptoms among multiple investigators in a multicenter clinical trial.
Psychiatry Res, 102 (2001), pp. 163-173
[27]
Z. Mohammadi, A. Pourshahbaz, M. Poshtmashhadi, B. Dolatshahi, F. Barati, M. Zarei.
Psychometric properties of the Young Mania Rating Scale as a mania severity measure in patients with bipolar I disorder.
Pract Clin Psychol, 6 (2018), pp. 175-182
[28]
J.A.A. Vilela, J.A.S. Crippa, C.M. Del-Ben, S.R. Loureiro.
Reliability and validity of a Portuguese version of the Young Mania Rating Scale.
Braz J Med Biol Res, 38 (2005), pp. 1429-1439
[29]
C. Vidal-Mariño, M.L. Barrigón Estévez, I. Caro-Cañizares, E. Baca-García.
Evaluating the inter-rater reliability of the scale to assess unawareness of mental disorder using the DOMENIC method.
Schizophr Res, 260 (2023), pp. 37-38
[30]
D. Cicchetti, A. Fontana, D. Showalter.
Evaluating the reliability of multiple assessments of PTSD symptomatology: multiple examiners, one patient.
Psychiatry Res, 166 (2009), pp. 269-280
[31]
M. Mühlbacher, C. Egger, P. Kaplan, C. Simhandl, H. Grunze, C. Geretsegger, et al.
Reliability and concordance validity of a German version of the Young Mania Rating Scale (YMRS-D).
Neuropsychiatr Klinik Diagn Therap Rehabilit Org Der Gesellschaft Osterreichischer Nervenarzte Und Psychiater, 25 (2011), pp. 16-25
[32]
R. Kongsakon, D. Bhatanaprabhabhan.
Validity and reliability of the Young Mania Rating Scale: Thai version.
J Med Assoc Thailand = Chotmaihet Thangphaet, 88 (2005), pp. 1598-1604
asdasdasd
Opciones de artículo
Herramientas