Interobserver concordance in simulated vignettes using the Manchester Triage System in emergency departments in Asturias

Abstract

Objective

To assess the inter-observer concordance of the Manchester Triage System (MTS) through clinical vignettes among emergency nurses in Asturias, Spain.

Method

Prospective multicenter study in seven emergency departments using questionnaires containing 40 simulated triage cases based on real cases. Interobserver agreement was calculated, as well as the level of accuracy (correctness) and the level of inaccuracy in triage (over- and under-triage).

Results

A total of 100 nurses participated in the study (median age: 39.1 years). Substantial inter-observer agreement was observed (κ = 0.681; 95% CI 0.614−0.759; P < .001). The median number of correctly triaged vignettes was 30 (SD = 3.93). A positive correlation was found between accuracy and MTS experience was r = 0.250; P = .012. Among the 4000 vignettes evaluated, 403 (10.1%) were undertriage, while overtriage occurred in 253 vignettes (6.3%). Sensitivity was 83.7% and specificity was 94.8%, with undertriage (10%) was more frequent than overtriage (6%).

Conclusion

The study demonstrated substantial inter-observer agreement among emergency nurses in seven hospitals using the MTS, with an overall accuracy of 80%. Triage accuracy has a slight correlation with increased years of experience.

Resumen

Objetivo

Identificar el nivel de concordancia inter-observador entre las enfermeras de los servicios de urgencias del principado de Asturias con el uso del sistema de triaje Manchester (MTS).

Método

Estudio multicéntrico prospectivo en siete servicios de urgencias mediante cuestionarios que contenían 40 casos-simulados de triaje basados en casos reales. Se calculó la concordancia inter-observador, así como el nivel de precisión (acierto) y el nivel de incorrección en el triaje (sobre y sub-triaje).

Resultados

Un total de 100 enfermeras con una media de edad 39,1 años participaron en el estudio. Se obtuvo un «considerable» nivel de acuerdo inter-observador (κ = 0,681; IC 95% [0,614–0,759]; P < ,001). La media de triajes correctamente realizados fue de 30 (DE = 3,93). La correlación entre la precisión y la experiencia con el MTS fue r = 0,250; P = ,012. De los 4.000 casos-viñetas totales, 403 (10,1%) fueron sub-triados y 253 (6,3%) sobre-triados. La sensibilidad fue del 83,75% y la especificidad del 94,8%, con valores de sub-triaje (10%) superiores a los valores del sobre-triaje (6%).

Conclusiones

El estudio mostró una concordancia «considerable» entre las enfermeras de triaje de siete hospitales con el manejo del MTS, con una precisión cercana al 80%. Se obtuvo una correlación baja entre la experiencia profesional y la precisión en el triaje.