Post-Ureteroscopic Lesion Scale: limitaciones en su aplicabilidad clínica

Resumen

Objetivo

Analizar el nivel de concordancia de la Post-Ureteroscopic Lesion Scale (PULS), y examinar las consecuencias de su aplicación en la práctica clínica con datos estadísticos más fiables que los utilizados en el trabajo original.

Métodos

Se realizaron 14 ureteroscopias (URS) y 14 micro-ureteroscopias (micro-URS) en 14 cerdos hembra. Todos los procedimientos se grabaron en vídeo y se realizó un análisis anatomopatológico en cada uréter. Dieciséis urólogos (9 endourólogos y 7 urólogos generales) y 4 médicos internos residentes evaluaron las lesiones ureterales según la escala PULS, con grados 0, 1 y ≥ 2. La concordancia se calculó mediante porcentajes, el Coeficiente W de Kendall, el índice kappa de Fleiss y el alfa de Krippendorff. La concordancia entre evaluadores se calculó con la Correlación de Spearman y el Coeficiente kappa de Cohen.

Resultados

El porcentaje de concordancia fue del 11,1%. Los coeficientes se clasificaron como bajos o muy bajos, y encontramos una mayor concordancia entre los evaluadores más inexpertos. Por otro lado, no hubo acuerdo entre el 50% de los evaluadores.

Conclusiones

La baja concordancia entre evaluadores, la especificidad de la PULS y la correlación clínico/patológica sugieren dificultades del uso de esta escala y una curva de aprendizaje probablemente larga.

Abstract

Objective

To analyze the level of agreement of the Post-Ureteroscopic Lesion Scale (PULS) and the consequences on its application in clinical practice with more reliable statistical data than the one used in the original work.

Methods

14 URS and 14 micro-URS were performed in 14 female porcine model. All the procedures were video recorded and an anatomopathological analysis was performed in each ureter. Sixteen urologists (9 endourologists and 7 general urologists) and 4 residents evaluated the ureteral lesions according to the PULS, with degrees 0, 1 and ≥2. The agreement was calculated with percentages, Kendall's W coefficient and the indicators Fleiss’ Kappa and Krippendorff's Alpha, while the inter-rater agreement was calculated with Spearman's correlation and Cohen's Kappa.

Results

The percent of agreement was 11.1%. The coefficients were likewise classified as low or very low, with the greatest agreement found among the inexperienced. Also, 50% of the raters did not agree with the rest.

Conclusions

The low inter-rater agreement, the specificity of the PULS and the clinical-pathological correlation suggests that this scale is not simple, and probably has a long learning curve.