Buscar en
Educación Médica
Toda la web
Inicio Educación Médica Evaluación de competencias en residentes de pediatría en el primer nivel de at...
Información de la revista
Vol. 22. Núm. 4.
Páginas 225-230 (Julio - Agosto 2021)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
413
Vol. 22. Núm. 4.
Páginas 225-230 (Julio - Agosto 2021)
Original
DOI: 10.1016/j.edumed.2021.02.005
Open Access
Evaluación de competencias en residentes de pediatría en el primer nivel de atención mediante la utilización del Mini-CEX
Assessment of pediatric residents’ clinical competences at the first level of care using the Mini-CEX observation tool
Visitas
...
Horacio Yulitta
Autor para correspondencia
horacio0827@gmail.com

Autor para correspondencia.
, María Paz Molina, Lucia Maiolo, Agustina Paganini, Natalia Rubel, Carla Serviddio
Dirección General Docencia, Investigación y Desarrollo Profesional (DGDIYDP), Ministerio de Salud-GCABA, Ciudad Autónoma de Buenos Aires, Argentina
Información del artículo
Estadísticas
Figuras (1)
Tablas (2)
Tabla 1. Promedio de las puntuaciones según tipo de unidad académica. Test U de Mann-Whitney
Tabla 2. Media de las puntuaciones según la observación y media de las diferencias. Test U de Mann-Whitney
Mostrar másMostrar menos
Resumen
Introducción

La residencia es un modelo de formación profesional basado en la práctica supervisada. El Mini Clinical Evaluation Exercise (Mini-CEX) es una herramienta de evaluación mediante la observación directa. Permite diseñar estrategias para mejorar el desempeño profesional.

El objetivo de este estudio es analizar los resultados del Mini-CEX aplicado a residentes de pediatría durante su rotación en el primer nivel de atención, explorando diferencias según la sede formativa a la que pertenecen.

Métodos

Se realizó un estudio analítico de corte transversal con residentes de segundo año de pediatría de hospitales pediátricos y generales que se encontraban realizando su rotación en el primer nivel de atención. Se realizaron dos Mini-CEX por residente y se evaluaron 8 áreas por participante: anamnesis, habilidades de comunicación con el paciente y con los cuidadores, examen físico, criterio clínico, tratamiento, profesionalismo y organización.

Resultados

Participaron 34 residentes. La valoración global total de los residentes de hospitales pediátricos fue 4,20 (4,07-4,34). De hospitales generales, 4,14 (3,94-4,34).

No se observaron diferencias estadísticamente significativas en las áreas evaluadas según la sede formativa de los residentes.

Conclusión

La utilización del Mini-CEX como herramienta de evaluación en el primer nivel de atención permitió detectar debilidades y fortalezas de la formación de los residentes. Su aplicación estuvo atravesada por limitaciones propias de este escenario. La estandarización de las evaluadoras fue clave para la homogeneización de criterios.

Palabras clave:
Mini-CEX
Pediatría
Residencia
Evaluación
Observación
Competencias
Abstract
Background

A residency is a professional training system based on supervised clinical practice. The Mini Clinical Evaluation Exercise (Mini-CEX) is a method of assessment through direct observation that enables the design of strategies to improve professional performance.

The purpose of this study is to analyze the results of implementing the Mini-CEX to assess pediatric residents during their rotation at the first level of care while exploring differences according to the training site to which they belong.

Methods

We conducted an analytical cross-sectional study that included 2nd-year pediatric residents on rotation at the first level of care in pediatric and general hospitals. Each resident underwent two Mini-CEX encounters for the assessment of 8 domains: history taking, communication skills with patients and with caregivers, physical examination, clinical judgment, clinical management, professionalism, and organization.

Results

Thirty-four residents participated in the study. The total overall rating of residents from pediatric hospitals and general hospitals was 4.20 (4.07-4.34) and 4.14 (3.94-4.34), respectively. We found no statistically significant differences in the areas assessed according to the residents’ training site.

Conclusion

The Mini-CEX as an assessment tool within the first level of care allowed the detection of strengths and weaknesses in residents’ training. Implementation was affected by limitations inherent to this setting. Standardization of assessors was a key element for criteria unification.

Keywords:
Mini-CEX
Pediatrics
Residency
Assessment
Observation
Competencies
Texto completo
Introducción

La residencia de pediatría es un modelo de formación profesional remunerado, de dedicación exclusiva, basado en la práctica clínica con supervisión permanente, que requiere de un proceso de evaluación periódico. Las residencias pediátricas en la Ciudad Autónoma de Buenos Aires (CABA) se rigen bajo la Ley 40.9971 y presentan un programa unificado para las 13 sedes que lo componen: 2 hospitales especializados pediátricos y 11 generales de agudos. La residencia está estructurada en 4 años de complejidad creciente y autonomía progresiva, y uno de los escenarios donde se desarrolla es en los Centros de Salud y Acción Comunitaria (CeSAC). Estos están distribuidos por toda la CABA y constituyen efectores claves en la estrategia de descentralización sanitaria. En el segundo año de formación, rotan durante 3 meses en los CeSAC 1, 5, 11 y 15, donde realizan atención clínica supervisada por instructoras de residentes y participan en actividades de Promoción, Protección y Educación para la Salud, profundizando el concepto de Atención Primaria de la Salud y valorando el impacto del medio socio-económico-cultural en las familias.

En el campo de la educación médica, se evalúan conocimientos y competencias profesionales2,3, las cuales están categorizadas en 4 niveles en la Pirámide de Miller, en cuyo vértice se presenta el «hacer»4. El Mini Clinical Evaluation Exercise (Mini-CEX) es un método basado en la observación directa de la práctica médica con un perfil formativo, permitiendo implementar estrategias docentes para mejorar el desempeño profesional5–8. El feedback es una devolución constructiva que promueve las capacidades reflexivas del residente y permite elaborar un plan de acción9–13, siendo clave para esta herramienta.

Existen múltiples experiencias con la utilización del Mini-CEX en hospitales de diferentes países y especialidades médicas14–20. Esta metodología ha demostrado ser válida, fiable, factible, de fácil aplicabilidad, bajo costo y tener buena aceptación21.

Describiremos los resultados de la utilización del Mini-CEX en residentes de pediatría en los CeSAC, como primera experiencia en el primer nivel de atención. Exploraremos si existen diferencias en las competencias adquiridas según la sede formativa, para fortalecer la formación de los residentes, teniendo en cuenta que los escenarios, la población y el plantel docente de los CeSAC son diferentes.

Objetivo

Analizar los resultados del Mini-CEX aplicado a residentes de pediatría durante su rotación en los CeSAC, explorando diferencias según la sede formativa a la que pertenecen.

Métodos

Se realizó un estudio analítico de corte transversal en el periodo del 1 de octubre de 2018 al 30 de abril de 2019, con residentes de segundo año de pediatría del Gobierno de la Ciudad de Buenos Aires que rotaban en los CeSAC 1, 5, 11 y 15. Los residentes que participaron del estudio provenían de hospitales monovalentes pediátricos y de hospitales generales de agudos.

Para este estudio, se utilizó la versión de la planilla de evaluación de Mini-CEX pediátrico del Royal College of Paediatrics and Child Health22 traducida al español.

Las evaluadoras fueron 4 pediatras que se desempeñan como instructoras, supervisando residentes, y fueron capacitadas durante 5 encuentros previos al inicio del proyecto. Allí se presentó la herramienta, se unificaron criterios de evaluación trabajando sobre una lista de descriptores de cada competencia6,13 y se analizaron 4 filmaciones de consultas (previo consentimiento informado del residente y del paciente) para ejercitar la modalidad de evaluación y el uso de la planilla.

En este estudio, una evaluadora observó un encuentro clínico y calificó al residente en los siguientes aspectos: anamnesis, habilidades de comunicación con el paciente y con los cuidadores primarios, examen físico, criterio clínico, tratamiento inicial, profesionalismo y organización de la consulta. La escala de puntuación de cada área fue de 1 a 6, siendo 1 insatisfactorio, 2 por debajo de las expectativas, 3 en el límite de las expectativas, 4 cumple las expectativas, 5 supera las expectativas y 6 muy por encima de las expectativas. Las observaciones se realizaron con pacientes que concurrían por primera vez o estaban en seguimiento y podían corresponder a controles de salud o a demanda espontánea. Las observadoras indicaron en la planilla el grado de complejidad que presentaba la consulta, siendo la escala de «Baja» a «Alta» (fig. 1). Se realizaron dos evaluaciones formativas por residente, una al mes de iniciada la rotación y otra al finalizarla, con sus feedback respectivos.

Figura 1.

Planilla de evaluación de Mini-CEX pediátrico del Royal College of Paediatrics and Child Health.

(0,83MB).

Se realizó un análisis de la evolución de los puntajes de las dos observaciones y se compararon los resultados obtenidos según la sede formativa a la cual pertenecían los residentes. Se evaluó la consistencia interna global del instrumento en español mediante el cálculo del coeficiente alfa para variables de escalas ordinales (alfa ordinal).

Análisis

Se describieron las variables cuantitativas mediante sus valores centrales y dispersiones y las variables cualitativas mediante proporciones. Para el análisis de valores medios se realizó el test U de Mann-Whitney o el test t de Student según el comportamiento de las variables (test Kolmogorov-Smirnov). Se consideró significativo p<0,05. El análisis fue realizado con los paquetes estadísticos SPSSR versión 23, R versión 4.0.2.

La población fue seleccionada de los 4 centros de atención primaria a donde asisten los residentes durante su formación (N=34).

Luego de la explicación sobre el formato del estudio, los residentes firmaron el consentimiento informado para ser incluidos. Los resultados de las evaluaciones realizadas fueron confidenciales y el trabajo fue aprobado por el Comité de Ética del Hospital Ramos Mejía.

Resultados

Se evaluaron 34 residentes (68 observaciones): 22 provenientes de hospitales monovalentes pediátricos y 12 de hospitales generales de agudos; y se realizaron dos evaluaciones a cada uno. La mayoría de las observaciones fueron de controles de salud y las instructoras evaluaron un promedio de 7 residentes cada una. Cada residente fue evaluado por la misma instructora.

La mediana de tiempo de evaluación fue de 10minutos (rango 5-35minutos) y su media (DE) 16,58 (1,50). La mediana del tiempo de devolución fue de 5minutos (rango 3-40minutos) y su media (DE) 13,63 (2,52). El análisis de fiabilidad del examen global fue adecuado (alfa ordinal=0,78). Respecto de las observaciones de hospitales pediátricos, la valoración global total (promedio de las 8 áreas evaluadas) fue de 4,20 (4,07-4,34); el área con mejor puntuación fue examen físico y el área con menor puntaje, tratamiento inicial. En cuanto a los hospitales generales, la valoración global total fue 4,14 (3,94-4,34); el área con mejor puntuación fue profesionalismo y con menor, habilidades de la comunicación con niños y adultos (tabla 1). Los resultados no presentaron diferencias estadísticamente significativas.

Tabla 1.

Promedio de las puntuaciones según tipo de unidad académica. Test U de Mann-Whitney

Dimensión  PolivalenteMonovalenteGlobal 
  Media  IC95%  Media  IC95%  Media  IC95% 
Anamnesis  4,21  (3,99-4,42)  4,23  (4,06-4,40)  4,22  (4,09-4,35)  0,765 
Comunicación c/NNyA  4,04  (3,72-4,36)  4,16  (3,97-4,34)  4,12  (3,96-4,28)  0,375 
Comunicación padres  4,04  (3,78-4,31)  4,20  (4,04-4,37)  4,15  (4,01-4,29)  0,291 
Examen físico  4,13  (3,87-4,38)  4,27  (4,12-4,42)  4,22  (4,09-4,35)  0,341 
Criterio clínico  4,13  (3,94-4,31)  4,20  (4,02-4,39)  4,18  (4,04-4,31)  0,497 
Tratamiento inicial  4,13  (3,84-4,41)  4,11  (3,96-4,26)  4,12  (3,98-4,25)  0,858 
Profesionalismo  4,29  (4,00-4,58)  4,23  (4,08-4,37)  4,25  (4,12-4,38)  0,491 
Organización/Eficiencia  4,17  (3,87-4,46)  4,23  (4,06-4,40)  4,21  (4,06-4,35)  0,740 
Globala  4,14  (3,94-4,34)  4,20  (4,07-4,34)  4,18  (4,08-4,29)  0,572 

IC95%: intervalo de confianza 95%; NNyA: niñas, niños y adolescentes.

a

Test t de Student.

Se observan puntajes similares para todas las dimensiones entre las dos observaciones. Aunque la dimensión examen físico presenta una diferencia estadísticamente significativa, la misma no es relevante a nivel académico (tabla 2).

Tabla 2.

Media de las puntuaciones según la observación y media de las diferencias. Test U de Mann-Whitney

Dimensión  Observación 1Observación 2   
  Media  IC95%  Media  IC95%  X de las dif. (IC95%) 
Anamnesis  4,32  (4,16-4,49)  4,12  (3,91-4,32)  0,21 (−0,02-0,39)  0,160 
Comunicación c/NNyA  4,21  (3,95-4,46)  4,03  (3,83-4,23)  0,18 (−0,07-0,43)  0,290 
Comunicación padres  4,26  (4,09-4,44)  4,03  (3,81-4,25)  0,24 (−0,09-0,39)  0,112 
Examen físico  4,35  (4,16-4,54)  4,09  (3,91-4,27)  0,26 (0,05-0,48)  0,044 
Criterio clínico  4,29  (4,13-4,46)  4,06  (3,85-4,27)  0,24 (−0,01-0,46)  0,097 
Tratamiento inicial  4,18  (3,99-4,36)  4,06  (3,85-4,27)  0,12 (−0,09-0,32)  0,413 
Profesionalismo  4,26  (4,07-4,46)  4,24  (4,04-4,43)  −0,03 (−0,15-0,21)  0,817 
Organización/Eficiencia  4,26  (4,09-4,44)  4,15  (3,90-4,39)  0,12 (−0,09-0,32)  0,598 
Globala  4,27  (4,12-4,41)  4,10  (3,93-4,26)  0,17 (−0,03-0,31)  0,261 

dif: diferencias, IC95%: intervalo de confianza 95%; NNyA: niñas, niños y adolescentes; X: media.

a

Test t de Student.

Discusión

Los CeSAC permiten la observación de las competencias clínicas en el marco de la consulta ambulatoria y cuentan con instructoras capacitadas y encargadas de la actividad docente. Allí los residentes se enfrentan con consultas diferentes a las de sus hospitales de origen, por lo que resulta imprescindible la evaluación mediante observación directa.

Las limitaciones al implementar el Mini-CEX en los CeSAC fueron las relacionadas con la vulnerabilidad social de muchas familias que concurren y complejizan el abordaje en el consultorio y la gran demanda asistencial que dificultan el resguardo del tiempo necesario sin interrupciones para llevar adelante la observación.

Una debilidad importante de la herramienta es la diferencia de criterios que se pueden encontrar al haber múltiples observadores. En nuestra experiencia, las reuniones dedicadas a la estandarización de las evaluadoras analizando los descriptores de las competencias contribuyeron a la homogeneización de los criterios de evaluación, lo que facilitó el cotejo de datos obtenidos. Asimismo, los descriptores pediátricos aportados por el trabajo de Abadie et al.14 fueron de mucha utilidad para la unificación buscada.

El Mini-CEX, aunque tiene una estructura, no controla el ambiente como el ECEO. Proponemos elegir motivos de consulta similares en las dos observaciones para homogeneizar el escenario de aprendizaje.

El feedback fue fundamental en la estrategia docente, reforzando aspectos positivos y planteando aquellos a mejorar. Observamos que, entre la atención del paciente y el feedback, cada evaluación duró más que el tiempo aconsejado en el artículo de Fornells6.

No encontramos diferencias significativas en los resultados obtenidos entre residentes de hospitales pediátricos y generales, ni entre los dos momentos de evaluación. Algunos motivos posibles son que los residentes evaluados son del mismo año de formación y cumplen el mismo programa y que el tamaño de la muestra utilizada fue pequeño.

Cada sede formativa recibió el análisis de los resultados, para fomentar un plan de mejora en las áreas en las que obtuvieron menores puntajes. Para evaluar el análisis de consistencia interna (competencia global) se realizó el análisis de alfa ordinal23, teniendo en cuenta la cantidad de evaluaciones (n=68), podemos observar que el instrumento en español presentaría una adecuada consistencia interna (alfa ordinal=0,78).

Constatamos que es factible la aplicación del Mini-CEX en el primer nivel de atención y que es válido para la evaluación del desempeño de residentes.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Bibliografía
[1]
Ordenanza N° 40.997/85 (G. C. B. A.): Sistema Municipal de Residencias del Equipo de Salud y sus modificatorias. 1985. Disponible en: https://www.buenosaires.gob.ar/sites/gcaba/files/ordenanza_40997-86_y_modificatorias_0.pdf
[2]
E.R. Fajardo-López, E. Gómez-Sánchez.
Implementación del Mini-CEX en la aplicación en pasantes de la carrera de Medicina la Universidad de Guadalajara.
Revista de Educación y Desarrollo, 33 (2015), pp. 53-59
[3]
P. Moore, G. Gómez, S. Kurtz.
Comunicación médico-paciente: una de las competencias básicas pero diferente.
Aten Primaria., 44 (2012), pp. 358-365
[4]
E. Durante.
Algunos métodos de Evaluación de las competencias. Escalando la pirámide de Miller.
Rev Hosp Ital B Aires., 26 (2006), pp. 55-61
[5]
J.E. Baños, C. Gomar-Sancho, E. Guardiola, J. Palés-Argullós.
La utilización del Mini Clinical Evaluation Exercise (Mini-CEX) en estudiantes de medicina.
FEM., 18 (2015), pp. 417-426
[6]
J.M. Fornells-Vallés.
El ABC del Mini-CEX.
Educ Med., 12 (2009), pp. 83-89
[7]
K.C. Liao, S.J. Pu, M.S. Liu, C.W. Yang, H.P. Kuo.
Development and implementation of a mini-Clinical Evaluation Exercise (mini-CEX) program to assess the clinical competencies of internal medicine residents: from faculty development to curriculum evaluation.
BMC Med Educ., 13 (2013), pp. 31
[8]
A. Olascoaga, A. Riquelme.
Aplicación longitudinal del Mini Clinical Examination (Mini-CEX) en médicos residentes.
Educ Med., 20 (2019), pp. 25-28
[9]
A. Alves de Lima.
Devolución constructiva. Una estrategia para mejorar el aprendizaje.
Medicina., 68 (2008), pp. 88-92
[10]
J.F. Ceccarelli Calle.
Feedback en educación clínica.
Rev Estomatol Herediana., 24 (2014), pp. 127-132
[11]
J.M. Fornells, X. Julià, J. Arnau, J.M. Martínez-Carretero.
Feedback en educación médica.
Educ Med., 11 (2008), pp. 7-12
[12]
J.J. Rodriguez Salvador, J.C. Arboniés Ortiz.
El feedback como herramienta docente en la formación clínica. 1.a parte.
Educ Med., 19 (2018), pp. 120-124
[13]
T. Vives-Varela, M. Varela-Ruiz.
Realimentación efectiva.
Inv Ed Med., 2 (2013), pp. 112-114
[14]
Y. Abadie, J. Battolla, A. Zubieta, J. Dartiguelonge, C. Pascual, C.E. Costa, et al.
Uso de descriptores durante la implementación de Mini-CEX en la residencia de pediatría.
Medicina., 75 (2015), pp. 289-296
[15]
A. Al Ansari, S.K. Ali, T. Donnon.
The construct and criterion validity of the Mini-CEX: a meta-analysis of the published research.
Acad Med., 88 (2013), pp. 413-420
[16]
A. Alves de Lima, C. Barrero, S. Baratta, Y. Castillo Costa, G. Bortman, J. Carabajales, et al.
Validity, reliability, feasibility and satisfaction of the Mini-Clinical Evaluation Exercise (Mini-CEX) for cardiology residency training.
Med Teach., 29 (2007), pp. 785-790
[17]
J.E. Baños, C. Gomar-Sancho, J.M. Grau-Junyent, J. Palés-Argullós, M. Sentí.
El mini-CEX como instrumento de evaluación de la competencia clínica. Estudio en estudiantes de medicina.
FEM., 18 (2015), pp. 155-160
[18]
G.M. Fernández Gálvez.
Evaluación de las competencias clínicas en una residencia de pediatría con el Mini-CEX (Mini-Clinical Evaluation Exercise).
Arch Argent Pediatr., 109 (2011), pp. 314-320
[19]
G. Urman, S. Folgueral, M. Gasparri, D. López, J. Urman, A. Grosman, et al.
Evaluación por competencias en formación de posgrado: implementación de una adaptación pediátrica del Examen de Ejercicio Clínico Reducido (Mini-Cex).
Arch Argent Pediatr., 109 (2011), pp. 492-498
[20]
M. Vázquez, L. García, C. Pinchak, G. Peluffo, S. Grille, M. Weinberger, et al.
Evaluación de las competencias clínicas de estudiantes de Posgrado de Pediatría utilizando el Mini-Clinical Evaluation Excercise (Mini-CEX).
Arch Pediatr Urug., 89 (2018), pp. 21-25
[21]
S. MortazHejri, M. Jalili, R. Masoomi, M. Shirazi, S. Nedjat, J. Norcini.
The utility of mini-Clinical Evaluation Exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59.
Med Teach., 42 (2020), pp. 125-142
[22]
ASSET Mini-Clinical Evaluation Exercise Paediatric Version. Royal College of Paediatrics and Child Health. Esta herramienta es utilizada con el permiso del RCPCH a través de la Caja de Herramientas de Evaluación del Consorcio de Educación Pediátrica Global.
[23]
S. Contreras Espinoza, F. Novoa-Muñoz.
Ventajas del alfa ordinal respecto al alfa de Cronbach ilustradas con la encuesta AUDIT-OMS.
Rev Panam Salud Pública., 42 (2018), pp. e65

Presentado en el IV Congreso Latinoamericano en Educación de Residentes (LACRE), Santiago de Chile, 29-31 de mayo de 2019.

Copyright © 2021. Elsevier España, S.L.U.. Todos los derechos reservados
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos