Se aplicó el Mini-CEX, que es un método de evaluación de habilidades clínicas, en un programa de residentado médico, para evaluar sus resultados en el tiempo y determinar su validez y confiabilidad.
Material y métodosSe estandarizó el sistema de evaluación con tres aplicaciones del Mini-CEX a lo largo de un año, en los médicos residentes del primer año de medicina interna y especialidades clínicas de la Facultad de Medicina de la Universidad Peruana Cayetano Heredia, Lima, Perú. Se buscó diferencias entre las tres evaluaciones con la prueba Kruskall-Wallis. Se midió el grado de confiabilidad con la prueba alfa de Cronbach y la validez de constructo con análisis factorial. Se capacitó a 20 docentes. Se evaluaron 14 residentes y cada uno tuvo tres evaluaciones.
ResultadosLas observaciones duraron 46,5±26,1 min y el feedback 20,1±11,1 min. El análisis factorial mediante la prueba de componentes principales encontró un solo factor. La prueba alfa de Cronbach global fue 0,92. Se observó una mejoría significativa de los residentes en examen físico 6 (5,8-7,0) a 7,5 (6,8-8,0) p=0,028; juicio clínico 6 (6,0-7,2) a 8 (7,0-8,2) p=0,021; y, valoración global 7 (6,0-7.6) a 8 (7,0-8,0) p=0,043. Los niveles de satisfacción del residente y del docente con el método fueron 8/9 y 9/9.
ConclusiónLa prueba fue bien aceptada por residentes y docentes, tuvo un alto nivel de confiabilidad y validez de constructo por lo que se recomienda su uso en programas de residentado médico.
The Mini-CEX, which is an evaluation method of clinical skills, was used in a medical residency program for assessing its results over time and to determine its validity and reliability.
Materials and methodsThe evaluation system was standardised with three the Mini-CEX being applied over one year to first-year medical residents of internal medicine and sub-specialties in the Faculty of Medicine of Universidad Peruana Cayetano Heredia, Lima, Perú. Differences between the three evaluations were measured using the Kruskal-Wallis test. The degree of reliability was measured using the Cronbach alpha test, and construct validity with factor analysis. Twenty teachers were trained. Each one of fourteen residents was evaluated three times.
ResultsThe observations lasted 46.5±26.1minutes and feedback 20.1±11.1minutes. The factor analysis found one dimension. The overall Cronbach alpha score was 0.92. A significant improvement was observed in the residents in Physical Examination, from 6 (5.8-7.0) to 7.5 (6.8-8.0) p=. 028, clinical judgment, from 6 (6.0-7.2) to 8 (7.0-8.2) p=.021, and overall rating, from 7 (6, 0-7.6) to 8 (7-8) p=. 043. The satisfaction levels of residents and teachers with the method were 8/9 and 9/9, respectively.
ConclusionThe test was well accepted by residents and teachers, and as it had a high level of reliability and construct validity, its use is recommended in medical residency programs.
El proceso de evaluación en medicina es un proceso longitudinal, progresivo y multidimensional; es decir, que se da a lo largo del tiempo y debe comprender no solamente el área de conocimientos sino también las competencias clínicas, razonamiento clínico, comunicación y profesionalismo, entre otras competencias1. Por ello, se requiere de la aplicación programada de distintos métodos de evaluación adecuados a lo largo del entrenamiento médico2.
La evaluación de la práctica clínica presupone la observación del estudiante por un docente mientras realiza la atención a un paciente. Implica contar con un instrumento de observación y calificación pertinente y con el tiempo necesario para la observación. Existen múltiples instrumentos que han sido desarrollados para tal fin3. En el residentado médico de nuestro país, la evaluación de la práctica clínica constituye una debilidad, las fichas de evaluación al final del mes muchas veces son llenadas por docentes que no observaron directamente al residente mientras este realiza su práctica clínica.
El Mini Clinical Examination (Mini-CEX) es un método de evaluación desarrollado en Estados Unidos de Norteamérica en la década de los años setenta por el American Board of Internal Medicine con el fin de evaluar habilidades clínicas de los médicos residentes. El alumno atiende a un paciente en un ambiente real en su lugar de trabajo (hospitalización, consulta externa o urgencias) mientras es observado por un docente. Este evalúa las competencias clínicas del residente y, al finalizar la evaluación, le brinda una retroalimentación con el objetivo de mejorar su desempeño4.
El Mini-CEX permite la evaluación del cuarto nivel de la pirámide de Miller pues se usa como un instrumento de evaluación en la práctica diaria real, en el lugar de trabajo. Este método ha sido objeto de numerosos estudios, demostrando tener un alto nivel de validez y confiabilidad5–10. Su uso se ha extendido a muchas escuelas de medicina en el mundo, tanto en pregrado como en posgrado, con aceptación por parte de docentes y alumnos11–14. Puede ser utilizado como instrumento de evaluación formativa y sumativa.
En el año 2014 se introdujo su uso como parte de la evaluación formativa en los residentes de primer año de medicina interna y especialidades clínicas de la Universidad Peruana Cayetano Heredia, en la Sede Hospital Arzobispo Loayza, Lima.
En el presente trabajo se pretende describir cómo se implementó la aplicación del Mini-CEX en un programa de residentado médico, evaluar sus resultados en el tiempo y determinar su validez y confiabilidad.
Material y métodosEntre julio y agosto del 2014 se capacitó a veinte docentes para aplicar la prueba; todos los docentes eran de la especialidad de Medicina Interna. Los docentes fueron introducidos en el instrumento siguiendo una metodología de tres pasos: en primer lugar se realizó una clase acerca de los Métodos de Evaluación en la Residencia Médica, la que se realizó en dos horarios diferentes según la disponibilidad de tiempo de los docentes; en segundo lugar, se les proporcionó material bibliográfico en español con una explicación más detallada del instrumento y, en tercer lugar, se realizó una reunión individualizada donde se explicó el método a cada uno de los docentes. Los residentes también recibieron una clase explicativa sobre el método, sus objetivos y componentes, y recibieron el material bibliográfico sobre el método y el instrumento.
Las evaluaciones se realizaron en las salas de hospitalización, urgencias y consulta externa del Hospital Nacional Arzobispo Loayza en Lima, de septiembre del 2014 a junio del 2015.
Se evaluaron catorce residentes de primer año de Medicina Interna y especialidades clínicas, las evaluaciones fueron de carácter formativo. Cada uno de los residentes tuvo tres evaluaciones en el curso de un año académico (tercer, sexto y décimo segundo mes). Como evaluadores participaron los 20 docentes y cada uno realizó dos evaluaciones en promedio.
El instrumento evalúa siete ítems: anamnesis, examen físico, habilidades de comunicación, profesionalismo, juicio clínico, organización y valoración global, utilizando una escala Likert del 1 al 9; además, en él se registra el entorno clínico (hospitalización, consultorio externo y sala de emergencias), la complejidad del caso (baja, mediana y alta), el tiempo de observación y feedback en min y la satisfacción del residente y del docente (con una escala de Likert del 1 al 9).
La información de las fichas fue vertida en un archivo Excel y fue analizada con el paquete estadístico STATA 14.
Se describieron los resultados de las evaluaciones con estadística descriptiva, medidas de frecuencia y de tendencia central. Se realizó un análisis comparativo de la evolución de las calificaciones en el tiempo. Se buscaron diferencias entre las 3 evaluaciones con la prueba Kruskall-Wallis (considerando diferencias significativas p<0,05). La confiabilidad del instrumento se midió mediante la prueba alfa de Cronbach que mide la consistencia interna del instrumento, asumiendo un nivel apropiado >0,8. La validez del instrumento se midió mediante el análisis factorial que evalúa la validez de constructo.
ResultadosLas evaluaciones se realizaron en los servicios de hospitalización (85%), urgencia (10%) y consulta externa (5%). Los casos clínicos fueron de complejidad baja (15%), mediana (75%) y alta (10%). El tiempo promedio utilizado por los docentes para la observación de los residentes evaluados fue de 46,5 min con una desviación estándar de±26,1 min y la duración promedio utilizado por los docentes para dar feedback fue de 20,1 min con una desviación estándar de±11,1.
El análisis factorial exploratorio, mediante el método factor de componentes principales, encontró un solo factor, según la regla de Kayser, factor que explica el 67% de la varianza. El alfa de Cronbach global fue 0,92.
En la tabla 1 se presentan los resultados de las pruebas realizadas en las tres fechas.
Resultados de los puntajes (medianas, IC) obtenidos por los 14 residentes de primer año, según competencia, en el primer, segundo y tercer Mini-CEX
| Competencia | Primer Mini CEX | Segundo Mini CEX | Tercer Mini CEX | p |
|---|---|---|---|---|
| Anamnesis | 6 (5,8-7,0) | 6 (6,0-7,9) | 6,5 (6,0-9,0) | 0,507 |
| Examen físico | 6 (5,8-7,0) | 6,5 (5,1-7,0) | 7,5 (6,8-8,0) | 0,028 |
| Profesionalismo | 7,5 (6,0-8,0) | 7,5 (7,0-8,0) | 8 (7,8-9,0) | 0,109 |
| Juicio clínico | 6 (6,0-7,2) | 7 (6,0-7,9) | 8 (7,0-8,2) | 0,021 |
| Habilidades de comunicación | 8 (7,0-8,0) | 8 (7,0-8,0) | 8 (8,0-8,2) | 0,644 |
| Organización | 6,5 (6,0-8,0) | 7 (6,0-8,0) | 8 (6,0-9,0) | 0,155 |
| Valoración global | 7 (6,0-7,6) | 7 (6,1-8,0) | 8 (7,0-8,0) | 0,043 |
Se observó una mejoría significativa de los puntajes obtenidos por los residentes en los ítems: examen físico 6 (5,8–7,0) a 7,5 (6,8–8,0) p=0,028, juicio clínico 6 (6,0–7,2) a 8 (7,0–8,2) p=0,021 y valoración global 7 (6,0–7,6) a 8 (7,0–8,0) p=0,043.
Los niveles de satisfacción del residente y del docente con el método fueron 8/9 y 9/9, respectivamente.
DiscusiónLa evaluación de los residentes de medicina interna y demás especialidades clínicas en nuestro medio se realiza de dos maneras: la evaluación de conocimientos mediante pruebas escritas y la asignación mensual de tres notas finales de valoración global por el tutor, una nota para conocimientos, otra para habilidades y destrezas y otra para actitudes, las cuales se basan en la observación diaria del desempeño del residente durante la visita médica y demás actividades académicas cotidianas. Esta última forma de evaluación, denominada Global Rating Scale, resulta ser, la mayoría de las veces, muy subjetiva y depende en gran medida del evaluador15, constituyendo, por ello, una debilidad en nuestros programas de residentado.
El Mini-CEX, al evaluar aspectos como habilidades para la entrevista clínica, habilidades para la exploración física, profesionalismo, juicio clínico, habilidades comunicacionales y organización/eficiencia, se convierte en un instrumento de evaluación muy completo para las especialidades clínicas.
Para introducir el uso de esta prueba en la sede docente hospitalaria se utilizó un método de tres pasos, que se aplicó tanto a nivel grupal como individual. Existen reportes de otras formas de entrenamiento de docentes como sesiones de trabajo grupal de dos h y ejercicios prácticos de aplicación del Mini-CEX con el uso de videos13,16. Esos tipos de entrenamiento no fueron factibles en nuestro caso debido a la incompatibilidad de horarios de los profesores. Sin embargo, la ventaja de tener una aproximación individual a cada docente fue que se pudo resolver dudas particulares de cada uno de ellos y se obtuvo de ellos un mayor compromiso. Durante el entrenamiento se percibió una actitud de aceptación por parte de todos los docentes. La desventaja fue que se tuvo que invertir mayor tiempo en la capacitación. Otra desventaja fue que no se realizó entrenamiento práctico en brindar feedback, lo cual hubiese contribuido a garantizar la homogeneidad en la aplicación del instrumento.
El alfa de Cronbach global encontrado en nuestro estudio es alto, lo cual indica que el instrumento tiene una alta consistencia interna y es confiable. Este hallazgo coincide con lo ya encontrado en otros estudios donde también se ha calculado la consistencia interna de la prueba, encontrando valores de alfa de Cronbach mayores a 0,807–9.
El análisis factorial evalúa la validez del instrumento y busca resumir las interrelaciones existentes dentro del conjunto de variables del instrumento en una forma clara y segura. El análisis factorial del presente estudio identificó un único factor, lo cual coincide con otros dos estudios publicados: Cook9 y Hill17, que realizaron también análisis factorial.
Tras aplicar la prueba en tres oportunidades a lo largo del año al mismo grupo de residentes se observó la evolución de los puntajes en el tiempo y se compararon estadísticamente. Se hizo evidente una mejoría de los puntajes en la mayoría de las competencias, especialmente: examen físico, juicio clínico y organización. Consideramos que esta mejoría se debió a la retroalimentación que se dio en cada Mini-CEX sumada al entrenamiento cotidiano del residente durante su primer año de estudios. Jenniffer Kogan, en una revisión sistemática publicada en JAMA18 y Gabriel Fernández en Chile7 encontraron que los scores del Mini-CEX mejoran a medida que aumenta el nivel de entrenamiento.
La habilidad comunicacional es la competencia mejor calificada en el primer examen pero no muestra ninguna mejoría en el resto del año, lo cual puede ser explicado por la ausencia de entrenamiento formal de los residentes en comunicación médico - paciente. La anamnesis tiene uno de los puntajes más bajos en la primera evaluación y, si bien se observa una ligera mejoría en el resto del año, esta no llega a ser significativa. Se deben hacer esfuerzos para mejorar esta competencia que es esencial en todo médico clínico.
Se observa una alta satisfacción de los docentes y de los residentes hacia la prueba, como ya ha sido observado en otros programas de América Latina11,14,19, no obstante demanda tiempo adicional de los docentes, compromiso y preparación.
Una debilidad adicional de este estudio fue el número reducido de residentes evaluados. Esto se debe a que se desarrolló en una sede docente que recibe pocos residentes anualmente.
Mediante este trabajo se demuestra que la prueba fue factible de implementar en un programa de residentado de un hospital general, con profesores y residentes motivados. La prueba fue bien aceptada por residentes y docentes. El Mini-CEX tuvo un alto nivel de confiabilidad y validez de constructo por lo que se recomienda su uso en programas de residentado.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Presentado en el Congreso Latinoamericano en Educación de Residentes (LACRE), Santiago de Chile, 24-25 de mayo de 2017.
