Regístrese
Buscar en
Acta Otorrinolaringológica Española
Toda la web
Inicio Acta Otorrinolaringológica Española Evaluación de la capacidad formativa del libro del residente de Otorrinolaringo...
Información de la revista
Vol. 69. Núm. 4.
Páginas 187-200 (Julio - Agosto 2018)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
68
Vol. 69. Núm. 4.
Páginas 187-200 (Julio - Agosto 2018)
ARTÍCULO ORIGINAL
DOI: 10.1016/j.otorri.2017.04.001
Acceso a texto completo
Evaluación de la capacidad formativa del libro del residente de Otorrinolaringología español (FORMIR) como portafolio electrónico
Evaluation of the training capacity of the Spanish Resident Book of Otolaryngology (FORMIR) as an electronic portfolio
Visitas
68
Juan Manuel Maza Solanoa,
Autor para correspondencia
juan.maza.solano@gmail.com

Autor para correspondencia.
, Gustavo Benavente Bermudoa, Francisco José Estrada Molinaa, Jesús Ambrosiani Fernándezb, Serafín Sánchez Gómeza
a Servicio de Otorrinolaringología, Hospital Universitario Virgen Macarena, Sevilla, España
b Departamento de Anatomía, Universidad de Sevilla, Sevilla, España
Este artículo ha recibido
68
Visitas
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (4)
Mostrar másMostrar menos
Resumen
Introducción y objetivos

Evaluar la capacidad formativa del libro del residente español como portafolio electrónico para alcanzar los objetivos de aprendizaje de los MIR de Otorrinolaringología (ORL).

Métodos

Se realizó una investigación cualitativa multimétodo de características tranversal, temporal y de orientación retrospectiva sobre los MIR de ORL mediante un cuestionario estructurado y una entrevista semiestructurada, sobre la aplicación informática web FORMIR.

Resultados

Participaron el 56,5% de los MIR de ORL de alguno de los 63 hospitales españoles acreditados para impartir formación en ORL entre 2009 y 2012. Los resultados obtenidos demostraron que los MIR de ORL que utilizaban el portafolio electrónico eran capaces de autoguiar mejor su aprendizaje, conocían mejor sus objetivos de aprendizaje, cumplían más eficientemente el programa de formación, identificaban más claramente las causas de sus carencias en el aprendizaje y consideraban que FORMIR como portafolio electrónico constituía una herramienta formativa idónea para sustituir al libro del residente en formato papel.

Conclusiones

Los MIR de ORL apreciaban de forma muy relevante las prestaciones formativas de FORMIR como portafolio electrónico, especialmente su interfaz, el feedback numérico y automático sobre la adquisición de competencias, su capacidad de almacenamiento de evidencias y su capacidad de visualizarse como logbook de la Unión Europea de Médicos Especialistas o como un curriculum vitae estándar. Este feedback automático facilita el aprendizaje autoguiado. Todo esto hace de FORMIR una herramienta formativa y evaluativa que supera las prestaciones y aceptación de instrumentos similares puestos a disposición de los residentes, que no dudan en proponerlo como el libro del residente más idóneo para facilitar su formación especializada.

Palabras clave:
Educación médica
Competencia clínica
Otorrinolaringología
Médico interno residente
Resultados y evaluación en salud
Programa de evaluación
Abstract
Background

and objectives We have evaluated the training capacity of the Spanish resident training book as an electronic portfolio to achieve the learning objectives of otorhinolaryngology (ENT) residents.

Methods

A multi-method qualitative investigation with transversal characteristics, temporal and retrospective guidance was performed on Spanish ENT residents using a structured questionnaire, a semi-structured interview, and a computer application on the FORMIR website.

Results

A 56.5% of ENT-residents specialising in one of the 63 accredited Spanish hospitals between 2009-2012 participated in the study. The results obtained show that the ENT residents who used the e-portfolio were better able to implement self-guided study, were more aware of their learning objectives, fulfilled the training programme more efficiently, identified the causes of learning gaps more clearly, and considered FORMIR in e-portfolio format to be an ideal training tool to replace the resident training book in paper format.

Conclusions

The ENT residents greatly appreciated the training benefits of FORMIR as an e-portfolio, especially its simple and intuitive interface, the ease and comfort with which they could record their activities, the automatic and numeric feedback on the acquisition of their competencies (which facilitates self-guided learning), its storage capacity for evidence, and its ability to be used as UEMS logbook as well as a standard curriculum vitae. All these features make FORMIR a training and evaluation tool that outperforms similar instruments available to ENT residents. They do not hesitate to identify it as the ideal resident training book for facilitating their specialised training.

Keywords:
Medical education
Clinical competence
Otolaryngology
Internship and residency
Outcome and process assessment (health care)
Programme evaluation
Texto completo
Introducción

El modelo de especialización médica en España se basa en el aprendizaje en un contexto laboral bajo el sistema de residencia. Se accede mediante una prueba nacional y el orden de puntuación obtenido permite al candidato elegir especialidad y hospital en centros acreditados por el Ministerio de Sanidad y sometidos a auditorías periódicas. La Comisión Nacional de Otorrinolaringología elabora un programa obligatorio para todos los centros formativos en Otorrinolaringología (ORL) con los objetivos teóricos y prácticos que deben alcanzar los MIR de ORL. La falta de un examen final para la certificación del título de especialista configura un modelo aprendizaje en bolsa de té1 en el que la calidad de la formación se respalda por la acreditación del centro y las actividades de los MIR. En 2008 la Sociedad Española de Otorrinolaringología y Cirugía de Cabeza y Cuello (SEORL-CCC) llevó a cabo un estudio sobre la capacidad docente de los 65 centros acreditados para docencia ORL, y detectó amplias variaciones en cuanto a infraestructura, actividad y resultados de los MIR de ORL2. Este estudio también pudo determinar con precisión los requisitos numéricos apropiados para las distintas actividades formativas3.

Los más avanzados métodos docentes se han trasladado desde la simple adquisición de conocimientos hacia la demostración de la competencia, definida como el uso habitual y juicioso en la práctica clínica diaria de la comunicación, conocimientos, habilidades técnicas, razonamiento clínico, emociones, valores y reflexión para beneficio de los pacientes y la sociedad4,5. Tras la publicación de Tomorrow's Doctor en 1993, la educación médica comenzó la transición desde un sistema basado en el tiempo y los procesos a un entorno de aprendizaje basado en competencias6. El proceso necesitaba herramientas de evaluación del desarrollo válidas y precisas7. El anterior libro del residente de ORL en formato papel8 funcionaba como un logbook que simplemente registraba la ejecución de las actividades del residente. Se necesitaba que los residentes españoles de ORL en período de formación especializada adquirieran similar competencia, independientemente de la unidad docente. Para ello se diseñó el libro del residente, que unía en una única herramienta tanto el registro como la evaluación de las competencias recomendadas por instituciones como Accreditation Council for Graduate Medical Education (ACGME)9, European Union of Medical Specialists (UEMS)10 y el programa nacional, además de las propias habilidades científico-técnicas de la especialidad. La metodología de un portafolio es apropiada para evaluar la competencia profesional a través de varias áreas de competencias y alcanza el más alto nivel de la pirámide de Miller11 como herramienta de evaluación. Los portafolios electrónicos están reemplazando lentamente a los basados en formato papel, aunque la incorporación de herramientas tecnológicas en las prácticas educativas no garantiza que se produzca una mejora en el aprendizaje e, incluso, a veces, no hace sino reforzar los modelos dominantes ya establecidos de docencia y aprendizaje12. Una de las fortalezas de los portafolios electrónicos debería ser el feedback externo que recibe el residente de su trabajo. La mayoría de los portafolios electrónicos actualmente en uso ofrecen un feedback limitado, centrado principalmente en la evaluación de competencias genéricas y sin proporcionar cuantificación del progreso. Un estudio reciente en educación médica de especialistas en ORL revela que los portafolios no están integrados en los programas de entrenamiento, apenas son utilizados y solo una minoría de los MIR considera su formación mejorada13.

Ante este planteamiento, faltaba conocer la visión del MIR de ORL sobre su propia formación, sobre su conocimiento de los objetivos que los distintos programas formativos establecen, el conocimiento de las nuevas metodologías docentes y las herramientas formativas puestas a su disposición. El objetivo del presente estudio fue evaluar la propuesta de un nuevo libro del residente de ORL en formato de portafolio electrónico para ser utilizado por todos los MIR de ORL en el cual pudiesen coexistir tanto objetivos de tipo sumativo como formativo14. El nuevo libro del residente (FORMIR) fomentaría el aprendizaje mediante autoevaluación y la planificación de competencias con las que los MIR de ORL fuesen capaces de planificar y llevar a cabo una educación individualizada y personalizada por ellos mismos, incluyendo una reflexión personal conjunta con sus mentores.

Material y métodos

El portafolio electrónico se ha construido según un modelo de gestión por competencias. Las competencias que el futuro especialista en ORL debería adquirir y demostrar a través de su aprendizaje (conocimientos, habilidades y actitudes) se han identificado desde las siguientes fuentes: a) programa oficial de la especialidad de ORL (8 de mayo de 2007); b) el logbook de la UEMS y c) el de ACGME.

Se realizó una investigación cualitativa multimétodo transversal, temporal y de orientación retrospectiva, consistente en un cuestionario estructurado (fig. 1A y B) a base de respuestas con escala Likert de 5 puntos en cuestiones graduadas: 1) completamente en desacuerdo, 2) poco de acuerdo, 3) valor neutro o intermedio, 4) bastante de acuerdo y 5) completamente de acuerdo, y en una entrevista semiestructurada. Se incluyeron en el estudio todos los servicios de ORL de los hospitales del Sistema Nacional de Salud español que disponían de capacidad docente acreditada para la formación de MIR de ORL en el período de tiempo comprendido entre 2009 y 2012. El número total de hospitales incluidos en el estudio fue de 63 y el de MIR fue de 182.

Figura 1.

Formación y aprendizaje de los MIR de ORL en España. Herramientas de evaluación. Cuestionario estructurado y entrevista semiestructurada sobre el conocimiento de los residentes acerca de su formación y metodología del aprendizaje.

Para el estudio descriptivo de las variables se realizó un estudio de frecuencias con las medidas de la distribución porcentual y sus valores acumulados. Se utilizó para ello el software disponible en Excel, con el que se llevó a cabo un procesamiento de datos mediante tablas de contingencia para la información de registro en FORMIR respecto a si se obtenían o no respuestas del MIR en la encuesta. Para la comparación de mediciones estadísticas de centralidad y dispersión (moda, mediana, media aritmética, desviación estándar y percentiles) se aplicó el test de χ2 y el test exacto de Fisher en aquellos casos en los que fue necesario.

Para la validación del cuestionario se usó la técnica de la triangulación. La entrevista siguió como guión la misma estructura del cuestionario, profundizando especialmente en los apartados diseñados como campos libres en la encuesta, con objeto de validar el cuestionario y poder explicar mejor los resultados que hubieran quedado poco claros, dada la ausencia de experiencias previas en este campo. Tras la validación del cuestionario durante el II Curso de Cirugía Endoscópica Nasosinusal del Hospital Universitario Virgen Macarena de Sevilla durante el mes de marzo de 2011 con los MIR que asistieron, el cuestionario se entregó para su cumplimentación a los MIR de ORL reunidos en el III Curso de Cirugía Endoscópica Nasosinusal celebrado en marzo de 2012 y en el V Curso de Disección del Hueso Temporal celebrados en este mismo hospital. La entrevista se llevó a cabo con los respondentes del cuestionario de estas reuniones. En una segunda fase, el cuestionario fue remitido para su cumplimentación por correo electrónico al resto de los MIR de ORL que constaban como miembros de las plantillas de los servicios de ORL, según la base de datos de la SEORL-CCC. En algunos casos fue necesario el envío del cuestionario mediante correo ordinario (por vía postal). Para mejorar la validez del cuestionario y evitar un elevado número de pérdidas del estudio se realizaron 4oleadas, de manera que en 4ocasiones hubo que reenviar el cuestionario a los no respondentes. Tanto los respondentes del cuestionario como los entrevistados autorizaron expresamente la utilización de su contenido para el fin de esta investigación, en virtud de la aplicación de lo estipulado en la Ley 15/1999 del 13 de diciembre, de Protección de Datos de Carácter Personal.

Resultados

De los 182 MIR registrados en la SEORL-CCC y distribuidos en 63 hospitales, 103 participaron en el estudio (56,5%) (fig. 2). Los hospitales con MIR más participativos en el estudio fueron el Hospital Gregorio Marañón de Madrid con 7 MIR, el Hospital Virgen Macarena de Sevilla con 7, el Hospital Santa Creu i Sant Pau de Barcelona con 6, el Hospital Central de Asturias en Oviedo con 6 MIR y el Hospital de Puerto Real con 6 representantes (fig. 2). La cifra de residentes participantes en el estudio que utilizaron FORMIR respecto al total de registrados en la SEORL fue de 57 (31,3%). Asimismo, de los 103 MIR que participaron en el estudio y estaban registrados en el portafolio electrónico, un total de 46 (44,7%) lo utilizaban de forma habitual. La distribución por regiones de los participantes en el estudio fue similar a la distribución por hospitales; destaca la participación de las provincias de Madrid, Barcelona, Valencia y Sevilla (fig. 2).

Figura 2.

Distribución por hospitales y provincias de los residentes registrados en la SEORL y en FORMIR entre los años 2009 y 2012.

(1,75MB).

Entre los residentes de ORL de España existía una alto nivel de confianza en que los objetivos de aprendizaje se encontraban bien definidos en el programa nacional de ORL (apartado 1.1. fig. 3A), independientemente de si los MIR usaban o no el portafolio electrónico, con una puntuación media de 4,42 sobre 5 puntos (de ahora en adelante se indicará como x=4,42). Los residentes consideraron que el aprendizaje de estos objetivos era establecido de forma multidisciplinar y, aunque destacaba preferentemente la figura del tutor docente, también se incluía la figura del jefe de servicio, del propio MIR y de los residentes que se encontraban en los últimos años de formación. Particularmente destacó el hecho de que los residentes que utilizaban FORMIR eran capaces de autoguiar mejor sus propios objetivos (x=4,13) respecto a aquellos que no estaban registrados en el portafolio (x=3,53) (apartado 1.4. fig. 3A). El nivel de conocimiento de los objetivos teóricos, prácticos y relacionales que debían adquirir los MIR de ORL durante su período de formación fue superior para los objetivos teóricos y relacionales entre aquellos MIR que utilizaban FORMIR respecto a quienes no lo usaban (apartado 3. fig. 3A). Por otro lado, se obtuvo que los residentes conocían las posibilidades que los hospitales donde se estaban formando les ofrecían para aprender, pero no así las posibilidades que el Sistema Nacional de Salud les ofrecía a tal efecto (fig. 3A). En ambos casos, los resultados fueron similares entre los residentes que usaban el portafolio electrónico y los que no. En los servicios españoles se cumplía parcialmente el programa teórico-práctico de la Comisión Nacional de ORL (apartado 3.1. fig. 3A), aunque en aquellos servicios donde los MIR estaban registrados en FORMIR, el cumplimiento del programa fue más completo, ya que, dentro del grupo de residentes que no usaban FORMIR, solo el 34,6% asignó una puntuación de 4 o más puntos en el cuestionario, mientras que el 87,8% de los que sí usaban la plataforma dieron una puntuación4 puntos (apartado 3.1. fig. 4A). Entre las causas referidas por los MIR acerca de las dificultades para su aprendizaje, destacaron la carencia de materiales o aparatos que les impedía realizar algún tipo de actividad (x=3,75), el hecho de que en sus servicios y hospitales de formación no se realizasen algunos procedimientos (o que solo se aprendía lo que se hacía) (x=3,97) y la presión asistencial existente (x=4,18) (apartado 4. fig. 3A). Asimismo, los residentes registrados en FORMIR se mostraron más críticos respecto a que algunas deficiencias formativas se debían a la falta de atención de sus tutores (apartados 4.4. fig. 3A y 4.4. fig. 4A), respecto a los MIR que no usaron dicho portafolio (x=2,69). Los MIR tenían escasa información comparativa detallada acerca de la formación que recibían sus homólogos españoles y extranjeros (apartado 5. fig. 3A). En este contexto, indicaron que la poca información obtenida provenía de los compañeros que estaban finalizando el período de residencia (apartados 5.6. fig. 3A y 5.6. fig. 4A) y del contacto con otros MIR en cursos y congresos (sobre todo en el Congreso Nacional de la SEORL-CCC) (apartado 5.7. fig. 3A). Por el contrario, las fuentes y organismos oficiales no les aportaban datos sobre el nivel global de aprendizaje de los MIR (x=1,65) (apartados 5.5. fig. 3A y 5.5. fig. 4A). La figura del tutor docente como facilitador del aprendizaje y su metodología fue mucho más importante para los residentes, al compararla con las contribuciones a tal efecto que tanto el Ministerio de Sanidad como los servicios de ORL ejercían sobre la formación especializada MIR (apartado 6. fig. 3A). El libro español del residente en formato papel no se encontraba bien valorado por los propios MIR ni por sus tutores docentes (x=1,81) debido a las limitaciones para registrar las evidencias (x=2,44), para revisar el progreso del aprendizaje (x=2,15), para mostrar el trabajo a los demás (x=2,2) o para ser presentado en oposiciones y entrevistas de trabajo (x=2,91). El libro en formato papel estuvo peor considerado en términos generales entre los residentes que habían utilizado FORMIR (apartado 7. fig. 3B). Asimismo, los MIR de ORL, independientemente de que hubieran usado o no el portafolio, consideraron que el libro del residente en formato papel no servía para justificar su aprendizaje como ORL en el Board europeo, dato reflejado en que hasta el 73,1% de los MIR entrevistados puntuaron esta opción con 2 puntos o menos sobre un máximo de 5 puntos (apartado 7.4. fig. 4B).

Figura 3.

A) Formación y aprendizaje de los MIR de ORL en España. Cuestionario estructurado y entrevista semiestructurada sobre el conocimiento de los residentes acerca de su formación y metodología del aprendizaje. B) Formación y aprendizaje de los MIR de ORL en España. Herramientas de evaluación. Cuestionario estructurado y entrevista semiestructurada sobre el conocimiento de los residentes acerca de su formación y metodología del aprendizaje.

DT: desviación típica; LR: libro del residente; P25: percentil 25; P50: percentil 50; P75: percentil 75; x: media aritmética; SEORL: Sociedad Española de Otorrinolaringología.

Figura 4.

A) Formación y aprendizaje de los MIR de ORL en España. Distribución por porcentajes (%) según los valores de cada respuesta y sus porcentajes acumulados (%a): 1 (completamente en desacuerdo), 2 (poco de acuerdo), 3 (respuesta neutra o intermedia), 4 (bastante de acuerdo) y 5 (completamente de acuerdo). B) Formación y aprendizaje de los MIR de ORL en España. Herramientas de evaluación. Cuestionario estructurado y entrevista semiestructurada sobre el conocimiento de los MIR acerca de su formación y metodología del aprendizaje. Distribución por porcentajes (%) según los valores de cada respuesta y sus porcentajes acumulados (%a): 1 (completamente en desacuerdo), 2 (poco de acuerdo), 3 (respuesta neutra o intermedia), 4 (bastante de acuerdo) y 5 (completamente de acuerdo).

Los residentes de ORL de España desconocían la existencia de otros sistemas de registro distintos al libro del residente creados en otros servicios docentes, hospitales y el extranjero (apartado 8. fig. 3B). Los MIR indicaron que les interesaban principalmente las opciones que mejorasen el libro del residente en formato papel, siempre que les aportasen utilidad (x=4,22), fuesen o no obligatorias (x=3,36) (apartado 9. fig. 3B). El grupo de residentes que estaba inscrito en FORMIR consideró que utilizaba un portafolio adaptado a sus necesidades con un 85,7% de puntuación igual o superior a 4 puntos, a diferencia de aquellos que no estaban registrados en el portafolio (apartado 9.4. fig. 4B). Más del 80% de los MIR encuestados conocían el portafolio (apartado 10. fig. 4B), pero no se pudo establecer de forma concreta cuál fue la vía de difusión más utilizada. Ni la SEORL-CCC, ni los tutores, ni las comunicaciones o publicaciones de FORMIR, ni la difusión entre MIR destacó respecto a las demás (apartado 10. fig. 3B). Los residentes registrados en FORMIR lo utilizaron al principio de forma ocasional, pero posteriormente dejaron de hacerlo (apartado 11.3. fig. 3B). Entre los comentarios de los residentes de ORL se indicó que el principal motivo por el que dejaron de usarlo fue por no encontrar el respaldo necesario de sus tutores para la validación de las actividades. Otros MIR consideraron que dejaron de usarlo para dedicar el tiempo que les consumía en hacer otras actividades, ya que FORMIR no es una herramienta de evaluación obligatoria. En general, los residentes propondrían FORMIR como nuevo libro de residentes de ORL (86,5% de puntuación igual o superior a 3 sobre un total de 5 puntos en la escala Likert) (apartado 12.8. fig. 4B), ya que les ayudaría a alcanzar sus objetivos de aprendizaje incluso si sus tutores docentes no se implicasen en su proceso de formación (x=3,41) (apartado 12.7. fig. 3B). Quienes lo utilizaron no consideraron que les consumiese demasiado tiempo su cumplimentación, pero proponían que fuese obligatorio para conseguir un uso más extendido (apartado 12.5. fig. 4B).

Discusión

Se ha considerado la metodología cualitativa del análisis de datos15 como un instrumento adecuado para conocer la percepción de los MIR de ORL sobre la extensión y profundidad del aprendizaje médico posgraduado, porque en su contribución y abordaje busca elementos que conducen a dar respuestas y explicaciones a los acontecimientos que rodean y que abordan al residente y que no pueden ser medidos de una manera explícita y cuantitativa. De este modo, por medio de la observación, la inducción-deducción y la conceptualización de lo percibido, se pueden establecer juicios y criterios. Además, con este tipo de investigación cualitativa se hace uso de una distribución representativa y numérica, que no es más que la utilización de otra forma de codificar datos y de darles un valor para mejorar su objetividad16. En este sentido, para la realización de la presente investigación se consideró suficiente la tasa de respuesta al cuestionario (del 56,5%) debido a que el conocimiento del comportamiento de los MIR españoles en cuanto a su evaluación y aprendizaje es novedoso y a que el uso del portafolio electrónico FORMIR entre los MIR de ORL españoles no es actualmente obligatorio.

El residente formado en España es actualmente un especialista cotizado en los ámbitos nacional e internacional17, pero los resultados del estudio de Suárez et al.2 ofrecen suficientes incertidumbres para considerar que es posible que la complacencia haya ocultado una realidad menos satisfactoria. La formación de los MIR de ORL en España ha sido tradicionalmente un proceso dirigido desde fuera mediante la disposición de infraestructura y estructura. El propio proceso formativo se ha llevado a cabo muchas veces gracias a la voluntad y la motivación del MIR y de los tutores más que a actuaciones decididas y planificadas en las unidades docentes. El voluntarismo de muchos tutores ha sido simultáneamente motor y barrera para una formación en ORL más activamente programada y, sobre todo, uniforme a lo largo de toda la nación. El esfuerzo de la SEORL-CCC para conocer el estado actual de las unidades docentes acreditadas para la formación especializada en ORL ha permitido disponer de valiosa información para el establecimiento de objetivos realistas de aprendizaje, orientados de modo práctico a la evaluación de niveles de competencia básicos y excelentes2.

Las respuestas de los MIR en formación especializada de ORL siguen un patrón demográfico definido. La mayor parte de los MIR que participaron en el estudio se concentraron en las poblaciones y comunidades autónomas españolas con altas tasas poblacionales, donde se encuentran los hospitales que más MIR forman anualmente: Madrid, Cataluña, Andalucía y Valencia. Estos hospitales reúnen, en general, los criterios mínimos de acreditación para la formación especializada18 y, por lo tanto, se considera que estos MIR parten de una situación más ventajosa para su aprendizaje que los que se forman en unidades que no reúnen criterios para una acreditación suficiente.

Un componente central de la educación médica basada en competencias (EMBC) es disponer de un entorno del máximo nivel orientado a la docencia y al aprendizaje en el que se trabajen las competencias más importantes19. La EMBC ha sido criticada por reduccionista, es decir, por centrarse en habilidades atomísticas y evitar captar la esencia de las actividades profesionales manifestada por capacidades complejas e integradas. Sin embargo, las habilidades complejas se construyen a partir de habilidades fundamentales y esenciales, y esto está respaldado por la teoría y las pruebas encontradas en las ciencias del aprendizaje20. Para conseguir un desempeño eficaz de lo anterior, se refinan y se integran los componentes mediante la repetición de la ejecución de la habilidad en un contexto real mientras se proporciona un feedback. La EMBC no propone métodos específicos para la enseñanza de las competencias21. La motivación del que aprende y sus habilidades para la autorregulación tendrán también un impacto en su compromiso con el proceso de aprendizaje que resulte en la integración de conocimientos y habilidades en competencias más complejas. La EMBC, por definición, necesita un sistema de evaluación sólido y de múltiples facetas, basado en criterios, orientado al desarrollo, llevado a cabo en entornos laborales a ser posible, que utilice herramientas y métodos tanto cuantitativos como cualitativos22. Ser experto, no competente, es el último objetivo.

La complacencia que muestran los MIR de ORL de las unidades docentes españolas con la calidad de su formación es coherente con un sistema MIR español que no efectúa evaluaciones formales y objetivas del grado de consecución de los objetivos docentes requeridos por el programa oficial de la especialidad23, limitadas a las evaluaciones subjetivas muy generales recogidas en las fichas de evaluación del Ministerio de Sanidad24. Esta complacencia contrasta con el elevado conocimiento que muestran sobre el número y complejidad de esos objetivos docentes y, sobre todo, con la cuestionada capacidad de sus unidades docentes para ofrecerles la posibilidad de que con sus recursos humanos, materiales y de actividad puedan llegar a alcanzarlos en su totalidad. Los residentes de ORL se adaptan perfectamente a los nuevos requerimientos de la andragogía y se muestran activamente dispuestos a autoguiar su aprendizaje cuando las herramientas formativas y el respaldo de sus tutores lo permiten. Cuanto mayor es la capacidad formativa que ofrece una unidad docente también es mayor la disposición de los MIR a utilizar las nuevas herramientas formativas, incluso si no son obligatorias, y a ser más exigentes en la cumplimentación integral de su programa docente25.

FORMIR permite, por primera vez en la historia de la formación española de ORL, una gestión por competencias estructurada, planificada y organizada vinculada al modelo EMBC. Se realiza una formación explícita, accesible, integral, completa y coherente en todo el país. El feedback proporcionado por FORMIR muestra a los residentes su progreso y sus lagunas formativas por cubrir. Este enfoque tiene un impacto directo en la equidad educativa, mediante la propuesta de una base global para todos los MIR españoles de ORL. FORMIR concentra aspectos sumativos y reflexivos de aprendizaje de los residentes de ORL en una única aplicación de software en Internet para que tengan una nueva herramienta para la reflexión sobre su aprendizaje y para el desarrollo de actitudes, algo que faltaba hasta ahora. La versatilidad de FORMIR hace que actúe simultáneamente como logbook y como un portafolio de reflexión. También está preparado para certificar las evidencias y generar un curriculum vitae mediante la validación por el tutor docente de las evidencias proporcionadas por el MIR. FORMIR traslada la poco manejable carga en papel a un entorno basado en web totalmente informatizado, gracias a que los hipervínculos electrónicos han reemplazado a las carpetas llenas de papeles con difícil ordenación e indexación. La gestión de la información en los portafolios basados en webs es más acogedora y alentadora tanto para los MIR como para los tutores, con mayor capacidad para reunir pruebas y ordenarlas en comparación con el formato de papel, a pesar de tener niveles similares de calidad de los contenidos26.

El uso del portafolio reflexivo y su utilidad de autopercepción entre los MIR de ORL es muy baja en la mayoría de los países27. Muchos artículos se refieren a resultados contradictorios sobre la utilidad de los portafolios, sin demostrar claramente que los efectos obtenidos o medibles sean debidos al uso del portafolio. Es posible que los portafolios puedan mejorar el aprendizaje más en unas especialidades médicas que en otras. Las variaciones en los modelos de enseñanza, tutoría, requisitos nacionales o locales de aprendizaje, certificaciones y rúbricas también podrían explicar las diferencias. A pesar de esto, los MIR de ORL españoles agradecen tener detalladas las habilidades que deben adquirir y su correspondencia en grados de logro28, no solo en cuanto a las habilidades científico-técnicas, sino también en las habilidades de reflexión, sobre todo cuando los recursos locales no disponen de tutorización adecuada o no es satisfactoria. Si los portafolios no son evaluados formalmente, su utilidad disminuye27. Las pruebas apoyan que un tutor bien informado puede ser un factor crucial en la aceptación de los portafolios y puede influir en su grado de utilización, en particular, cuando se proporciona información periódica específica, pero no garantiza el uso sostenido del portafolio a largo plazo. El alcance nacional e innovador de FORMIR llena los vacíos de tutorización donde no existe una tutoría adecuada, al proporcionar retroalimentación automática al finalizar las actividades.

Algunas referencias parecen generar tensión entre equilibrar la fiabilidad y la validez de la evaluación del portafolio respecto al aprendizaje. El método de evaluación del portafolio electrónico FORMIR puede ser todavía considerado de transición entre el modelo de aprendizaje en bolsa de té y la evaluación de competencias. El sistema académico actual es inmaduro, así como la infraestructura, o la formación para realizar una verdadera evaluación de la competencia (nivel IV de la pirámide de Miller). Pero el diseño de un método de evaluación de cumplimentación y de logros alcanzados es un importante paso adelante en el aprendizaje. La cuantificación de la participación de los alumnos en las actividades requeridas, sin dejar de ser una medida de procedimientos en lugar de evaluación de habilidades, sienta las bases para el siguiente paso, evita la cuantificación del trabajo y se centra en las habilidades adquiridas.

El estado de voluntariedad del portafolio es un rasgo definitorio fundamental que influye de forma directa en la actitud del usuario, su aceptación, y la cantidad de tiempo que está dispuesto a gastar en él. Hay evidencia de que los usuarios pueden estar simultáneamente molestos por la utilización de un portafolio, pero a su vez ser positivos al descubrir su potencial al hacer uso de él de forma individual29. La ventaja de FORMIR de aunar en una única herramienta formativa la capacidad de permitir evaluaciones formativas y sumativas a los MIR de ORL lo convierten en su opción preferida para sustituir al actual y obsoleto libro del residente en formato papel. Su formato de portafolio electrónico admite la evaluación de todos los niveles de la pirámide de Miller y su masiva aceptación30 se basa en que mejora las prestaciones de cualquier otra herramienta evaluativa actual por su interfaz sencilla e intuitiva, la facilidad y comodidad de registrar sus actividades, el feedback numérico y automático que les devuelve cuando registran sus actividades y que les muestra cuántas competencias han adquirido y cuántas y cuáles les quedan por adquirir, su capacidad de almacenamiento de pruebas, el escaso tiempo que les consume el registro de las actividades y su capacidad de visualizarse tanto bajo el formato del logbook de la UEMS como bajo el formato de un curriculum vitae.

Conclusiones

Los MIR de ORL apreciaron de forma muy relevante las prestaciones formativas que ofrecía el portafolio electrónico web FORMIR, puesto a su disposición por la SEORL-CCC, especialmente su interfaz sencilla e intuitiva, la facilidad y comodidad de registrar sus actividades, el feedback numérico y automático que les devolvía cuando registraban sus actividades y que les mostraba cuántas competencias habían adquirido y cuántas y cuáles les quedaban por adquirir, su capacidad de almacenamiento de evidencias, el escaso tiempo que les consumía el registro de las actividades y su capacidad de visualizarse tanto bajo el formato del logbook de la UEMS como bajo el formato de un curriculum vitae. La capacidad de FORMIR de incluir reflexiones de los MIR sobre su propio aprendizaje permite que los tutores puedan llevar a cabo una evaluación formativa que complete la evaluación sumativa proporcionada por los algoritmos del feedback automático. Todas estas características hacen de FORMIR una herramienta formativa y evaluativa que supera las prestaciones y la aceptación de otros instrumentos similares puestos a disposición de los MIR de otras especialidades sanitarias. También puede evaluar todos los niveles de la pirámide de Miller, de tal manera que los MIR de ORL no dudaron en proponerlo como el libro del residente más idóneo para facilitar su formación especializada y se mostraron decididos a utilizarlo habitualmente en el caso de ser propuesto como obligatorio. Por último, el pilotaje reveló que estaba siendo utilizado de forma voluntaria por numerosos MIR y realzó su condición de herramienta de aprendizaje en un contexto amplio de EMBC, que es equitativo para todos los MIR de ORL.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de interés.

Bibliografía
[1]
L.S. Snell, J.R. Frank.
Competencies, the tea bag model, and the end of time.
Med Teach, 32 (2010), pp. 629-630
[2]
C. Suárez Nieto, S. Sánchez Gómez, I. Cobeta Marco.
Analysis of the otorhinolaryngology services authorized for the training of residents.
Acta Otorrinolaringol Esp, 60 (2009), pp. 364-375
[3]
M.M. Carr.
Program directors’ opinions about surgical competency in otolaryngology residents.
Laryngoscope, 115 (2005), pp. 1208-1211
[4]
J.R. Frank, L.S. Snell, O.T. Cate, E.S. Holmboe, C. Carraccio, S.R. Swing, et al.
Competency-based medical education: Theory to practice.
Med Teach., 32 (2010), pp. 638-645
[5]
P. Grilo Diogo, J. Barbosa, M.A. Ferreira.
A pilot tuning project-based national study on recently graduated medical students'self-assessment of cometences–the TEST study.
BMC Med Educ, 15 (2015), pp. 226
[6]
P. Kokemueller, J.D. Osguthorpe.
Trends and developments in continuing medical education.
Otolaryngol Clin N Am, 40 (2007), pp. 1331-1345
[7]
T.T. Tsue, J.W. Dugan, B. Burkey.
Assessment of surgical competency.
Otolaryngol Clin N Am, 40 (2007), pp. 1237-1259
[8]
E.W. Driessen, A. Muijtjens, J. van Tartwijk, C.P. va der Vleuten.
Web or paper-based portfolios: Is there a difference?.
Med Educ., 41 (2007), pp. 1067-1073
[9]
Accreditation Council for Graduate Medical Education, American Board of Medical Specialties. Toolbox of assessment methods, Version 1.1. [consultado 20 May 2011]. Disponible en: http://www.acgme.org/Outcome/assess/Toolbox.pdf.
[10]
UEMS Section of Otorhinolaryngology (Union Européenne des Médecins Spécialistes, European Union of Medical Specialists). Log book approved by the UEMS ORL Section and Board. [consultado 15 Oct 2012]. Disponible en: http://orluems.com/index.asp?seccion=8≈artado=11, 2007.
[11]
G.E. Miller.
The assessment of clinical skills/competence/performance.
Acad Med, 65 (1990), pp. 63-67
[12]
R. Belcher, A. Jones, L.J. Smith, T. Vincent, S.B. Naidu, J. Montgomery, et al.
Qualitative study of the impact of an authentic electronic portfolio in undergraduate medical education.
BMC Med Educ., 14 (2015), pp. 265
[13]
R.K. Gurgel, R.A. Miller, R.J.H. Smith.
Use of portfolios in otolaryngology graduate medical education.
Laryngoscope, 121 (2011), pp. 1173-1176
[14]
C. Tochel, A. Haig, A. Hesketh, A. Cadzow, K. Beggs, I. Colthart, et al.
The effectiveness of portfolios for post-graduate assessment and education: BEME guide No 12.
Med Teach, 31 (2009), pp. 299-318
[15]
M. Sandelowski.
Whatever happened to qualitative description?.
Res Nurs Health, 23 (2000), pp. 334-340
[16]
A. Strauss, J. Corbin.
Grounded Theory methodology. An overview.
Handbook og qualitative research., pp. 273-285
[17]
A.J. Jovell.
El futuro de la profesión médica. Análisis del cambio social y los roles de la profesión médica en el siglo XXI..
Fundació Biblioteca Josep Laporte, (2001),
[consultado 15 Mar 2013]. Disponible en: www.fbjoseplaporte.org/docs/reposition/070517121543.pdf.
[18]
C. Suárez, I. Cobeta, J. Algaba, E. Scola, P. Ortega, M. Quer, et al.
Informe sobre la situación actual de las unidades docentes de Otorrinolaringología acreditadas para la formación especializada ORL de postgraduados.
Comisión Nacional de Otorrinolaringología, (2008),
[19]
S.R. Swing.
Perspectives on competency-based medical education from the learning sciences.
Med Teach., 8 (2010), pp. 663
[20]
Ch Roberts, N. Shadbolt, T. Clark, Ph. Simpson.
The reliability and validity of a portfolio designed as a programmatic assessment of performance in an integrated clinical placement.
BMC Med Educ., 14 (2014), pp. 197
[21]
K.S. Khan, A. Coomarasamy.
A hierarchy of effective teaching and learning to acquire competence in evidenced-based medicine.
BMC Med Educ, 6 (2006), pp. 59
[22]
E.S. Holmboe, J. Sherbino, D.M. Long, S.R. Swing, J.R. Frank.
The role of assessment in competency-based medical education.
[23]
Programa de formación en ORL. [consultado 20 May 2009]. Disponible en: http://www.msssi.gob.es/profesionales/formacion/docs/Otorrinolaringologia.pdf.
[24]
Libro de Evaluación del Especialista en Formación. Consejo Nacional de Especialidades Médicas. Ministerio de Sanidad y Consumo. [consultado 20 May 2009]. Disponible en: http://www.msssi.gob.es/profesionales/formacion/docs/libroEvaluacionAzul.pdf.
[25]
S. Sánchez, E. Cabot Ostos, J.M. Maza-Solano, T. Herrero.
An electronic portfolio for quantitative assessment of surgical skills in ndergraduate medical education.
BMC Med Educ., 13 (2013), pp. 65
[26]
E.W. Driessen, A.M.M. Muijtjens, J. van Tartwijk, C.P.M. van der Vleuten.
Web- or paper-based portfolios: Is there a difference?.
Med Educ, 41 (2007), pp. 1067-1073
[27]
E. Driessen, J. van Tartwijk, C. van der Vleuten, V. Wass.
Portfolios in medical education: Why do they meet with mixed success? A systematic review.
Med Educ, 41 (2007), pp. 1224-1233
[28]
Haig A, Beggs K, Cadzow A, Colthart I, Hesketh A, Peacock H, Tochel C. Efficacy of e-portfolios: a systematic review of the evidence. European institute for E-learning (EIfEL). e-portfolio conference. 2007. [conslutado 10 Nov 2012]. Disponible en: http://www.epforum.eu/proceedings/ePortfolio%202007.pdf.
[29]
N. Mapukata-Sondzaba, A. Dhai, N. Tsotsi, E. Ross.
Developing personal attributes of professionalism during clinical rotations: View of final year bachelor of clinical medical practice students.
BMC Med Educ., 14 (2014), pp. 146
[30]
M. Friedman Ben David, M.H. Davis, R.M. Harden, P.W. Howie, J. Ker, M.J. Pippard.
AMEE medical education guide no. 24. Portfolios as a method of student assessment.
Medical Teacher., 23 (2001), pp. 535-551
Copyright © 2017. Elsevier España, S.L.U. and Sociedad Española de Otorrinolaringología y Cirugía de Cabeza y Cuello
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

es en pt
Política de cookies Cookies policy Política de cookies
Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continua navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí. To improve our services and products, we use "cookies" (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here. Utilizamos cookies próprios e de terceiros para melhorar nossos serviços e mostrar publicidade relacionada às suas preferências, analisando seus hábitos de navegação. Se continuar a navegar, consideramos que aceita o seu uso. Você pode alterar a configuração ou obter mais informações aqui.