Evaluación de la formación del médico de familia
La evaluación de la formación médica es un tema que tiene una gran importancia. Ésta debe garantizar que los graduados poseen la capacitación necesaria para desarrollar su actividad profesional y, de este modo, contribuir a la confianza de la población en la calidad de los servicios que recibe1. La evaluación tiene un poderoso impacto educativo ya que determina qué van a estudiar los que aprenden2 y cómo van a hacerlo: su estilo de aprendizaje3. Otro papel esencial de la evaluación es ayudar a los profesionales a mantener una educación relevante a sus necesidades4,5.
Existe un debate sobre la evaluación de la formación del médico de familia que parte de reconocer las insuficiencias del sistema actual. Este debate está condicionado por la existencia de diferentes perspectivas teóricas y por las dificultades reales que limitan el alcance práctico de los procedimientos evaluativos. En nuestro país se han puesto en marcha exámenes clínicos objetivos estructurados (ECOE), y se defiende la necesidad de generalizarlos y consolidar una estructura organizativa capaz de implementarlos con calidad6. A pesar de estos avances, persisten dudas e interrogantes sobre cuál es el sistema de evaluación apropiado y qué métodos y técnicas se deben utilizar. El objetivo de este artículo es repasar estos interrogantes y las alternativas disponibles.
Evaluación de los resultados educativos: la competencia profesional
La evaluación educativa puede tener distintos enfoques y objetivos (tabla 1). Se diferencia entre evaluación del proceso (el programa y su implementación) y de los resultados educativos, que incluyen la reacción del alumno, el aprendizaje (conocimientos, habilidades y actitudes adquiridas), los cambios en la práctica profesional y el impacto de éstos en la salud de la población. A veces la evaluación se centra en la satisfacción del alumno, ya que evaluar otros resultados requiere la inversión de grandes recursos y es difícil encontrar procedimientos válidos y aceptables.
En la educación profesional no es legítimo conformarse con la satisfacción subjetiva, a pesar de que hay autores que lo consideran trascendental7, sino que debemos intentar evaluar el aprendizaje: una evaluación que puede dirigirse a comprobar si se han superado los objetivos mínimos o a determinar el nivel alcanzado (orientado a la excelencia)8. Esta evaluación se puede realizar durante el desarrollo del programa con la finalidad de potenciar el aprendizaje (evaluación formativa) y al final de la experiencia educativa (evaluación sumativa) para otorgar una calificación9. Ambos enfoques son necesarios10.
Cuando se plantea evaluar el aprendizaje debemos partir de cuáles son los objetivos perseguidos. Nuestro objetivo, expresado de forma muy general, sería formar un médico de familia competente. La competencia profesional en medicina presenta una serie de características que dificultan su evaluación (tabla 2), ya que implica un amplia y compleja combinación de diferentes componentes (tabla 3)11, algunos de ellos muy difíciles de evaluar (p. ej., los relacionados con las actitudes y los valores profesionales12), y no está claro que sea factible evaluar la competencia juzgando de forma separada sus componentes13. Por otra parte, la competencia profesional varía según el problema de salud, las características de las personas atendidas y las variables del contexto, rápidamente cambiante, de los servicios de salud.
La competencia es específica para un determinado contenido, por lo que, para obtener estimaciones fiables de la competencia es imprescindible evaluar un gran número de problemas y situaciones. Ser competente en un área no predice la competencia en otra, ni el manejo de un problema clínico predice la actuación en otro, incluso aunque esté relacionado con el anterior14.
Métodos y técnicas de evaluación
Miller definió cuatro niveles de evaluación15. El primer nivel es el conocimiento: datos, principios y teorías; el segundo, el «conocer cómo», se refiere a la habilidad de resolver problemas y analizar procesos; el tercero, el «mostrar cómo», supone la demostración de habilidades en un contexto controlado, y el cuarto implica evaluar el «hacer» en condiciones reales.
Existen muchos métodos y técnicas evaluativas que valoran distintos aspectos y niveles de la competencia profesional (tabla 4). La utilización de un instrumento de evaluación implica tres procesos de inferencia (tabla 5): a) evaluación (juzgar la actuación en la prueba); b) generalización (determinar si el resultado sería el mismo si se repitiera la misma prueba), y c) extrapolación (decidir si el resultado en la prueba predice la actuación en condiciones reales)16, que es una cuestión central. En general, ganar consistencia en la evaluación se consigue a costa de hacer las situaciones y problemas más distantes de la práctica real y, por tanto, dificultando la extrapolación. La generalización depende fundamentalmente del número y el muestreo de situaciones y problemas.
En la educación médica los métodos de evaluación más utilizados son los exámenes, especialmente las pruebas objetivas escritas, el ECOE y la observación de la práctica real, que vamos a analizar con más detalle.
Exámenes
Los exámenes escritos tienen sus aportaciones e incluso las preguntas de elección múltiple (PEM), aunque su popularidad se la deban a su «objetividad» y bajo coste, bien diseñadas, ofrecen gran fiabilidad para medir muchos aspectos del razonamiento clínico pero no se relacionan con la resolución de problemas en la consulta, ni con medidas de competencia globales17. Sin embargo, si se ha encontrado que el resultado de las PEM se correlaciona con la calidad de la práctica posterior18,19.
Aunque para la evaluación del conocimiento y su utilización se han propuesto formatos de preguntas que superan algunos problemas de las PEM20, el problema sigue siendo cómo evaluar el razonamiento clínico en situaciones complejas y ambiguas que se dan con frecuencia en la consulta del médico de familia. Se ha trabajado en esa línea con los que se denominan «ejercicios de triple salto»21.
También se han creado tests capaces de evaluar la capacidad de integrar la información que se obtiene del paciente en función de las hipótesis de trabajo22. Estos tests han demostrado su capacidad de medir la organización del conocimiento y el modo de razonar que los expertos utilizan en la práctica para llevar a cabo una atención clínica eficiente23.
El examen oral estructurado basado en historias24 también ha demostrado su validez potencial en la evaluación de conocimientos y habilidades cognitivas.
Exámenes clínicos objetivos estructurados (ECOE)
Por su actualidad y tradición, es inevitable comentar el ECOE. Este método o formato consiste en estaciones con tareas clínicas concretas que permiten medir las
habilidades clínicas e interpersonales mediante el uso de todo tipo de simulaciones (casos escritos, vídeos, imágenes, pacientes simulados, etc.)25,26. El ECOE tiene diversas limitaciones, entre ellas la de centrarse en habilidades que son sólo un aspecto de la competencia27 o la incapacidad de medir aspectos profesionales decisivos, como son los éticos28. De hecho, no parece que dada la naturaleza del comportamiento profesional, su complejidad y sus múltiples determinantes, el ECOE sea capaz de medir sus aspectos centrales29.
El ECOE mide habilidades clínicas en cortos períodos de tiempo, lo que no es una buena representación de la realidad clínica30. La competencia clínica demanda la integración de las habilidades concretas en función de la definición del problema y la estrategia para manejarlo que han sido seleccionadas31. La fragmentación del proceso clínico y la simplificación del problema que requiere el ECOE impiden este tipo de evaluación. El ECOE tampoco incorpora los elementos contextuales que son tan importantes en la toma de decisiones clínicas32 y está sujeto a problemas derivados del gran número de situaciones que requiere para ser fiable33. Aunque el ECOE puede evaluar de forma integrada las habilidades clínicas y comunicativas, se ha postulado que estas últimas deberían ser evaluadas de forma específica34 y se han hecho propuestas en ese sentido35.
Observación de la práctica
La observación es la forma natural y habitual de evaluación en las rotaciones clínicas. En teoría, la observación del tutor, además de juzgar las habilidades clínicas y comunicativas, sería capaz de recoger aspectos «intangibles» de la competencia, como las actitudes profesionales y las cualidades humanas del evaluado36.
Si bien se ha señalado que la observación puede proporcionar evaluaciones fiables y consistentes37, pocos estudios han medido su validez, y los que lo han hecho, en muchas ocasiones han detectado poca fiabilidad38-40. La estrecha relación que puede existir entre tutor y aprendiz aumenta el potencial de una evaluación válida, pero también los sesgos que puede sufrir. Los tutores pueden estar poco predispuestos a identificar los aspectos negativos en el comportamiento del aprendiz41 y podrían sufrir un efecto «halo», de forma que los componentes más destacados positiva o negativamente afectarían a la evaluación de otros componentes42.
Para superar las limitaciones de la observación del tutor se ha insistido en que ésta sea frecuente y se registre de forma adecuada43, que se definan y se muestren las situaciones a observar y que intervengan varios observadores31. Se necesitan criterios claros basados en comportamientos observables. El uso de criterios claros y definidos y el entrenamiento de los tutores para utilizarlos pueden aportar validez a la observación44. En este sentido, son tan fiables las escalas globales como las que registran conductas específicas concretas45.
Otras propuestas son: a) incluir comentarios descriptivos de comportamientos del sujeto evaluado46, b) realizar sesiones con un experto donde los tutores puedan compartir y clarificar sus percepciones47, y
c) que todo el proceso de evaluación se someta a un sistema de mejora de calidad48.
La perspectiva del tutor podría ser contrastada con los médicos del servicio y otros profesionales y personas en contacto con el residente. Los pacientes pueden ser una fuente de información válida para evaluar la atención humana49. La evaluación de los médicos establecidos por los pacientes, colegas, otros trabajadores sanitarios y ellos mismos (autoevaluación) ha ofrecido resultados prometedores50. También el tutor puede apoyarse en instrumentos como los portafolios51.
A pesar de las aportaciones de estas propuestas, la evaluación subjetiva de la actuación en condiciones reales es difícil que pueda ofrecer calificaciones precisas que permitan comparar unos individuos con otros52. Por ello, para superar las limitaciones de la observación (y también del ECOE), se ha propuesto el análisis de videograbaciones de consultas reales53, que es un método válido fiable y con un coste aceptable54.
Alternativas a la evaluación de la residencia en nuestro país
La utilización de diferentes métodos complementarios es la manera de proporcionar una visión más completa del conocimiento y la conducta del que aprende y ayuda a contrarrestar las inexactitudes y los sesgos de cada procedimiento. Es lo que Martín Zurro ha denominado «diversificación metodológica de la evaluación de la competencia del médico de familia»55.
Si bien existe el peligro de basarse exclusivamente en valoraciones subjetivas, que sufren sesgos y son poco discriminativas56, la pieza central de la evaluación del médico en formación debe ser la observación de su práctica57, ya que otro peligro es que la búsqueda de una supuesta objetividad pueda limitar las dimensiones de la competencia que son evaluadas.
Mediante las estrategias que hemos comentado se puede mejorar la validez y la fiabilidad de la evaluación del tutor y ésta puede ser complementada con la de otras personas en contacto con el residente (p. ej., otros tutores, personal de enfermería, administrativos, etc.). Además, se podría plantear la realización de encuestas y entrevistas a los pacientes. El tutor también puede apoyarse en portafolios, en los resultados de tareas y proyectos prácticos y en auditorías58.
Los exámenes no deben ser desechados, ya que pueden aportar una información útil sobre algunos aspectos de la competencia, especialmente el razonamiento clínico, y permiten hacer comparaciones entre los residentes.
Se ha discutido la posible utilidad del ECOE en la formación del médico de familia59. Este método es dudoso que sea apropiado para evaluar a los residentes con problemas de actitudes profesionales, pero podría ser un componente de la evaluación final de la residencia y, sobre todo, de la evaluación formativa durante ésta60, aunque debe tenerse en cuenta su coste.
La evaluación externa de los residentes debería acompañarse de un esfuerzo para reforzar la autoevaluación, aspecto importante para su futuro aprendizaje. Desafortunadamente, la autoevaluación no es válida ni precisa en sujetos no entrenados61. En cualquier caso, es importante que el sistema de evaluación no se haga a espaldas de los discentes y que éste sea aceptado por éstos como válido y justo62. Si no ocurre así, el sistema está condenado al fracaso o, al menos, se perderá gran parte de su impacto educativo positivo.
Finalmente, debemos recordar que la evaluación del nivel alcanzado por los residentes no es suficiente. Basándose sólo en los resultados no se pueden tomar decisiones sobre un programa63. Es necesario evaluar en qué medida y cómo el currículum está ayudando a los que «aprenden a aprender», para mejorar su diseño, planificación e implementación64, ya que mejorar el programa de la residencia de medicina de familia es el objetivo central que debe tener cualquier sistema de evaluación.
