Introducción
Tras la elaboración, por parte de la Comisión Nacional de Medicina de Familia (CNMF), de un nuevo Programa Oficial de la Especialidad (POE) en el año 20041, desde la propia CNMF se planteó la necesidad de desarrollar un sistema de evaluación eficiente y acorde con los contenidos y la filosofía docente del nuevo POE. Así, bajo su auspicio, en marzo de 2004 se constituyó un grupo de trabajo compuesto por docentes ligados a diferentes unidades docentes de medicina de familia del país con el fin de elaborar un sistema de evaluación formativa, que culminó con una propuesta de un nuevo Libro del Especialista en Medicina de Familia en Formación* (LEF; creado ya por la Orden de 22 de junio de 1995)2 y cuya principal característica era la de incorporar una metodología de evaluación formativa tipo portafolio. Esta propuesta recogía los aspectos comunes de otras que definen la metodología portafolio3-6 y que puede concretarse en una recopilación de información y documentación en la que es posible encontrar pruebas, a través de la realización de una serie de tareas indicadas, que reflejan que un proceso de aprendizaje ha sido realizado y el grado en el que se han alcanzado los objetivos docentes previstos y, en la medida en la que introduce la reflexión sobre la actuación, aspira a representar un registro dinámico del crecimiento y cambio profesional4. Su finalidad es, pues, guiar la formación del residente hacia la competencia y la madurez profesional. De esta manera, el modelo de portafolio presentado puede catalogarse como «semiestructurado» o, siguiendo la clasificación de Webb et al7, del tipo «columna vertebral», ya que ofrece al residente una orientación sobre las competencias que debe dominar, en la mayoría de los casos indicaciones sobre el modo de valorarlas (indicadores operativos) y sugerencias sobre el material más idóneo que debe aportar en cada caso (las tareas a realizar). Esto marca diferencias con otros formatos de portafolios más libres3, rígidos (estructurados) o tipo logbook5,8.
La enorme innovación que este tipo de herramienta docente-evaluativa supone sobre el actual sistema de evaluación de residentes imperante en nuestro país9, unido principalmente a factores como la falta de pruebas científicas directas de su efectividad (aunque tengan una gran coherencia lógica con las diferentes teorías de educación de adultos10), justifica que cualquier propuesta en este sentido, y máxime si tiene un carácter oficial, deba ser tomada con precaución y adecuadamente pilotada, teniendo en cuenta los condicionantes del nuevo ámbito. Éste es el objetivo principal de este estudio.
Métodos
Participaron 28 tutores y 36 residentes (28 de tercer año y 8 de primero).
Las hojas de recogida de información procedente de los tutores fueron los modelos del LEF donde éstos valoran la calidad, la adecuación y el alcance de la autorreflexión y la tarea que hacen los residentes sobre las diferentes áreas competenciales (tabla 1). La opinión del residente fue recogida mediante un cuestionario de 12 preguntas cerradas sobre diferentes facetas del trabajo realizado por éste con la metodología portafolio y de la labor de supervisión y orientación del tutor (tabla 2). Las preguntas del cuestionario se obtuvieron de la literatura científica y de los temas que emergieron de las propias opiniones de los tutores recogidas en varios grupos de discusión.
El estudio se realizó durante un año. Inicialmente se llevaron a cabo talleres con tutores en los que se presentaron y discutieron los conceptos teóricos del aprendizaje de adultos y del modelo de portafolio propuesto, y se llevaron a la práctica supuestos prácticos. Igualmente, se ensayaron formas de tutorización mediante el uso de portafolio que facilitaran su implementación al residente y que promoviera en él un aprendizaje reflexivo.
El formato de portafolio sugerido por la CNMF se caracteriza por ser un documento en soporte papel y electrónico, semiestructurado en función de las diferentes áreas competenciales del POE, y en el que se priorizan competencias que se deben trabajar a lo largo de la residencia, a la vez que se facilitan indicadores para la evaluación del grado en el que se alcanzan dichas competencias y se indica una gama de tareas como material de análisis y un modelo estructurado para realizar la reflexión, en el que se invita al residente a detectar sus puntos fuertes y áreas de mejora, así como, en función de éstas, a planificar su formación. Todo este proceso debe de estar bajo la supervisión y el apoyo del tutor.
La recogida de información tuvo lugar a lo largo de 9 meses con los residentes y sus respectivos tutores. Dado el carácter de pilotaje del proyecto, se aconsejó que preferiblemente los participantes trabajasen algunas áreas competenciales concretas y, como mínimo, hicieran uso del modelo de portafolio al menos una vez en cada área trabajada. Los objetivos del estudio sólo precisaron un análisis estadístico univariable y de distribución de frecuencias.
Resultados
Resultados de los residentes
Se recibieron encuestas de 33 residentes (25 de tercer año y 8 de primero). En la figura 1 se exponen las competencias trabajadas, entre las que destacan las 4 promocionadas desde la unidad docente, especialmente comunicación, docencia y ética. En la figura 2 se detallan las diferentes tareas utilizadas, entre ellas, la sesión clínica, el incidente crítico y la videograbación como las más frecuentemente usadas, lo que concuerda con el tipo de competencia trabajada. Un 72% de los residentes (n = 23) declaró que rellenó el informe de reflexión en todos sus apartados, mientras que un 15% (n = 5) no lo rellenó. La implicación del tutor fue calificada como «suficiente» por 17 residentes (53%), mientras que 13 (41%) consideraron que la ayuda había sido mucha. Respecto al tipo de ayuda proporcionada por el tutor, ésta se distribuyó muy uniformemente entre la ayuda en la selección del problema tratado (72%), el feedback sobre la tarea realizada (67%), la planificación y facilitación de la formación necesaria derivada de su actividad de reflexión (64%), la orientación global sobre las diferentes partes del proceso (60%) y el feedback sobre el propio informe de reflexión (54%). A la mitad de los residentes (48%), el proceso en su conjunto (selección de la tarea, realización del informe de reflexión y feedback sobre éste, así como planificación de nuevas actuaciones docentes) les llevó entre una semana y un mes, sólo un 33% lo completó en una semana o menos, y hasta un 18% tardó más de un mes. La mayoría de los residentes (90%) consultó los documentos facilitados para la elaboración del proceso (el LEF). En relación con la frecuencia con la que habitualmente tutor y residente mantenían comentarios docentes a propósito de algún caso o incidente docente antes de utilizar el método portafolio, un 78% (n = 25) de los residentes comentó que lo hacían con relativa frecuencia y cuando surgía un problema en la consulta, mientras que sólo un 12% (n = 4) afirmaba tener encuentros programados con el tutor con fines docentes. En la tabla 1 se detalla el grado de acuerdo de los residentes sobre algunas de las principales ventajas, inconvenientes y comentarios del nuevo LEF.
FIGURA 1 Competencias trabajadas por los residentes con metodología portafolio.
FIGURA 2 Tareas trabajadas por los residentes para documentar la competencia.
Resultados de los tutores
Participaron 28 tutores: 19 hicieron comentarios cualitativos y 21 entregaron un total de 67 informes de evaluación (media de 3 informes por tutor). Los resultados sobre el área competencial trabajada y la tarea aportada fueron superponibles a los declarados por los residentes. Los informes de reflexión presentados por los residentes a sus tutores en su mayoría presentaban más de 2 aspectos reconocidos como satisfactoriamente trabajados (n = 38; 57%). Respecto a los mejorables, la mayoría presentaba 2 o menos (n = 39; 58%), y en cuanto a la planificación del aprendizaje, en su mayoría se proponía al menos alguna acción concreta (n = 38; 58%) y en un 15% no se propuso ninguna acción concreta.
Discusión
Este trabajo presenta la primera experiencia en nuestro país del uso del LEF en su modalidad de portafolio semiestructurado aplicada al ámbito al que este instrumento va dirigido. Aunque se ha comunicado una experiencia previa de utilización experimental de una herramienta tipo portafolio, ésta es muy diferente de la aquí pilotada11. Atendiendo tanto al número de residentes y tutores que han participado como al número y la variedad de las competencias trabajadas y las tareas presentadas, podemos considerar el presente pilotaje como adecuado para sus fines, y sus resultados, válidos para ser extrapolables a otros ámbitos similares y para ser inspiración de modificaciones futuras en el LEF, motivo principal de su puesta en práctica. Globalmente, podemos afirmar que la propuesta ensayada ha sido bastante bien recibida y calificada, tanto por los residentes, a los que va principalmente dirigida, como por sus tutores. Los resultados muestran altos porcentajes de acuerdo en la mayoría de los aspectos resaltados. Sin embargo, no tenemos datos sobre 7 tutores que no aportaron información. Los objetivos principales que desde la CNMF se pretenden alcanzar con la instauración de este LEF son: disponer de una metodología que sea aplicable en las circunstancias reales y que sirva a los residentes en su evaluación formativa, así como promover la reflexión sobre las actuaciones prácticas que le son propias y fortalecer la relación tutorial. Respecto al papel del portafolio para un aprendizaje reflexivo, casi uno de cada 10 residentes tiene la impresión de que mejora el proceso de reflexión. Basándose sobre todo en la idoneidad de este método y las teorías educativas de adultos12, pero también en las impresiones de otros que los han utilizado, ésta sería una de las misiones más importantes del portafolio4,5,13,14. Sin embargo, para que esto tenga lugar distintos estudios muestran que se debe dar una serie de condicionantes que, en gran medida, también reconocen nuestros participantes, y entre los que se encuentran la importancia de la relación tutor-residente, de que los tutores estén adecuadamente entrenados6,14-18, o la necesidad de planificar de manera cuidadosa su introducción6,18. En lo que respecta a esto último, Challis6 señala que la aceptabilidad de una metodología de este tipo puede depender de ello. Otros autores14,17,19 también han señalado que esta planificación debería incluir una definición previa de los objetivos que se pretende alcanzar y del papel que se espera que desempeñe cada uno, aspectos estos que deberían pues ser tenidos en cuenta a la hora de implementarse en nuestro medio. La aceptabilidad dependería también del formato físico y de que éste tenga una estructura clara y amigable6,18,19. De esta manera, una introducción a gran escala, poco cuidada y con un formato poco adaptado podría ser un fiasco, incluso con supervisión. En este sentido, y al igual que los tutores y residentes de los estudios de Dundee15,16, nuestros residentes son partidarios de simplificar al máximo, y especialmente susceptible a ello puede ser el formato para la autorreflexión. Las modificaciones en este sentido pueden ser importantes, ya que las habilidades para escribir no suelen ser buenas en todos los residentes y, además, se ha demostrado una correlación positiva entre estas habilidades y una valoración del portafolio positiva20.
Un aspecto importante en nuestro ámbito es el hecho de que sólo un 12% de las parejas docentes planificaba espacios de tutorización específicos antes de la introducción del portafolio, algo que sin duda debe modificarse al introducir esta nueva metodología. Esta necesidad es observada por muchos como algo positivo; sin embargo, el portafolio es considerado como una sobrecarga adicional importante en el trabajo diario, lo cual también ha sido señalado por otros estudios como una razón en contra de su uso16,21.
La validez o profundidad del proceso de reflexión se pierde a medida que transcurre más tiempo entre ésta y la experiencia objeto de reflexión18. Sólo un tercio de los residentes la realizó dentro de la primera semana tras la experiencia, lo que supondría una reflexión limitada. Por tanto, es deseable que la reflexión escrita se realice inmediatamente tras la experiencia docente. Otro aspecto que algún estudio17 ha resaltado como importante a la hora de valorar la utilidad de un portafolio es que los que lo usen dispongan de una suficiente variedad de experiencias, lo que llama la atención sobre la importancia de una delegación incipiente y responsable de actividades del tutor al residente. En nuestro estudio, la media de actividades realizadas fue de 3 por pareja. Así, es probable que con este número muchos residentes y tutores no hayan captado las auténticas potencialidades y limitaciones del método.
Por otra parte, los residentes fueron casi unánimes a la hora de considerar que este método no debe ser utilizado para la evaluación sumativa. Es cierto que las auténticas potencialidades formativas del portafolio pueden verse seriamente alteradas al transformarlo en una herramienta de evaluación para la certificación. La estandarización que ello requiere, con el objeto de obtener índices de fiabilidad aceptables, disminuye su autenticidad y personalización5,13, a la vez que induce sesgos conscientes en los informes de reflexión y en la elección del material4,13.
Finalmente, consideramos que este pilotaje parece poner de manifiesto que el nuevo LEF, en su versión actual o con algunas modificaciones, puede ser una herramienta útil para la evaluación formativa de los residentes y, probablemente, bien aceptada por ellos, sus auténticos protagonistas.
Agradecimientos
A todos los residentes que han participado en este pilotaje. A Mati Ezquerra y a Verónica Casado.
Lo conocido sobre el tema
• La metodología portafolio aparenta ser útil para la evaluación formativa de los profesionales de la salud.
• Debe contemplarse una serie de requisitos para que su aplicación práctica sea efectiva, tanto en el grado como en el posgrado.
• Se está planteando la aplicación oficial de este tipo de evaluación formativa para residentes de medicina de familia en España.
Qué aporta este estudio
• A juicio de los residentes, el nuevo libro del especialista en formación, en su formato portafolio semiestructurado, puede ser una herramienta de evaluación formativa útil en nuestro medio.
• En la práctica, los residentes son capaces de llevar a cabo las tareas y las autorreflexiones sobre su competencia en un grado aceptable.
Propuesto por la Comisión Nacional de la Especialidad de Medicina de Familia como Guía de Práctica Reflexiva.
*Finalmente la CNE envió en abril de 2007 a todas las Unidades Docentes de Medicina de Familia del país la propuesta a cuyo pilotaje se refiere este artículo, bajo la denominación de «Guía de práctica Reflexiva» y como «documento de recomendación».
Correspondencia:
R. Ruiz Moral.
Unidad Docente de Medicina de Familia de Córdoba.
Blanco Soler, 4. 14004 Córdoba. España.
Correo electrónico: roger.ruiz.sspa@juntadeandalucia.es
Manuscrito recibido el 18-12-2006.
Manuscrito aceptado para su publicación el 21-3-2007.
