Nuestro objetivo es validar una mejora del formulario de recogida de la opinión de residentes al evaluar un candidato a tutor.
MétodoTras una evaluación y modificación del formulario original por personal experto, se realizó una validación de la herramienta involucrando a residentes de una unidad docente distinta a la nuestra y utilizando como candidatos a 3 actores. Los evaluadores usaron la herramienta en dos oportunidades para valorar a los mismos candidatos. Se realizó una comparación de medias de evaluaciones entre los 3 perfiles de candidatos y una prueba de error intraobservador.
ResultadosNinguno de los intervalos de confianza de las medias de evaluación de los 3 perfiles se superpusieron en el global de la evaluación ni en ninguna pregunta individual. Todas las medias de evaluaciones fueron distintas en los 3 perfiles de candidatos en escenarios de 1, 2, 3 y 7 residentes por año. El error intraobservador más alto detectado en la prueba de correlación en una de las preguntas no superó el 20%.
ConclusiónLa herramienta propuesta por nuestro equipo para recoger la opinión de los residentes es válida, discriminando correctamente perfiles de candidatos y con una muy aceptable validez intraobservador.
Our aim is to validate an improvement of the questionnaire used to collect the opinion of medical residents about a candidate for tutor.
MethodAfter an evaluation and modification of the original questionnaire by expert personnel, a validation of the tool was performed involving residents of a teaching unit other than ours and using as candidates three trained actors. The evaluators used the tool twice to assess the same candidates. A comparison of assessment means between the three candidate profiles and an intra-observer error test was conducted.
ResultsNone of the confidence intervals of the assessment means of the three profiles overlapped in the overall assessment or in any individual question. All assessment means were different for the three candidate profiles in scenarios of 1, 2, 3 and 7 residents per promotion. The highest intra-observer error detected in the correlation test in one of the questions did not exceed 20%.
ConclusionThe tool proposed by our team to collect residents’ opinion is valid, discriminating correctly candidate profiles and with a very acceptable intra-observer validity.
El papel que juegan los tutores dentro del sistema médico interno residente (MIR) está recogido en instancias oficiales de ámbito nacional e incluye la preparación de la guía formativa, su aplicación a lo largo del periodo de residencia y la evaluación del residente1. Además, está reglamentado en el Boletín Oficial del Estado y depende de la aprobación del cuerpo directivo del hospital correspondiente a propuesta de la Comisión de Docencia (CD)2. Si bien la norma no precisa criterios curriculares para dicho nombramiento, cada hospital ha adaptado sus propias normativas. En la guía de tutores que promociona la Comunidad de Madrid se sugiere cierto perfil curricular, competencias y la inclusión de la opinión del residente en el proceso de nombramiento3.
La actual CD ha observado ciertas oportunidades de mejora en nuestro método de recoger la opinión de nuestros residentes respecto de un candidato a tutor.
Nuestro objetivo es realizar la validación de un formulario de recogida de la opinión del residente desarrollado a partir de nuestro modelo actual.
MétodoSe planificó un estudio de validación interobservador e intraobservador de un instrumento para recoger la opinión de residentes sobre la pertinencia, de un candidato a tutor de residentes, de obtener este nombramiento.
InstrumentoEl instrumento fue una encuesta elaborada por el equipo investigador a partir de un formulario físico utilizado por la Unidad de Docencia de nuestro centro desde el año 2008. El formulario original era una encuesta anonimizada nominalmente, administrada a un grupo concreto de residentes cada vez que un servicio solicitaba el nombramiento de un tutor nuevo. Estaba compuesta por 5 preguntas que se podían responder a través de una escala visual ordinal de 5 categorías. Arbitrariamente cada respuesta puntuaba un número entero del 0 al 4. El resultado de la encuesta era la suma aritmética de los valores atribuidos a cada respuesta (0-20 puntos).
El instrumento que se ha puesto a prueba en el presente estudio parte de la base de dicho formulario respetando el espíritu de las preguntas formuladas originalmente con las siguientes modificaciones: (1) la escala ordinal de 5 categorías fue sustituida por una escala numérica visual de 0 a 10 (11 categorías ordinales); (2) se modificó el texto de introducción y de las preguntas en base a la sugerencia de un antropólogo y un psicólogo, y (3) se adaptó el uso del lenguaje español para usos extrapeninsulares. El detalle del formulario está disponible como material adicional en el anexo.
Se realizaron modificaciones al texto de las preguntas hasta obtener la conformidad de 2 psicólogos independientes (uno en ejercicio en España y otro en Latinoamérica) en términos de no tendenciosidad e idoneidad de la comprensión. Un sociólogo certificó, asimismo, que las preguntas se habían expresado de forma neutral.
Sistema de validaciónSe elaboró un video de 14min de duración con la participación de 3 voluntarios, médicos y con experiencia en la formación de residentes y ejercicio en la docencia. Los voluntarios adoptaron los roles de 3 candidatos a tutor de residentes. Por cada candidato, una voz en off describía aspectos personales y profesionales del candidato y posteriormente, el propio candidato elaboraba una presentación personalizada. El contenido de los discursos siguió el guion conceptual sugerido por el equipo investigador y asesorado por un equipo de psicólogos y sociólogos para generar 3 perfiles distinguibles. Los actores tuvieron la libertad de elaborar sus propios discursos una vez encasillados en los roles propuestos. Los videos fueron editados y ajustados al tiempo establecido de 4min por candidato.
El perfil 1 correspondió a un candidato con gran capacidad docente, iniciativa, interés y dedicación. El perfil 2 correspondió a un candidato interesado, aunque con limitaciones pedagógicas y capacidad de dedicación intermedia. El perfil 3 correspondió a un candidato con gran experiencia asistencial, moderadamente interesado en el nombramiento, con limitaciones en habilidades pedagógicas, escasa disponibilidad de tiempo, con apertura a la innovación, aunque resignado al nombramiento por disposición de sus superiores.
Los videos fueron presentados individualmente a los evaluadores en una presentación sin límite de repeticiones.
EvaluadoresSe reclutaron 39 médicos residentes de un único hospital distinto al nuestro. El equipo investigador se aseguró de que los actores fueran desconocidos al conjunto de los evaluadores. Los médicos evaluadores eran residentes de segundo a cuarto año de los 3 grupos de especialidades MIR. Los investigadores que llevaron a cabo el análisis de concordancia fueron ajenos a la identidad de los residentes quienes procedieron de un hospital distinto.
Una vez que los evaluadores visualizaron los videos, tuvieron acceso al instrumento objeto de validación.
Análisis de concordancia interobservadorPara el presente estudio no se determinó ningún patrón oro. La estrategia de validación se definió por medio de un estudio de comparación de dispersiones.
Para esos efectos, se consideraron las valoraciones realizadas por los 39 residentes. Cada residente rellenó 3 formularios, uno por cada candidato a tutor. En cada formulario, cada residente evaluó al candidato en 5 escalas distintas, una por cada pregunta incluida en el formulario a validar (anexo).
Se calcularon las medias y desviaciones estándar (DE) de cada una de las 5 respuestas de los 39 evaluadores para cada uno de los 3 perfiles de candidatos.
Mediante un algoritmo matemático se estableció que, para un escenario de un solo residente por año, es decir, 3 residentes evaluadores para una especialidad de 4años, se podrían alcanzar hasta 9.134 posibles combinaciones partiendo de los 39 evaluadores incluidos en el estudio. Se utilizó esta referencia para realizar 3 experimentos aleatorizando el mismo número de combinaciones para escenarios con 2, 3 y 7 residentes por año (6, 9 y 21 residentes en total, respectivamente). En todos los casos se asumen especialidades de 4años y se excluye al residente de primer año.
Cada evaluador emitió una valoración a cada uno de los 3 escenarios planteados. Cada valoración contuvo 5 evaluaciones. Por lo tanto, cada uno de los 39 evaluadores emitió 15 evaluaciones, totalizando 585.
La valoración de los 39 evaluadores se promedió por cada uno de los 3 escenarios planteados, obteniéndose una media, desviación estándar y el correspondiente intervalo de confianza para un error alfa de 0,05. Para el análisis estadístico se compararon las 5 valoraciones de cada escenario de forma global mediante la prueba t de Student para datos relacionados (un mismo evaluador para 3 escenarios distintos).
Análisis de concordancia intraobservadorA todos los evaluadores se les pidió valorar nuevamente los 3 escenarios propuestos, al menos una semana después del primer experimento.
Para cada evaluador se estableció una desviación porcentual de sus valoraciones originales asumiendo las mismas categorías del índice kappa de concordancia clásicos como puntos de referencia.
ResultadosLos 39 voluntarios participaron en la primera valoración y 33 en la segunda, al menos 7días después de la primera.
La media de edad y desviación estándar de los 39 voluntarios fue de 28,1±1,9años. Veinte fueron residentes de especialidades médicas (7 de Medicina Familiar y Comunitaria), 10 de especialidades quirúrgicas y 9 de especialidades de servicios centrales.
La media y desviación estándar de puntuaciones para los perfiles 1, 2 y 3 fueron respectivamente 8,32±1,28, 6,46±1,31 y 3,53±1,36, respectivamente. Entre las 3 medias no hubo superposición de intervalos de confianza y las 3 guardaron diferencias estadísticamente significativas (p<0,0001). Las valoraciones individuales, medias y sus desviaciones estándar se resumen en la tabla 1.
Resultados globales de la primera valoración
| Valoración del formulario | Escenarios de tutores evaluados | |||||
|---|---|---|---|---|---|---|
| Perfil 1 | Perfil 2 | Perfil 3 | ||||
| Media±DE | IC | Media±DE | IC | Media±DE | IC | |
| Pregunta 1 | 8,72±1,15 | 8,36-9,08 | 6,79±1,36 | 6,37-7,22 | 3,72±1,43 | 3,27-4,17 |
| Pregunta 2 | 8,31±1,17 | 7,94-8,68 | 6,18±1,14 | 5,82-6,54 | 3,90±1,45 | 3,44-4,35 |
| Pregunta 3 | 8,33±1,36 | 7,91-8,76 | 6,41±1,39 | 5,97-6,85 | 3,13±1,30 | 2,72-3,54 |
| Pregunta 4 | 8,08±1,33 | 7,66-8,49 | 6,67±1,26 | 6,27-7,06 | 3,97±1,33 | 3,56-4,39 |
| Pregunta 5 | 8,15±1,39 | 7,72-8,59 | 6,26±1,41 | 5,81-6,70 | 2,95±130 | 2,54-3,36 |
| Media de toda la valoración | 8,32±1,28 | 7,92-8,72 | 6,46±1,31 | 6,05-6,87 | 3,53±1,36 | 3,11-3,96 |
Se evalúan mediante 5 preguntas (valoraciones) cada uno de los 3 escenarios propuestos de candidatos a tutor de residentes (perfiles).
DE: desviación estándar; IC: Intervalo de confianza; error alfa=0,05.
En el experimento de aleatorización de combinaciones de resultados en escenarios con 2, 3 y 7 residentes por año, la media de evaluaciones del perfil 1 fue de 8,22, 8,19 y 8,12, respectivamente. En el perfil 3 las evaluaciones fueron 3,78, 3,87 y 4,35, respectivamente. En todos los casos las valoraciones tuvieron diferencias estadísticamente significativas. La tabla 2 resume todos los resultados del experimento de combinaciones asumiendo distintos números de residentes por año.
Resultados del experimento asumiendo distintos números de residentes por año
| Escenario de evaluadores | Escenario de candidatos | Valor p | |||
|---|---|---|---|---|---|
| Perfil 1 | Perfil 2 | Perfil 3 | P1-P2 | P2-P3 | |
| 1 residente/año3 evaluadores | 8,32±1,28 | 6,46±1,31 | 3,53±1,36 | 0,0001 | 0,0001 |
| 2 residentes/año6 evaluadores | 8,22±1,39 | 6,37±1,69 | 3,78±1,98 | 0,0001 | 0,0001 |
| 3 residentes/año9 evaluadores | 8,19±1,99 | 6,32±2,06 | 3,87±2,12 | 0,0001 | 0,0001 |
| 7 residentes/año21 evaluadores | 8,12±2,15 | 6,33±2,45 | 4,35±3,05 | 0,001 | 0,0023 |
Utilizando un universo de 39 evaluadores se calculó el número de combinaciones posibles de un residente por año (3 residentes en total). El total fue 9.134 posibles combinaciones. Se aleatorizaron el mismo número de combinaciones posibles para escenarios con 2, 3 y 7 residentes por año. Los resultados para cada perfil de candidato corresponden a las medias±desviación estándar de las 9.134 combinaciones.
P1, P2 y P3: perfiles 1, 2 y 3, respectivamente.
En la segunda evaluación, 33 evaluadores respondieron al formulario tras revisar nuevamente las videopresentaciones. La media de los valores de 1-coeficiente kappa para cada una de las 5 valoraciones de los 3 perfiles distintos fue respectivamente 11,1, 6,7 y 18,4%. En el perfil 1, todos los cambios fueron reducciones de la valoración original, mientras que en los perfiles 2 y 3 los cambios fueron incrementos de la valoración original. Todos los índices kappa superaron el 80% de concordancia con excepción de la primera valoración para el perfil 3, que tuvo un 77,7% (tabla 3).
Resultados del estudio de concordancia
| Escenario de evaluadores | Escenario de candidatos | Valor 1-kappa | ||||
|---|---|---|---|---|---|---|
| Perfil 1 | Perfil 2 | Perfil 3 | P1 | P2 | P3 | |
| Pregunta 1 | ||||||
| Previa | 8,72±1,15 | 6,79±1,36 | 3,72±1,43 | 13,4% | 2,9% | 22,3% |
| Post | 7,55±1,23 | 6,99±1,44 | 4,55±1,66 | |||
| Pregunta 2 | ||||||
| Previa | 8,31±1,17 | 6,18±1,14 | 3,90±1,45 | 16,5% | 8,4% | 19,2% |
| Post | 6,94±1,04 | 6,70±1,80 | 4,65±1,56 | |||
| Pregunta 3 | ||||||
| Previa | 8,33±1,36 | 6,41±1,39 | 3,13±1,30 | 9,2% | 5,6% | 17,3% |
| Post | 7,56±1,46 | 6,77±1,65 | 3,67±1,88 | |||
| Pregunta 4 | ||||||
| Previa | 8,08±1,33 | 6,67±1,26 | 3,97±1,33 | 10,3% | 10% | 13,9% |
| Post | 7,25±1,35 | 7,34±1,39 | 4,52±1,45 | |||
| Pregunta 5 | ||||||
| Previa | 8,15±1,39 | 6,26±1,41 | 2,95±1,30 | 6,3% | 6,4% | 19,3% |
| Post | 7,64±1,54 | 6,66±1,33 | 3,52±1,65 | |||
P1, P2 y P3 corresponden a la inconcordancia (1-kappa) entre las valoraciones previa y post de los perfiles 1, 2 y 3, respectivamente.
La inclusión de la opinión de los residentes en el nombramiento de tutores no está explícitamente sugerida en la normativa vigente pero sí que se recoge como una valoración deseable, junto con la del currículum del candidato, en distintas recomendaciones generales locales y nacionales1–4.
Nuestro instrumento ha demostrado la capacidad de discernir entre candidatos cuyos roles fueron diseñados arbitrariamente por los investigadores con la asesoría de un equipo de expertos. Las mejoras aplicadas fueron rectificaciones en el tenor del lenguaje para favorecer la neutralidad y la conversión de una escala de medición ordinal a una numérica discreta susceptible de análisis mediante estadísticos convencionales. Los contenidos de la herramienta original y del formulario actualizado fueron elaborados por una CD previa con arreglo a las características que siguen siendo reconocidas por estudios independientes basados en la opinión de residentes5,6 y por estudios para determinar aspectos de mejora de la tutorización en términos de actitud y disponibilidad7, destrezas en comunicación y actitud docente8 y destrezas técnicas9–11.
En consecuencia y a la luz de nuestros resultados, creemos que nuestra herramienta es capaz de recoger apropiadamente la opinión de los residentes, discernir entre diferentes tipos de candidatos manteniendo un aceptable error inter- e intraobservador y funcionando en escenarios con distintos números de residentes.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
