Validez de constructo y confiabilidad del ROTA-Q para la evaluación de la calidad académica de las rotaciones clínicas en estudiantes de medicina

Resumen

Introducción

La disponibilidad de instrumentos para la evaluación de la calidad académica de las rotaciones clínicas para estudiantes de medicina en idioma español es limitada. El objetivo de este estudio fue determinar la validez de constructo y la consistencia interna de un instrumento diseñado para tal propósito.

Métodos

El instrumento ROTA-Q fue desarrollado tras una revisión de la literatura y la evaluación realizada por un panel de expertos para determinar su validez de contenido. Posteriormente fue administrado de forma consecutiva a 453 estudiantes de medicina. Sobre las primeras 253 observaciones se realizó un análisis factorial exploratorio (AFE) con rotación oblicua, y posteriormente, en las 200 restantes, un análisis factorial confirmatorio (AFC). La confiabilidad del instrumento fue determinada con el α de Cronbach.

Resultados

La solución factorial tras el AFE permitió identificar 3 factores denominados: «estructura de la rotación», «interacción en el ambiente de aprendizaje» y «enseñanza de habilidades clínicas». El AFC demostró una adecuada bondad de ajuste con los datos empíricos. El α de Cronbach del ROTA-Q fue de 0,95.

Conclusiones

El ROTA-Q es un instrumento válido y confiable para la evaluación de la calidad de las rotaciones clínicas. Se requieren nuevos estudios que evalúen su rendimiento en otros contextos, así como correlaciones entre los resultados del ROTA-Q con medidas de desempeño estudiantil.

Abstract

Introduction

The availability of instruments for the evaluation of academic quality of clinical clerkships for undergraduates in Spanish language is limited. The aim of this study was to determine the construct validity and the internal consistency an instrument designed for this purpose.

Methods

The ROTA-Q instrument was developed following a literature review and the evaluation of an expert panel to assess its content validity. Subsequently, the ROTA-Q was administered to 453 medical students. An exploratory factor analysis (EFA), with oblique rotation, was conducted on the first 253 observations. Next, a confirmatory factor analysis (CFA) was performed on the remaining 200 observations. The reliability was determined by using the Cronbach α.

Results

The factorial solution during the EFA identified three factors named: ‘structure of rotation’, ‘interaction in the learning environment’ and ‘teaching of clinical skills’. The CFA demonstrated adequate goodness of fit against the empirical data. The Cronbach α for ROTA-Q was .95.

Conclusions

The ROTA-Q is a valid and reliable instrument for the evaluation of the quality of clinical clerkships in undergraduates. Further studies are necessary to assess the ROTA-Q performance in other contexts, as well as to correlate the ROTA-Q scores with the student's performance.

Introducción

A pesar de existir una necesidad real de evaluar la calidad académica de una rotación clínica en la carrera de medicina, pocos estudios se concentran en instrumentos para este propósito. Los estudios disponibles ofrecen diferentes perspectivas sobre aspectos relacionados con la organización, los procesos de enseñanza-aprendizaje, el clima de aprendizaje y la calidad de la supervisión clínica, entre otros^1-4. Sin embargo, estos instrumentos tienen algunas debilidades que limitan su generalizabilidad y uso. Principalmente, se relacionan con la medición simultánea de la calidad de las clases y el encuentro clínico¹, la evaluación de múltiples dominios de forma genérica para estudiantes de medicina, residentes y fellows², y la evaluación centrada en aspectos comportamentales y en los relacionados exclusivamente con la supervisión clínica, omitiendo otros aspectos que pueden tener relación con la calidad académica^3,4. Por otra parte, otras evaluaciones se han realizado mediante la aplicación de instrumentos que miden el clima de aprendizaje en escenarios centrados en el ambiente universitario (por ejemplo, mediante el cuestionario DREEM)^5,6. La dificultad que trae esta última forma de evaluación es que conlleva sesgos cuando se pretenden evaluar escenarios clínicos, que por su naturaleza difieren de escenarios universitarios, con instrumentos que no están diseñados para tal propósito. En idioma español la situación es aún más problemática, pues no existen traducciones y validaciones psicométricas de los instrumentos disponibles, ni tampoco se dispone de instrumentos originales. Algunos estudios aportan información para la evaluación de la calidad del desempeño de los profesores clínicos, otros han adaptado instrumentos de evaluación de la calidad de la educación superior, cuyo alcance está por fuera del ámbito de la educación médica, y otros se han concentrado en la evaluación del impacto global de la competencia clínica de los estudiantes^7,8. El problema resultante es que la falta de herramientas de medición predice pobres resultados de calidad, tanto para el individuo como para las instituciones. Este es a la vez causa y consecuencia de la cultura de evaluación de la calidad en educación médica la cual necesita perfeccionarse en diferentes niveles, desde los departamentos clínicos hasta el nacional y regional. Este tipo de evaluaciones son importantes, porque en el escenario clínico es donde se desarrolla una buena parte de la identidad profesional del futuro médico⁹, especialmente si el diseño instruccional involucra rotaciones longitudinales integradas, y exposición al paciente y comunidades desde una etapa temprana de la carrera.

En el marco de un sistema institucional para la monitorización global de la calidad de la educación médica en la Universidad de la Sabana (Colombia), se desarrolló un instrumento específico para la medición de la calidad académica de las rotaciones clínicas para estudiantes de medicina (ROTA-Q), con el fin de responder a la necesidad local de evaluación y también a la falta de instrumentos validados en idioma español. El ROTA-Q partió además de la importancia de integrar y complementar las diferentes perspectivas que involucran los instrumentos desarrollados, a la luz de las prácticas participativas de los estudiantes de medicina en el lugar del trabajo. Por esta razón decidimos no traducir y validar psicométricamente ningún instrumento en particular, pues creemos que estos pueden ser complementarios entre sí. Preferimos discutir un amplio espectro de circunstancias que están relacionadas con la calidad de una rotación clínica en Colombia, y que podrían llegar a ser similares en otros países, centrándonos exclusivamente en los aspectos académicos. El objetivo de este estudio fue determinar la validez de constructo y la consistencia interna del ROTA-Q.

Población y métodos

Desarrollo del ROTA-Q y validación de contenido

Esta fase incluyó una búsqueda y revisión de la literatura sobre los instrumentos disponibles para la evaluación de la calidad de las rotaciones clínicas para estudiantes de medicina, y su evaluación posterior por un panel de expertos de la Comisión de Educación Médica de la Universidad de la Sabana (Colombia), que además aprobó los aspectos éticos del estudio. Este proceso se realizó durante el primer semestre de 2013. Inicialmente se realizó una búsqueda bibliográfica en las bases de datos Medline, Scopus, Cochrane, CINAHL, ERIC, LILACS y Scielo, con el fin de identificar estudios originales y revisiones de la literatura, publicados en idioma inglés o español, entre enero de 2000 y diciembre de 2012, mediante la combinación de las siguientes palabras clave: «quality», «evaluation», «effectiveness», «clinical teaching», «clinical rotation», «clinical clerkship» «undergraduates», «medical students», «perceptions», «instruments», «questionnaire», «survey», «inventory». La búsqueda se extendió en cada artículo relevante utilizando operadores booleanos y referencias cruzadas para identificar otros artículos. El resultado permitió identificar 4 estudios en inglés, que incluían instrumentos de evaluación^1-4. Estos estudios fueron revisados por el panel (conformado por profesores de cirugía, ginecología, pediatría, medicina interna, neurología, psiquiatría y medicina familiar y comunitaria). Una primera conclusión de esta revisión fue que los instrumentos aportaban información complementaria para la evaluación de un amplio rango de aspectos relacionados con la calidad académica, incluyendo elementos organizacionales, interacción médico-paciente, retroalimentación, enseñanza y aprendizaje de habilidades clínicas, trabajo en equipo, autodeterminación y autoeficacia, y efectividad de la supervisión clínica, entre otros. Una segunda observación fue que todos los estudios carecían de ítems para evaluar el sentido racional en la utilización de los recursos (disponibilidad, costo-efectividad, eficiencia). Finalmente, encontramos que algunos de estos instrumentos agrupaban un amplio rango de ítems de forma uniforme para estudiantes y residentes, y que variaban según los diferentes tipos de especialidades médicas, los cuales podrían sesgar la evaluación global del estudiante de pregrado. Este proceso de revisión llevó al panel a seleccionar algunos ítems de los cuestionarios desarrollados, y a incluir otros nuevos, dando origen a un instrumento compuesto por 19 preguntas, calificado mediante una escala de Likert de 5 puntos (0: totalmente en desacuerdo; 5: totalmente de acuerdo). Para evaluar la conveniencia de los ítems sobre el constructo de interés y establecer su validez de contenido, el instrumento fue nuevamente revisado por el grupo de expertos y por los investigadores principales. Una vez realizada la prueba piloto, la versión obtenida fue administrada a estudiantes de medicina al finalizar su rotación clínica por cirugía durante el cuarto año de carrera. La recolección de información se llevó a cabo entre agosto de 2013 y diciembre de 2016. Se invitó a participar a 467 estudiantes de medicina al finalizar su rotación clínica por cirugía. La participación de los estudiantes fue voluntaria, confidencial y anónima.

Métodos estadísticos

Validez de constructo y confiabilidad del ROTA-Q

Inicialmente se calcularon las estadísticas descriptivas para cada ítem del ROTA-Q (medias, desviaciones estándar e intervalos de confianza al 95%), así como las correlaciones totales inter-ítem (satisfactorias si > 0,40). Para evaluar la validez de constructo del instrumento se realizó un análisis factorial exploratorio (AFE) sobre las respuestas de los 19 ítems incluidos en el cuestionario. El AFE se realizó sobre las primeras 253 observaciones muestrales. La adecuación de la muestra para este análisis fue evaluada mediante la prueba de Kaiser-Meyer-Olkin (KMO) (satisfactorio si > 0,80)¹⁰. Para extraer los factores se utilizó inicialmente el método de máxima verosimilitud (MV), el cual permitió obtener los valores propios de cada factor (eigenvalues) y la proporción ocupada de la varianza por cada uno de ellos, así como las cargas factoriales y varianzas únicas de los ítems. De acuerdo a la literatura, la retención del número de factores se estableció a partir de la combinación de los siguientes criterios: 1) criterio de valor propio > 1 (eigenvalue-1); 2) criterio de inspección visual de los valores propios en un gráfico de sedimentación (screeplot) para identificar el punto de inflexión o ruptura entre los factores con significativo valor propio y los no significativos; y 3) criterio de interpretación, mediante el cual si los ítems agrupados en un factor cobran sentido lógico y coherente para el investigador estos deben ser retenidos^10,11. Una vez establecido el número de factores a retener, se realizó una rotación oblicua (promax). Esta rotación permitió identificar si los constructos resultantes del AFE estuvieron correlacionados apropiadamente con los datos empíricos obtenidos del ROTA-Q. El criterio propuesto para identificar la saturación de un ítem por cada factor en la matriz de rotación, y luego asignarlo al mismo fue > ± 0,30¹⁰. Finalmente, la consistencia interna del instrumento se determinó con el α de Cronbach (satisfactorio si > 0,70)¹².

Posteriormente, se realizó un análisis factorial confirmatorio (AFC) para poner a prueba la estructura factorial y su ajuste a los datos en una muestra compuesta por las 200 observaciones restantes. Para este fin se calcularon previamente las correlaciones inter-factoriales (satisfactorias si < 0,70)¹³. La bondad de ajuste se determinó con base en los siguientes índices: SMRS (standardized root mean square residual), RMSA (root mean square error of approximation), CFI (comparative fit index) y TLI (Tucker-Lewis index). Los puntos de corte para los índices fueron: SMRS p < 0,08 (buen ajuste) y < 0,12 (aceptable ajuste), RMSA < 0,06 (buen ajuste) y < 0,10 (aceptable ajuste), CFI y TLI > 0,95 (buen ajuste) y > 0,90 (aceptable ajuste)¹⁴. El análisis estadístico se realizó con el programa Stata 14 (Stata Corp., EE. UU.).

Resultados

En total participaron 453 estudiantes, de una población de 467 estudiantes (tasa de respuesta del 97%), quienes evaluaron 7 escenarios de práctica. El 63% de los participantes fueron del género femenino. La edad promedio de los participantes fue de 21,2 ± 1,49 años.

Estadísticas descriptivas

Las estadísticas descriptivas para cada ítem se encuentran en la tabla 1. En general, la mayoría de las correlaciones entre los ítems fueron satisfactorias (> 0,40) y variaron desde 0,20 (ítem 19 versus ítem 9) a 0,74 (ítem 13 versus ítem 11) (anexo).

Tabla 1.

Estadísticas descriptivas de los ítems del ROTA-Q (n = 453)

Ítem	Descripción	Factor	Media	DE	IC 95%
Ítem 1	Se establece un buen entorno de aprendizaje para el estudiante	2	3,90	1	3,75-3,99
Ítem 2	Se estimula en el estudiante el aprendizaje independiente	1	3,83	0,92	3,70-3,91
Ítem 3	Se organiza el tiempo para permitir que la enseñanza tenga un espacio protegido en medio de las actividades asistenciales	1	3,37	1,15	3,17-3,46
Ítem 4	Se ajusta la enseñanza de acuerdo al nivel de competencia y experiencia del estudiante	1	3,72	1,05	3,54-3,81
Ítem 5	Se realizan preguntas a los estudiantes con un sentido que promueve el aprendizaje	2	3,93	0,98	3,77-4,00
Ítem 6	Se estimula a los estudiantes a hacer preguntas	2	3,78	1,06	3,60-3,86
Ítem 7	Se brindan explicaciones claras al estudiante sobre las decisiones clínicas	2	3,85	1,01	3,67-3,91
Ítem 8	Se ofrece al estudiante retroalimentación constructiva	2	3,57	1,13	3,32-3,61
Ítem 9	Se enseñan al estudiante habilidades clínicas (entrevista, examen físico)	3	3,76	1,09	3,54-3,82
Ítem 10	Se enseñan al estudiante habilidades de diagnóstico (razonamiento clínico y selección y/o interpretación de las pruebas diagnósticas)	3	3,95	0,97	3,79-4,03
Ítem 11	Se enseñan al estudiante habilidades de comunicación efectiva con el equipo de trabajo, el paciente y su familia	3	3,46	1,18	3,25-3,55
Ítem 12	Se incorporan datos provenientes de la evidencia científica y/o guías de práctica en la enseñanza/aprendizaje del estudiante	1	3,78	1,15	3,60-3,89
Ítem 13	Se enseñan al estudiante habilidades para la educación del paciente	3	3,42	1,15	3,22-3,51
Ítem 14	La enseñanza incorpora un sentido racional en la utilización de los recursos (disponibilidad, costo-efectividad, eficiencia)	3	3,75	1,04	3,58-3,85
Ítem 15	Los estudiantes son tratados como miembros del equipo	1	3,98	1,11	3,74-4,02
Ítem 16	Se estimula a los estudiantes a autoevaluarse	3	3,48	1,12	3,27-3,56
Ítem 17	Los profesores son un modelo a seguir por su comportamiento profesional y ético	2	3,76	1,10	3,56-3,84
Ítem 18	Los objetivos y expectativas de la rotación son claros	1	2,73	0,90	2,66-2,77
Ítem 19	Se asignan búsquedas en la literatura o revisiones de tema a los estudiantes	1	2,80	0,91	2,74-2,84

DE: desviación estándar; IC 95%: intervalo de confianza al 95%.

Validez de constructo y confiabilidad del ROTA-Q

La adecuación preliminar de la muestra para el AFE reportó un valor global satisfactorio del KMO = 0,96. El análisis permitió obtener 13 factores, de los cuales los 3 primeros tuvieron un valor propio > 1, identificados igualmente en el gráfico de sedimentación (fig. 1), e interpretables al criterio de los investigadores. El primer factor tuvo un valor propio de 7,86 y ocupó el 51% de la varianza. En total los 3 primeros factores ocuparon el 74% de la varianza. Tras realizar la rotación oblicua, e identificar los ítems con carga satisfactoria (> ± 0,30), se obtuvo la siguiente distribución de los ítems. Factor 1 (denominado «estructura de la rotación»): ítems 2, 3, 4, 12, 15, 18, 19. Factor 2 (denominado «interacción en el ambiente de aprendizaje»): ítems 1, 5, 6, 7, 8, 17. Factor 3 (denominado «enseñanza de habilidades clínicas»): ítems 9, 10, 11, 13, 14, 16. La tabla 2 muestra las cargas factoriales y las varianzas únicas ocupadas por cada ítem luego de la rotación. Es de anotar que solo uno de los ítems (ítem 10) fue reasignado del factor 1 al 3, bajo el criterio de los investigadores con el fin de proveer significado e interpretación factorial. La consistencia interna del instrumento (α de Cronbach) fue de 0,95. Los coeficientes α de Cronbach para cada uno de los factores fueron: 0,82, 0,91 y 0,90, respectivamente. Todas las correlaciones inter-factoriales fueron satisfactorias de acuerdo al criterio propuesto (< 0,70) y permitieron conducir un AFC que demostró una aceptable bondad de ajuste de acuerdo al punto de corte de los índices evaluados: CFI: 0,92; SMRS: 0,04; TLI: 0,91; RMSE: 0,07.

Figura 1.

Gráfico de sedimentación para los valores propios de cada factor.

Tabla 2.

Cargas factoriales y unicidad

	Factor 1	Factor 2	Factor 3	Unicidad
Ítem 1	0,3376	0,4511	0,1417	0,3230
Ítem 2	0,6247	0,1505	–0,0573	0,5240
Ítem 3	0,6545	0,0990	0,0526	0,4244
Ítem 4	0,6512	0,2390	–0,0001	0,3224
Ítem 5	0,4174	0,4576	0,0033	0,3713
Ítem 6	0,0027	0,7115	0,2000	0,2650
Ítem 7	0,2020	0,5512	0,1830	0,3004
Ítem 8	0,0472	0,6006	0,2570	0,3177
Ítem 9	0,2439	0,0472	0,6159	0,3064
Ítem 10	0,4244	0,1510	0,3961	0,2572
Ítem 11	0,0029	0,1077	0,7752	0,2750
Ítem 12	0,5404	0,1811	0,1514	0,3839
Ítem 13	–0,0810	0,2604	0,7327	0,2457
Ítem 14	0,3301	0,2724	0,3335	0,3268
Ítem 15	0,3657	0,2369	0,2266	0,4689
Ítem 16	0,1850	0,3225	0,3585	0,4187
Ítem 17	0,1524	0,5966	0,0814	0,4194
Ítem 18	0,4965	–0,2113	0,2188	0,7090
Ítem 19	0,4688	0,0143	–0,0123	0,7793

El criterio de saturación para cada factor en esta matriz de asociación fue > ± 0,30.

Discusión

Este estudio fue diseñado para evaluar la validez de constructo y la confiabilidad del ROTA-Q. Los hallazgos soportaron su validez durante el AFE, y posteriormente un buen ajuste a los datos empíricos durante el AFC. Igualmente los resultados indicaron una alta consistencia interna del instrumento.

Estos hallazgos se pueden explicar por el proceso de validación de contenido inicial, el cual permitió la selección e inclusión de ítems representativos del constructo, los cuales demostraron altas correlaciones preliminares. Durante el AFE se obtuvo una estructura factorial derivada de varios criterios estadísticos, los cuales fueron congruentes con la interpretación de los investigadores, que solo ameritó el cambio de un ítem entre los factores por razones no estadísticas. La solución factorial permitió obtener 3 dominios que reflejan los elementos académicos que se esperan de una buena rotación. El primer factor tiene que ver con la estructura de la rotación, y da cuenta de la organización apropiada, de la definición de resultados de aprendizaje y objetivos esperados, así como de los aspectos de trabajo en equipo y ajuste para el nivel de competencia y aprendizaje autónomo e independiente. El segundo factor tiene que ver con la interacción con el entorno, e incluye percepciones sobre el clima de aprendizaje, la interacción con los profesores y la retroalimentación. Finalmente, el tercer factor se relaciona con el aprendizaje de habilidades clínicas, incluidas las de comunicación y educación del paciente, y a su vez de la importancia del uso costo-efectivo de los recursos. Este último, de vital importancia en la educación médica¹⁵. En comparación con los estudios disponibles^1-4, creemos que la solución factorial obtenida brinda una estructura holística e integral. Los resultados de la correlación inter-factorial nos permitieron asimismo conducir un AFC que demostró una apropiada bondad de ajuste con los datos empíricos. Este hallazgo sugiere que el ROTA-Q es apropiado para evaluar la configuración teórica subyacente, dentro de su posible estructura jerárquica.

Las fortalezas de este estudio se relacionan con el desarrollo de un instrumento con un contenido válido, a través de la revisión de la literatura y la discusión de un panel de expertos. También con el tamaño de la muestra, que permitió dividir la población en 2 grupos: el primero para el AFE y el segundo para el CFA, ambos con una adecuación de muestra apropiada (KMO), que permitió obtener una solución estadística robusta. La alta tasa de respuesta, resultante de la evaluación inmediata al finalizar la rotación clínica por parte del estudiante, es otra fortaleza. No obstante, creemos que este estudio tiene algunas debilidades. Una de estas es la exclusión de ítems relacionados con la «mezcla de pacientes» (patient mix). Si bien la definición de este concepto no está completamente clarificada, puede tener relación con una variedad de habilidades aprendidas para el encuentro clínico y diagnósticos, así como con el número de pacientes y diversidad de problemas clínicos¹⁶. Nosotros nos enfocamos en el primero de estos aspectos, pero no en el segundo. Esta debilidad puede abrir la puerta para nuevos estudios conducentes a la adecuación de contenido del instrumento. Igualmente creemos que la validación se realizó durante un largo período de tiempo durante el cual han aparecido nuevos instrumentos y perspectivas del constructo^17-19. Nuestro propósito era realizar una medición en una población estándar de estudiantes durante la misma rotación clínica con el propósito de evitar sesgos de medición durante la validación, lo cual puede explicar el tiempo de recolección de los datos. Sin embargo, esta circunstancia ofrece nuevas posibilidades de investigación, en especial sobre estudios de validación concurrente.

La implicación práctica de este estudio es que permite ofrecer información objetiva sobre la calidad de la rotación clínica que es complementaria a otros aspectos de la enseñanza y el aprendizaje. También permite generar comparaciones y un seguimiento longitudinal, a la vez que puede servir para proveer retroalimentación constructiva objetiva a escenarios clínicos. Somos conscientes de que un instrumento de evaluación no resuelve todos los problemas estructurales de la cultura de evaluación en educación médica en pregrado, pero estamos seguros de que permite proveer información importante para la toma de decisiones. Igualmente este estudio tiene implicaciones para la investigación futura, a parte de las mencionadas previamente. Es necesario realizar estudios que evalúen en paralelo las experiencias de aprendizaje basadas en la clase, con el aprendizaje que se recibe en el sitio de trabajo. Asimismo, es importante correlacionar la calidad de una rotación clínica con medidas de desempeño estudiantil y la receptividad de las instituciones a la retroalimentación, que les permita autodirigir sus esfuerzos al mejoramiento de la educación²⁰. Finalmente, es necesario aplicar el ROTA-Q en otros contextos para documentar su generalizabilidad. Al respecto se requieren adaptaciones culturales que permitan ampliar su alcance a otros países de habla hispana. En conclusión, el aporte de este estudio es el diseño de un instrumento válido y confiable para la evaluación de la calidad de las rotaciones clínicas, el cual tiene implicaciones para la práctica y abre la puerta para nuevos estudios focalizados al mejoramiento continuo de la calidad de la educación médica en la carrera de medicina.

Financiación

Facultad de Medicina, Universidad de la Sabana (Colombia).

Autoría

Luis Carlos Domínguez: diseño del estudio, adquisición y recogida de datos, análisis e interpretación de los resultados, redacción del artículo, revisión crítica y aprobación de la versión final.

Álvaro Enrique Sanabria: diseño del estudio, adquisición y recogida de datos, análisis e interpretación de los resultados, redacción del artículo, revisión crítica y aprobación de la versión final.

Conflicto de intereses

Ninguno.