Buscar en
Educación Médica
Toda la web
Inicio Educación Médica Diseño de un modelo de evaluación mediante la integración de tecnología inme...
Información de la revista
Vol. 20. Núm. 3.
Páginas 140-145 (Mayo - Junio 2019)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
2392
Vol. 20. Núm. 3.
Páginas 140-145 (Mayo - Junio 2019)
Original
Open Access
Diseño de un modelo de evaluación mediante la integración de tecnología inmersiva y a distancia
Design of an assessment model by integrating immersive and remote technology
Visitas
...
Gibrán Prudencio Mejía Mejíaa, Mildred Vanessa López Cabrerab,
Autor para correspondencia
mildredlopez@itesm.mx

Autor para correspondencia.
, Eduardo Hernandez-Rangelc, José Luis Cerano Fuentesa
a Universidad Vasco de Quiroga, Morelia, México
b Tecnológico de Monterrey, Escuela de Medicina y Ciencias de la Salud, Monterrey, México
c University of California, Irvine, Estados Unidos de Norteamérica
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (1)
Tablas (3)
Tabla 1. Instrumento para la evaluación del encuentro clínico
Tabla 2. Relación entre principios de evaluación y elementos del modelo
Tabla 3. Resultados de la valoración general de estudiante
Mostrar másMostrar menos
Resumen
Introducción

Uno de los principales retos en educación médica se encuentra en ofrecer una evaluación confiable, precisa, objetiva y auténtica. Particularmente la evaluación de competencias interpersonales, la presencia de múltiples evaluadores favorece la percepción de estos principios por parte del estudiante evaluado. El objetivo de esta investigación fue diseñar un modelo de evaluación innovador, que integre como elementos distintivos el uso de tecnología inmersiva, una estandarización de instrumentos de evaluación, integración de múltiples evaluadores y la posibilidad realizar una valoración remota en tiempo real o diferido.

Material y métodos

Se realizó un estudio cuantitativo, descriptivo y transversal con una muestra de 51 estudiantes del segundo año de la carrera de medicina de una universidad mexicana. Participaron en la simulación de un caso clínico con un paciente estandarizado, siendo evaluados de forma presencial y remota por 15 profesores de 3 diferentes universidades. Se utilizó estadística descriptiva para valorar las tendencias por cada elemento incluido.

Resultados

Los resultados más favorables se encuentran en el momento del inicio del encuentro con una media de 1,364, siendo más alto particularmente en los elementos de formalidad, con media de 1,636 y modales con media de 1,400. El desempeño menos favorable se encontró durante el encuentro, con media de 0,856, siendo de especial interés el demostrado durante la exploración con media de 0,818.

Discusión

El uso de tecnologías inmersivas permite hacer una evaluación confiable, precisa, objetiva y auténtica a través de la estandarización de instrumentos de evaluación, con la posibilidad de integrar múltiples evaluadores de forma presencial y a distancia. Esta iniciativa permitió una colaboración interinstitucional para el análisis de los estándares del currículo, a través de distintas regiones geográficas y culturas.

Palabras clave:
Evaluación
Tecnología inmersiva
Valoración a distancia
Abstract
Introduction

One of the main challenges in medical education is to offer an assessment that is reliable, accurate, objective, and authentic. Particularly in interpersonal skills, and having multiple observers, it benefits the student's perception of these principles. The aim of this project was to design and implement an assessment model that integrates the distinctive elements of the use of immersive technology, standardisation of evaluation tools, multiple observers, and remote assessment.

Material and methods

A quantitative, descriptive and cross-sectional study was conducted with a sample of 51 second year medical students from a Mexican university. They participated in the simulation of a clinical case with a standardised patient, being assessed by 15 teachers from 3 different universities. Descriptive statistics were used to assess trends for each measurement included in the study.

Results

The best results were obtained at the beginning of the medical encounter, with a mean of 1.364. The elements that were particularly high were formality with a mean of 1.636, and manners with 0.856. The least favourable results were obtained during the encounter, the one obtained in the physical examination being of particular interest, with a mean of 0.818.

Discussion

The use of immersive technologies helps to provide a reliable, accurate, objective, and authentic evaluation through the standardisation of the evaluation tools, with the possibility of the integration of multi-assessors on site, or remotely. This initiative led to an inter-institutional collaboration for the analysis of curriculum standards across different geographic regions and cultures.

Keywords:
Assessment
Immersive technology
Distance assessment
Texto completo
IntroducciónEvaluación

La enseñanza en el entorno clínico requiere un enfoque integral centrado en el paciente, donde el estudiante debe demostrar el proceso cognitivo de identificar signos y síntomas, el trato digno y humano del paciente y su familia, y la selección de un tratamiento efectivo. Evidenciar esta capacidad de los alumnos para desempeñarse como médicos competentes al egresar de sus programas profesionales representa un verdadero reto, y en ocasiones se convierte en una tarea altamente compleja para las universidades y hospitales. El método tradicional de evaluación en la adquisición de habilidades clínicas cuenta con 3 propósitos: dirigir y motivar el aprendizaje futuro1, clasificar médicos competentes para garantizar a la sociedad la seguridad del paciente y la calidad de la atención clínica y definir estrategias de aprendizaje para entrenamiento avanzado2, por lo que la recolección sistemática de evidencias del progreso de los estudiantes es una tarea crucial. Algunos de los métodos más usados para la evaluación contemplan la evaluación a través de exámenes escritos, el desarrollo de un proyecto mediante la técnica de aprendizaje basado en problemas o la demostración de destrezas técnicas; sin embargo, una de las habilidades más difíciles de evaluar en estos formatos son las competencias interpersonales, como es la empatía, el profesionalismo y la relación médico paciente. Por este motivo se incorporan formatos que utilizan la simulación clínica como una herramienta donde el alumno puede demostrar el dominio de esta competencia.

Uno de los principales retos en educación médica se encuentra en ofrecer una evaluación confiable, precisa, objetiva y auténtica, que clasifique el desempeño del alumno en diferentes niveles de competencia, acorde con su nivel de desarrollo profesional3. De acuerdo con Valdez, López y Ríos3, una evaluación confiable se refiere a que el instrumento está recolectando evidencia del desarrollo de la competencia para el cual fue diseñado; precisa se refiere a que exista una liga entre la instrucción y la evaluación; objetiva a que no se tienen influencias de sesgos, prejuicios o tratos diferenciados y auténtica se refiere a que está asociada a los dominios de la vida real, durante la ejecución y en la evaluación.

Virtualidad

Las tecnologías inmersivas son aquellas que generan una imagen tridimensional, la cual da la sensación al usuario de estar dentro de un medioambiente o una imagen; estas son conocidas como realidad virtual (RV) y aumentada, las cuales representan una creciente área de investigación dentro del campo médico. La RV ha sido aplicada en diferentes escenarios clínicos, como simuladores quirúrgicos, tratamiento de fobias, autismo, manejo del dolor, telemedicina y cirugías. Múltiples estudios y ensayos clínicos han demostrado que el entrenamiento con simuladores de RV mejora significativamente el rendimiento de las habilidades clínicas en el entorno clínico4. La incorporación de estas tecnologías emergentes acentúa la importancia de aportar cohesión y profundidad sin precedentes a la formación médica. Su uso, además, cumple el objetivo de ofrecer una oportunidad de entrenamiento en un ambiente seguro y controlado, donde el estudiante puede repetir la práctica hasta el dominio de una habilidad. Más allá de la memorización del material, esto favorece que la curiosidad sea el catalizador de su experiencia educativa.

Estas tecnologías representan una incorporación importante al proceso enseñanza-aprendizaje, ya que permiten la visualización tridimensional de conceptos abstractos y de difícil comprensión5. La oportunidad de utilizar lentes o visores para presenciar escenas, objetos y eventos, como si el usuario estuviera participando inmerso en la experiencia, es uno de los atractivos de esta herramienta. Algunos productos disponibles en el mercado son utilizados para el entrenamiento de habilidades complejas de endoscopia o laparoscopia, telemedicina y la comprensión de conceptos abstractos de anatomía6. La integración de estos ambientes se describe, de acuerdo al modo en que surge la interacción, como inmersivos y no inmersivos. La primera se refiere a aquellos donde el participante está completamente sumergido a través de la interacción de dispositivos especializados como los visores y los sensores hápticos. La no inmersiva se refiere a la interacción mediante dispositivos comunes que forman parte de un ordenador, como el ratón o el teclado.

Objetivo

El propósito de esta investigación fue diseñar un modelo innovador de evaluación que integre como elementos distintivos: uso de tecnología inmersiva, estandarización de instrumentos de evaluación, múltiples evaluadores y que permitiera hacer una valoración remota, a fin de garantizar que sea confiable, precisa, objetiva y auténtica.

Material y métodosDiseño

Se realizó un estudio cuantitativo, descriptivo y transversal. Es un estudio cuantitativo al aproximarse con un enfoque positivista, para estructurar un fenómeno en variables medibles. El acercamiento descriptivo permite realizar una observación a fin de registrar los acontecimientos de forma sistemática, asignando valores a cada uno de los elementos teóricos del modelo. Es de carácter transversal al presentar la información en un momento determinado, en este caso en un encuentro clínico simulado.

Muestra

Se contó con una muestra de 51 estudiantes del segundo año de la carrera de medicina de una universidad mexicana. Participaron en la simulación de un caso clínico con paciente estandarizado, siendo evaluados de forma presencial y remota por 15 profesores de 3 diferentes universidades. El tener múltiples evaluadores de diferentes universidades permite reducir la subjetividad en los resultados, además de que el valorador no es parte del proceso enseñanza-aprendizaje, no tiene una relación previa con el estudiante. Los profesores se conectaron en un horario definido para participar de manera sincrónica, no solamente en la evaluación sino en la retroalimentación del desempeño del estudiante. Esta valoración en línea en tiempo real representó un reto logístico para los requerimientos mínimos de la operación; sin embargo, agregó realismo y autenticidad a la experiencia. Este modelo se presenta en la figura 1.

Figura 1.

Modelo para la evaluación inmersiva y a distancia.

(0,14MB).
Instrumentos

Los instrumentos de evaluación definen criterios observables claros para la valoración de la competencia, con el fin de que los alumnos perciban una evaluación justa, válida y confiable7. Para esta experiencia se integró un instrumento en función de los momentos del encuentro clínico de Gazitúa8: inicio, durante y final. En estos se definieron 7 elementos evaluables: formalidad, actitudes, desempeño y modales para la parte de inicio; interrogatorio y exploración, durante; y conclusión para la parte final. Esta rúbrica cataloga en 3 niveles de desempeño: 1) insuficiente; 2) necesita mejorar; y 3)competente. Se utilizó estadística descriptiva para valorar las tendencias por cada uno de los elementos, los cuales se presentan en la tabla 1.

Tabla 1.

Instrumento para la evaluación del encuentro clínico

Momentos del encuentro    Actividad o conducta observable 
InicioFormalidad  Porta la vestimenta (ropa formal, bata y estetoscopio) 
ActitudesDemuestra actitud de servicio 
Demuestra seguridad en sí mismo y serenidad 
Brinda su atención constante al paciente 
Desempeño  En general el desempeño del médico fue bueno 
ModalesEstablece y mantiene contacto visual 
Prepara material para la consulta (interrogatorio y exploración) 
Sale al encuentro del paciente a la puerta del consultorio 
Saluda al paciente 
Se presenta con el paciente 
DuranteInterrogatorioSolicita a familiares del paciente a que abandonen la sala antes de realizar el interrogatorio 
Pregunta su nombre al paciente 
Pregunta el motivo de consulta 
Explica al paciente el objetivo del interrogatorio 
Realiza preguntas abiertas que invitan al diálogo al paciente 
Realiza anotaciones en la historia médica del paciente 
ExploraciónRealiza lavado de manos antes de exploración 
Respeta medidas de protección (seguridad de la atención) 
Explica la razón de la exploración, así como el procedimiento de cómo, dónde y con qué 
Cuida el pudor del paciente 
Descubre solamente la zona que va a explorar 
Realiza lavado de manos después de la exploración 
FinalConclusiónLlega a un diagnóstico basado en síndromes y semiología 
Explica el diagnóstico al paciente 
Explica el plan de manejo inicial 
Se despide del paciente 
Acompaña al paciente y/o familiares a la salida del consultorio 
Procedimiento

Este estudio se realizó en 3 fases: diseño, implementación y evaluación de la implementación. La fase de diseño contempló el planteamiento de una configuración que permitiera realizar la valoración con el uso de tecnología inmersiva y la estandarización de instrumentos de evaluación. La relación entre los principios de evaluación y los elementos distintivos se presenta en la tabla 2. El uso de tecnología inmersiva integra la gama de productos Google en un dispositivo móvil, y los lentes de realidad virtual para ver un caso clínico sin la necesidad de estar presente. Esto les permite sentirse en el centro del caso clínico que se está llevando a cabo, y poder ser parte de esta experiencia.

Tabla 2.

Relación entre principios de evaluación y elementos del modelo

Principios de evaluación  Elementos del modelo 
Confiable  Tecnología inmersiva 
Precisa  Estandarización de instrumentos de evaluación 
Objetiva  Múltiples evaluadores 
Auténtica  Valoración a distancia 

La fase de implementación de esta experiencia contempló el involucramiento de múltiples evaluadores y la valoración a distancia. Esta se realizó en el mes de junio de 2017, con 51 estudiantes del cuarto semestre de la licenciatura en medicina general de una universidad privada mexicana que participaron en el curso de clínica propedéutica. La práctica utilizada en el entorno simulado comprendió el manejo de un caso de vías aéreas superiores con un paciente estandarizado. El caso es de un varón de 35 años, profesor universitario, el cual acude al facultativo ya que presenta disnea progresiva desde hace 3 días con accesos de tos por las noches, la cual llega a impedirle el sueño e incluso limita la actividad física.

La evaluación a distancia se realizó en un formato de vídeo en vivo (livestream) a fin de permitir la valoración y crítica por profesores, e incluso por otros estudiantes en tiempo real. Esto se logró mediante el empleo de 3 cámaras web conectadas a un ordenador portátil, el cual mediante el software OBS con el fin de realizar una transmisión de vídeo en 3 secciones, permite que mediante la plataforma de YouTube se generen imágenes de vídeo en realidad virtual y una visión en 360°.

Para la fase de evaluación de la implementación se contempla el análisis de cada elemento distintivo y su impacto en los principios de la evaluación. Se utilizó estadística descriptiva para valorar las tendencias por cada elemento incluido.

Resultados

El mejor desempeño se encontró en el componente de inicio del encuentro, específicamente en la formalidad, la cual obtuvo una media de 1,64. Esto se refiere a la descripción de cómo acuden vestidos y los modales que demuestran al presentarse con el paciente, por ejemplo, al solicitar su nombre. El desempeño menos favorable se observó en los criterios de la exploración, con una media de 0,81. En el piloto el estudiante no explica su actuación ni cada una de las maniobras al paciente, y demuestra desconocimiento sobre las pruebas de laboratorio y gabinete. Las tendencias obtenidas en el instrumento se presentan en la tabla 3.

Tabla 3.

Resultados de la valoración general de estudiante

Momentos del encuentro  Elementos  Media  Desviación estándar 
InicioFormalidad  1,636  0,505 
Actitudes  1,333  0,692 
Desempeño  1,000  0,894 
Modales  1,400  0,735 
Total  1,364  0,726 
DuranteInterrogatorio  0,894  0,862 
Exploración  0,818  0,858 
Total  0,856  0,857 
FinalConclusión  1,109  0,896 
Total  1,109  0,896 
Discusión

El uso de tecnología de RV permitió que el profesor experimentara de manera simulada estar presente durante el proceso de evaluación. Aún existen algunos elementos técnicos que requieren mejorarse en el proceso, como: la calidad del audio y de los visores 3D. Sobre el instrumento de evaluación, los participantes sugieren incluir elementos de las metas internacionales de seguridad del paciente, específicamente aquellas destinadas a la comunicación efectiva y la reducción del riesgo de infecciones mediante el lavado de manos9. En relación con los múltiples evaluadores un reto fue integrar horarios para que todos participaran en la retroalimentación, por lo que algunos la otorgaron posterior al encuentro. Sobre la evaluación remota el propósito era experimentar alternativas para la evaluación. Esta implementación propone una alternativa factible para hacer frente a la falta de recursos humanos para la evaluación, a fin de apoyarse para hacer una valoración práctica de las competencias de los estudiantes.

Se pretende repetir este estudio, con mejor calidad de imagen y audio, aunado a tener a disposición un mayor ancho de banda de red, con el fin de facilitar que el caso sea valorado por más profesores. Se incluirá también a posgrado, por ejemplo con residentes en actividad quirúrgica.

Estas iniciativas replantean el rol de la tecnología en el proceso enseñanza-aprendizaje, pasando de una moda que se ha permeado inevitablemente del contexto social y cultural, a una herramienta que apoya el currículo mediante la creación de experiencias de aprendizaje vivenciales. Mayor investigación es necesaria para estudiar el impacto de los dispositivos móviles y de metodologías innovadoras en el aprendizaje mediante la recolección de información que permita documentar la evolución del desempeño del estudiante, la aceptación de estas tendencias por el cuerpo docente y el alcance que tiene en la mejora de la atención clínica.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Bibliografía
[1]
M.V. López, Y.E. Silva.
Evaluación y supervisión en educación médica.
Aprendizaje centrado en el paciente,
[2]
J.E. Valdez-García, M.V. López, S.L. Olivares.
Definición de metas de aprendizaje en estudiantes de pregrado en un curso de Historia de la medicina.
Educ Med, 19 (2018), pp. 105-110
[3]
J.E. Valdez-García, M.V. López, E. Ríos.
Principles of assessment and effective feedback.
Ann Eye Sci, 2 (2017), pp. 42-51
[4]
M. El-Beheiry, G. McCreery, C.M. Schlachta.
A serious game skills competition increases voluntary usage and proficiency of a virtual reality laparoscopic simulator during first-year surgical residents’ simulation curriculum.
Surg Endosc, 31 (2016), pp. 1643-1650
[5]
E.R. Escartin.
La realidad virtual, una tecnología educativa a nuestro alcance.
Pixel-Bit Rev Medios Educ, 15 (2000), pp. 5-21
[6]
G. Vázquez-Mata.
Realidad virtual y simulación en el entrenamiento de los estudiantes de medicina.
Educ Med, 11 (2008), pp. 29-31
[7]
Guadalajara JF, Durante I, Ortigosa JL, Sánchez M. Evaluación y supervisión en educación médica. Seminario el ejercicio actual de la medicina. 2006 [consultado 29 May 2017]. Disponible en: http://www.facmed.unam.mx/sms/seam2k1/2006/sep_02_ponencia.html
[8]
Gazitúa R. La entrevista médica y la relación médico paciente. 2007. Recuperado de Manual de Semiología [consultado 29 May 2017]. Disponible en: http://publicacionesmedicina.uc.cl/ManualSemiologia/020EntrevMed.htm
[9]
Meneses I. Metas internacionales sobre seguridad del paciente. 2016. Recuperado de Dirección General de Calidad y Educación en Salud [consultado 29 May 2017]. Disponible en: http://www.calidad.salud.gob.mx/site/calidad/dsp-sp_03.html

El trabajo será presentado como ponencia de investigación en el iv Congreso Internacional de Innovación Educativa en Ciudad de México, México.

Copyright © 2018. Elsevier España, S.L.U.. Todos los derechos reservados
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos