Buscar en
Educación Médica
Toda la web
Inicio Educación Médica Evidencias de validez de la versión en español del SimulationEffectivenessTool...
Información de la revista
Vol. 23. Núm. 2.
(Marzo - Abril 2022)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
209
Vol. 23. Núm. 2.
(Marzo - Abril 2022)
Original
Open Access
Evidencias de validez de la versión en español del SimulationEffectivenessTool - Modified (SET-M) aplicado en telesimulación
Validity evidence of the Spanish version of the Simulation Effectiveness Tool - Modified (SET-M) applied in telesimulation
Visitas
...
Hugo E. Olvera-Cortés, Fernando Daniel Argueta-Muñoz, Rebeca Hershberger del Arenal, Laura Silvia Hernández-Gutiérrez, Samuel E. Gutiérrez-Barreto
Autor para correspondencia
samy@gutzba.com

Autor para correspondencia.
Departamento de Integración de Ciencias Médicas, Facultad de Medicina, Universidad Nacional Autónoma de México, Ciudad de México, México
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (4)
Tabla 1. Distribución de personas participantes por escenario y sexo
Tabla 2. Indicadores del análisis de la estructura interna como fuente de evidencia de validez
Tabla 3. Análisis de los componentes principales
Tabla 4. Instrumento de Efectividad de Simulación - Modificada (SET-M)
Mostrar másMostrar menos
Resumen

Introducción: debido al aumento del empleo de la telesimulación en la formación de los profesionales de la salud, contar con instrumentos para valorar su efectividad es una necesidad imperante.

Objetivo: describir las evidencias de validez del instrumento Simulation Effectiveness Tool - Modified (SET-M) para su uso en actividades de telesimulación dirigidas a estudiantes de tercer año de la Licenciatura de Médico Cirujano de la Universidad Nacional Autónoma de México.

Métodos: mediante un estudio prospectivo, se realizó la traducción y traducción inversa del instrumento, se realizó una validación de contenido, análisis factorial exploratorio y confirmatorio, así como análisis de confiabilidad.

Resultados: se encontraron 3 factores similares a la versión en inglés, brasileña y turca, alfa de Cronbach general 0,930. La media de adecuación muestral de Kaiser-Meyer-Olkin fue de 0,953 y la prueba de esfericidad de Bartlett arrojó valores significativos al 0,001.

Conclusión: la versión en español de SET-M cuenta con suficientes evidencias de validez para ser utilizada en la evaluación de la efectividad de la telesimulación desde la percepción de los participantes en nuestro contexto.

Palabras clave:
Telesimulación
Evaluación
Simulación
Validez
Abstract

Introduction: Due to the increase in the use of telesimulation in the training of health professionals, having instruments to assess its effectiveness is a pressing need.

Objective: To describe the validity evidence of the Simulation Effectiveness Tool - Modified (SET-M) for its use in telesimulation activities aimed at third-year students of the degree of medical surgeon of the National Autonomous University of Mexico.

Methods: Through a prospective study, the translation and reverse translation of the instrument was performed, content validation, exploratory and confirmatory factor analysis, and reliability analysis were performed.

Results: Three factors similar to the English, Brazilian, and Turkish versions were found, overall Cronbach's alpha 0.930. The Kaiser-Meyer-Olkin sample adequacy mean was 0.953, and Bartlett's sphericity test yielded significant values at 0.001

Conclusion: The Spanish version of SET-M has sufficient evidence of validity to be used in evaluating the effectiveness of telesimulation from the perception of the participants in this context.

Keywords:
Telesimulation
Assessment
Simulation
Validity
Texto completo
Introducción

En la educación médica, la simulación es una herramienta que favorece el desarrollo de habilidades y destrezas en los estudiantes antes de enfrentarse a un paciente real, ya que permite situarlos en un contexto que imita la realidad1. Las experiencias simuladas o reales promueven el aprendizaje por medio de la reflexión y el debriefing que sigue a cada una de ellas, porque favorece que los estudiantes pueden evaluar, redefinir y mejorar los modelos mentales que los llevaron a actuar de una determinada manera, generando un aprendizaje significativo2. Con el uso de las telecomunicaciones, los beneficios de la simulación se extienden fuera de los centros de simulación, permitiendo proveer educación, entrenamiento o evaluación a estudiantes que se encuentran en lugares remotos3. La telesimulación es una herramienta efectiva cuando existen limitaciones de tiempo-espacio para el desarrollo de actividades con simulación, permitiendo el desarrollo de habilidades cognitivas y psicomotoras en tiempo real, promovidas por la reflexión guiada proporcionada por el instructor mediante el debriefing virtual.

La telesimulación es una técnica innovadora que recientemente ha adquirido gran relevancia en la educación con simulación clínica debido al distanciamiento social4. Esta estrategia acerca a los estudiantes a la práctica clínica en un ambiente seguro, lo que la convierte en una herramienta fundamental en la educación del personal de la salud5. La evaluación continua permite la mejora y la adaptación de todas las técnicas educativas. Evaluar la efectividad de la telesimulación permitirá mejorar esta metodología, asegurando que los estudiantes reciban una educación de calidad y favoreciendo el desarrollo de competencias como el razonamiento clínico6. Sin embargo, la evaluación de esta técnica educativa resulta complicada debido a los diferentes componentes que la constituyen.

Una actividad de aprendizaje basada en simulación clínica debe contemplar 3 etapas: el prebriefing, donde se expondrán a los participantes los recursos a utilizar y se comenzará a generar un contenedor seguro para el aprendizaje; el escenario de simulación, donde los participantes pondrán en práctica sus habilidades en un entorno controlado; y finalmente, el debriefing, el cual es una discusión reflexiva guiada por el facilitador sobre las acciones realizadas en el escenario7. Cada uno de estos elementos es de suma importancia para el logro de los objetivos de la simulación. Se han propuesto diversos instrumentos para valorar el cumplimiento de los puntos críticos de cada etapa; sin embargo, existen pocos instrumentos que valoren la efectividad de la simulación desde la percepción del participante. En el caso de la telesimulación, las etapas son las mismas y hasta el momento existen pocos instrumentos que midan la efectividad de las 3 etapas. El instrumento Simulation Effectiveness Tool - Modified (SET-M), desarrollado en el 2012 y actualizado en el 2013 bajo los estándares de INACSL8 propone la valoración de 4 subescalas de la actividad como lo son el prebriefing, el aprendizaje, la confianza y el debriefing, por medio de 19 ítems, con evidencias de validez para un entorno presencial, por lo que resulta imperante considerar un instrumento para valorar una telesimulación, recogiendo las evidencias de validez necesarias.

Se ha estudiado la aceptabilidad de la telesimulación por estudiantes de pregrado de Medicina6. Sin embargo, hasta el conocimiento de los autores, no se ha descrito un instrumento en el idioma español para valorar la calidad de la telesimulación. El uso rutinario de un instrumento que valore las actividades de telesimulación podría ayudar a mantener la calidad de la estrategia educativa. El objetivo de este artículo es describir las evidencias de validez del instrumento SET-M para su uso en actividades de telesimulación dirigidas a estudiantes de tercer año de la Licenciatura de Médico Cirujano de la Universidad Nacional Autónoma de México.

Material y métodos

Se realizó un estudio prospectivo para obtener las diferentes fuentes de validez de la traducción al español del instrumento SET-M8. Se solicitó al autor del instrumento en su idioma original el permiso para su traducción. El proceso de traducción siguió la guía descrita por la corporación RAND9. Se aplicó el instrumento durante las 5 telesimulaciones del plan curricular de la asignatura de Integración Clínico-Básica I. Los criterios de inclusión fueron: haber participado en las 5 telesimulaciones correspondientes a la carrera de Médico Cirujano de la Universidad Nacional Autónoma de México que cursan la materia de Integración Clínico-Básica I durante el primer semestre del 2021. El instrumento se envió por medio de Google Forms™ en donde las respuestas fueron recabadas de forma anónima; en la primera hoja se solicitó el consentimiento informado previo a contestar el instrumento.

Los facilitadores son médicos del último año de la carrera, adscritos al centro de simulación de pregrado. Ellos se capacitaron en 2 aspectos, el primero como pacientes estandarizados y el segundo para proveer debriefing durante la telesimulación. La primera capacitación se centró en el método Stanislavsky para la interpretación de personaje, tuvo una duración de 30 horas de práctica entre pares con retroalimentación inmediata por parte de los autores de este artículo, además antes de cada una de las simulaciones se realizó una capacitación con los 10 pasos de Gliva-McConvey10. La segunda capacitación consistió en 3 fases: 1) el conocimiento teórico de los elementos que componen el debriefing, 2) mostrar cómo se realiza un debriefing y 3) práctica entre pares con realimentación posterior, el debriefing duró 40 horas y se utilizó el instrumento DASH11 como estándar de calidad. Durante las prácticas de telesimulación, los facilitadores tuvieron la función de pacientes estandarizados y una vez concluido el escenario de telesimulación dirigieron el debriefing de la sesión.

Las telesimulaciones se llevaron a cabo en la plataforma Zoom©, donde en cada simulación había un paciente estandarizado para 3 estudiantes, los estudiantes se informaban previamente sobre las características de la actividad, al ingresar a la actividad se realizó un prebriefing de 15 minutos con los participantes, posteriormente se realizó la actividad de simulación durante 25 minutos, y al final se realizó un debriefing formativo con buen juicio de 30 minutos.

Se efectuaron análisis descriptivos e inferenciales para conocer las características psicométricas del instrumento. Para este fin, se hizo análisis de discriminación de cada uno de los reactivos empleando la prueba t de Student; la consistencia interna de la prueba se utilizó el alfa de Cronbach y para identificar la estructura interna de la prueba se empleó un análisis factorial exploratorio. Los datos se analizaron con el paquete estadístico JASP 0.15.0.0.

Resultados

Se obtuvo una muestra no probabilística de 2,479 resultados, de los cuales el 68% fueron contestados por mujeres y el 32% por hombres, con una media de edad de 22 años, con una edad mínima de 21 y una máxima de 58 años. En la tabla 1 se muestra la distribución de los participantes divididos por caso y sexo. En la tabla 2 se encuentran los resultados del análisis de la estructura interna como fuente de evidencia de validez. El análisis de componentes principales con rotación Varimax, extrajo 3 factores mostrados en la tabla 3, los cuales aportan una variancia explicada de 64%. Sobre la base de su contenido, los factores fueron designados como: prebriefing, aprendizaje y confianza, y debriefing. En la tabla 4 se muestra la traducción del instrumento.

Tabla 1.

Distribución de personas participantes por escenario y sexo

EscenarioParticipantes por sexo (%)aTotal (%)a
Hombre  Mujer 
COVID-19  214 (29,4)  461 (63,4)  675 (92,8) 
Síndrome metabólico  16 (2,2)  319 (43,8)  465 (63,9) 
Dolor torácico  145 (19,9)  282 (38,7)  427 (58,7) 
Hiperplasia prostática benigna  196 (18,7)  418 (57,4)  614 (84,4) 
Malas noticias  92 (12,6)  206 (28,3)  298 (40,9) 
a

Porcentajes expresados respecto a la población total.

Tabla 2.

Indicadores del análisis de la estructura interna como fuente de evidencia de validez

Supuestos del modelo  Esperado  Obtenido 
La prueba de esfericidad de Barlett obtuvo  < 0,001  < 0,001 
Prueba de Kaiser-Meyer-Olkin  > 0,70  0,953 
Dimensiones del constructo 
Varianza explicada por el modelo  > 60%  64% 
Cargas obtenidas para mantener el factor  > 0,50  > 0,555 
Coeficiente de alfa de Cronbach  > 0,70  0,930 
Tabla 3.

Análisis de los componentes principales

Número de la pregunta  Prebriefing  Aprendizaje/confianza  Debriefing  Singularidad 
0,853      0,225 
0,838      0,199 
  0,671    0,476 
  0,555    0,548 
  0,745    0,394 
  0,732    0,436 
  0,565    0,545 
  0,598    0,498 
  0,713    0,403 
10    0,724    0,400 
11    0,727    0,406 
12    0,723    0,400 
13    0,727    0,373 
14    0,656    0,427 
15      0,822  0,242 
16      0,807  0,268 
17      0,847  0,207 
18      0,862  0,185 
19      0,860  0,195 
Tabla 4.

Instrumento de Efectividad de Simulación - Modificada (SET-M)

Prebriefing 
  • 1.

    El prebriefing incrementó mi confianza

 
  • 2.

    El prebriefing fue benéfico para mi aprendizaje

 
Escenario 
  • 3.

    Estoy mejor preparado para responder a los cambios en la condición de mi paciente

 
  • 4.

    Desarrollé una mejor comprensión de la fisiopatología

 
  • 5.

    Tengo más confianza en mis habilidades de evaluación

 
  • 6.

    Me sentí empoderado para tomar decisiones clínicas

 
  • 7.

    Desarrollé una mejor comprensión sobre el tratamiento/medicación (dejar en blanco si no hay tratamiento en el escenario)

 
  • 8.

    Tuve la oportunidad de practicar mis habilidades de toma de decisiones clínicas

 
  • 9.

    Tengo más confianza en mi capacidad para priorizar la atención y las intervenciones

 
  • 10.

    Tengo más confianza para comunicarme con mi paciente

 
  • 11.

    Tengo más confianza en mi capacidad para enseñar a los pacientes sobre su enfermedad y sus intervenciones

 
  • 12.

    Tengo más confianza en mi capacidad para comunicar información al equipo de salud

 
  • 13.

    Tengo más confianza en brindar intervenciones que fomenten la seguridad del paciente

 
  • 14.

    Tengo más confianza en utilizar la práctica basada en la evidencia para brindar atención en salud

 
Debriefing 
  • 15.

    El debriefing contribuyó a mi aprendizaje

 
  • 16.

    El debriefing me permitió comunicar mis sentimientos antes de enfocarme en el escenario

 
  • 17.

    El debriefing fue valioso para ayudarme a mejorar mi juicio clínico

 
  • 18.

    El debriefing brindó oportunidades para auto-reflexionar sobre mi desempeño durante la simulación

 
  • 19.

    El debriefing fue una evaluación constructiva de la simulación

 

Las respuestas a cada pregunta pueden ser (3) fuertemente de acuerdo, (2) un poco de acuerdo y (1) en desacuerdo.

Discusión

Se presentan la traducción al español y las evidencias de validez del instrumento SET-M. En cuanto a la validación del contenido, la traducción al español y la traducción inversa se realizaron bajo los criterios de RAND9, el cual es un proceso similar al realizado por SET-M (versión en turco)12. La traducción de la versión brasileña se llevó a cabo mediante los pasos propuestos por ISPOR TCA13. La traducción a distintos idiomas debe ser guiada por una metodología específica. La validez de contenido es relevante en el proceso educativo, ya que ayuda a una mejor interpretación de los resultados de una prueba10.

El análisis de componentes principales mostró 3 factores a diferencia del instrumento original, donde se mostraron 4 factores8. Las cargas de los factores combinaron los componentes que explican el aprendizaje y la confianza. Esto puede ser explicado por la traducción o el contexto donde fue aplicada la telesimulación. En el caso de la prueba de esfericidad de Barlett, el resultado para las 3 versiones es < 0,001, lo que demuestra que la matriz no era una matriz de identidad. En la prueba de Kaiser-Meyer-Olkin, en la versión en español se obtuvo 0,953, en la versión turca 0,919 y en la versión original 0,936, lo que nos permite aseverar que la muestra se encuentra en un nivel adecuado para el análisis. En cuanto a la consistencia interna del instrumento, se utilizó el coeficiente de alfa de Cronbach 0,932 para la versión en español, 0,7 para la versión brasileña, 0,92 para la versión turca y 0,936 para la versión original. Estos resultados proveen mayores evidencias de validez para el instrumento, no solo para ser utilizado en el contexto de México, si no para traducirlo a otros idiomas.

Cabe resaltar que, en la versión original, en la versión brasileña y en la versión turca los participantes fueron personal de enfermería. En la versión original modificada se discute la relevancia del ítem 7, correspondiente a la medicación, ya que debido a que algunas simulaciones pueden o no involucrar la administración de un medicamento, lo que puede modificar las evidencias de validez8. En la versión original modificada se cambiaron algunos ítems para que este instrumento fuera utilizado por cualquier área de la salud. Para la versión en español se decidió traducir como tratamiento, lo que involucra las medicaciones y aspectos relacionados con el cuidado y el manejo del paciente.

En otras investigaciones se evaluó la percepción de la efectividad de la simulación con este instrumento en 2 diferentes tipos de simulación a distancia6; sin embargo, en ese estudio no se presentan las evidencias de validez suficientes. Al contar con una traducción similar, con resultados favorables, apoya la propuesta del uso de este instrumento en diferentes contextos.

Otro aspecto relevante en este estudio es que se utilizó para simulación a distancia, a diferencia de las 2 versiones anteriores, donde se utilizó en simulación presencial. Aunque es necesario realizar otro estudio donde se evalúe el instrumento en una situación presencial, también es necesario reconocer que en la actualidad no existen herramientas para poder evaluar este tipo de simulación a distancia.

En cuanto a los resultados en el presente estudio, en las dimensiones obtuvimos una carga de factores alta en el prebriefing, esto determina un paso importante, ya que es donde se comienza a generar un ambiente seguro de aprendizaje y donde el participante comprenderá lo que vivirá en la simulación14. En las dimensiones del aprendizaje y confianza, y debriefing se obtuvieron puntajes medios-altos de carga de factores. Estas dimensiones son atributos de gran importancia para lograr los objetivos de la simulación15. Asimismo, estos valores permiten describir los procesos de simulación como una simulación efectiva desde el punto de vista de los participantes.

La simulación como proceso de enseñanza aprendizaje tiene diferentes aristas que es necesario evaluar, sobre todo la percepción de parte del participante, ya que como adultos requieren mayor motivación para el aprendizaje y para que éste sea efectivo.

El presente estudio contó con algunas limitaciones. En primer lugar, la evaluación se llevó a cabo en simulación a distancia y no presencial, como lo describe el instrumento original. También se realizó en estudiantes de pregrado de Medicina y el instrumento se describe para trabajadores de la salud. Es necesario realizar otras pruebas de reproducibilidad antes de utilizar este instrumento en su versión en español en otros contextos.

Las evidencias de validez descritas en este artículo muestran que el instrumento se puede utilizar en actividades de telesimulación en pregrado. Un proceso riguroso para obtener evidencias de validez es necesario para que el instrumento pueda ser empleado en contextos diversos. Si bien es necesario recordar que ningún instrumento es más válido que otro, utilizar un instrumento de evaluación con evidencias de validez suficientes permite tener un mejor entrenamiento y evaluación, asímismo permite la mejora de los procesos.

Responsabilidades éticas

Este trabajo fue aprobado por el comité de ética del Departamento de Integración de Ciencias Médicas de la Universidad Nacional Autónoma de México.

Financiación

La presente investigación no recibió apoyo económico de ninguna agencia pública o privada y no se encuentra en proceso de evaluación por ninguna otra revista.

Conflictos de interés

Los autores de este manuscrito declaramos que no tenemos conflictos de interés.

Agradecimientos

Agradecemos a la doctora Kim Leighton, autora original del instrumento Simulation Effectiveness Tool – Modified, por su valioso apoyo en la revisión de la traducción inversa.

Bibliografía
[1.]
A. Al-Elq.
Simulation-based medical teaching and learning.
J Fam Community Med, 17 (2010), pp. 35
[2]
R.M. Fanning, D.M. Gaba.
The role of debriefing in simulation-based learning.
Simul Healthc J Soc Simul Healthc, 2 (2007), pp. 115-125
[3]
C.E. McCoy, J. Sayegh, R. Alrabah, L.M. Yarris.
Telesimulation: an innovative tool for health professions education.
AEM Educ Train, pp. 132-136
[4]
E. Roach, A. Okrainec.
Telesimulation for remote simulation and assessment.
J Surg Oncol, 124 (2021), pp. 193-199
[5]
S.M. Patel, C.R. Miller, A. Schiavi, S. Toy, D.A. Schwengel.
The sim must go on: adapting resident education to the COVID-19 pandemic using telesimulation.
Adv Simul, 5 (2020), pp. 26
[6]
M. Ortiz-Arévalo, T. Campusano-Schialer, A. Tolosa-Villarreal, A. Marco, S. Armijo-Rivera, J. Diaz-Schmidt.
Telesimulación y teledebriefing para promover el razonamiento clínico en estudiantes de pregrado de medicina.
Educ Médica, (2021),
[7.]
INACSL Standards of Best Practice.
SimulationSM simulation design.
Clin Simul Nurs, 12 (2016), pp. S5-12
[8]
K. Leighton, P. Ravert, V. Mudra, C. Macintosh.
Updating the simulation effectiveness tool: item modifications and reevaluation of psychometric properties.
Nurs Educ Perspect, 36 (2015), pp. 317-323
[9.]
RAND corporation.
Basic Guidelines for Translating Surveys [Internet].
[10]
G. Gliva-McConvey, C.F. Nicholas, L. Clark.
Comprehensive healthcare simulation: implementing best practices in standardized patient methodology [Internet].
[11]
R. Simon, D.B. Raemer, J.W. Rudolph.
Debriefing Assessment for Simulation in Healthcare (DASH)© – Rater Version. [Internet].
[12.]
Department of Mental Health and Psychiatric Nursing, Istanbul University-Cerrahpasa Florence Nightingale Faculty of Nursing, Istanbul, Turkey, Sahin G, Buzlu S, Department of Mental Health and Psychiatric Nursing, Istanbul University-Cerrahpasa Florence Nightingale Faculty of Nursing, Istanbul, Turkey, Kuguoglu S, Department of Nursing, Istanbul Medipol University Faculty of Health Sciences, Istanbul, Turkey, et al.
Reliability and validity of the Turkish Version of the simulation effectiveness tool–modified*.
Florence Nightingale J Nurs, 28 (28 de octubre de 2020), pp. 250-257
[13]
E.C. Bergamasco, Cruz D. de ALM.
Simulation effectiveness tool modified (SET-M): adaptation and validation for Brazil.
Rev Lat Am Enfermagem, 29 (2021), pp. e3437
[14]
E. León-Castelao, J.M. Maestre.
Prebriefing en simulación clínica: análisis del concepto y terminología en castellano.
Educ Médica, 20 (2019), pp. 238-248
[15]
H.E. Olvera, A.V. Barona Nuñez, L.S. Hernández Gutiérrez, León E. López.
El debriefing, aprendizaje reflexivo en la simulación interprofesional.
Rev Fac Med, 62 (25 de junio de 2019), pp. 45-53
Copyright © 2022. The Author(s)
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos