Buscar en
Educación Médica
Toda la web
Inicio Educación Médica Instrumentos para la evaluación del clima de aprendizaje en residencias médica...
Información de la revista
Vol. 19. Núm. S3.
Páginas 335-349 (Noviembre 2018)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
1606
Vol. 19. Núm. S3.
Páginas 335-349 (Noviembre 2018)
REVISIÓN
DOI: 10.1016/j.edumed.2017.10.015
Open Access
Instrumentos para la evaluación del clima de aprendizaje en residencias médicas: síntesis de la evidencia a la luz de las definiciones psicométricas
Tools for the evaluation of learning climate in posgraduate training: Synthesis of evidence in the light of psychometric definitions
Visitas
...
Luis Carlos Domínguez
Departamento de Cirugía, Universidad de la Sabana, Chia, Colombia
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (1)
Tablas (2)
Tabla 1. Conceptos teóricos sobre validez y confiabilidad de un instrumento de medición
Tabla 2. Características, población, teoría educativa subyacente, validez y confiabilidad de los instrumentos disponibles para la evaluación del ambiente de aprendizaje en posgrado
Mostrar másMostrar menos
Resumen
Introducción y objetivo

La medición del clima de aprendizaje en residencias médicas es fundamental para asegurar la calidad de la educación médica. Existen múltiples instrumentos diseñados para este propósito. El objetivo de este estudio es presentar una síntesis de estos instrumentos con énfasis en sus propiedades psicométricas.

Métodos

Se realizó una revisión sistemática de la literatura de estudios originales que evaluaran propiedades psicométricas de instrumentos para la medición del clima de aprendizaje en residencias médicas. Se describieron las características generales de cada instrumento y se revisaron sus propiedades psicométricas de acuerdo con definiciones teóricas aceptadas.

Resultados

Se incluyeron un total de 40 estudios que evalúan 11 instrumentos. El 100% de los instrumentos cumplieron con criterios de validación de contenido y el 81% de validación de constructo. Pocos instrumentos contaron con validación convergente/divergente (36%), predictiva (18,1%) y concurrente (18,1%). El 81% de los instrumentos contaron con algún tipo de análisis de confiabilidad, siendo alta en la mayoría de ellos.

Conclusiones

Existe un número importante de instrumentos disponibles para la evaluación del clima de aprendizaje en posgrado. Se dispone de suficiente evidencia que respalda su validez de contenido, constructo y confiabilidad. Se requieren nuevos estudios que aporten evidencia en cuanto a otros tipos de validez.

Palabras clave:
Clima de aprendizaje
Residencias médicas
Posgrado
Validez
Confiabilidad
Instrumentos
Abstract
Introduction and objective

The evaluation of the learning climate in medical residences is fundamental to ensure the quality of medical education. There are several tools available for this purpose. The aim of this study is to present a synthesis of these tools, with an emphasis on their psychometric properties.

Methods

A systematic review of the literature was conducted to evaluate original studies focused on the psychometric properties of tools for the measurement of learning climate in medical residences. The general characteristics of each tool were described, as well as their psychometric properties according to accepted theoretical definitions.

Results

A total of 40 studies evaluating 11 tools were included. All (100%) of the tools studied satisfied criteria for content (100%) and construct validity (81%). Less tools showed convergent / divergent (36%), predictive (18.1%), and concurrent (18.1%) validation. Most of them had some type of reliability analysis (81%), being high in most of them.

Conclusions

There are a significant number of tools available for the evaluation of learning climate in posgraduate training. There is sufficient evidence to support content and construct validity, and reliability. Further studies are required to provide evidence with regard to other types of validity.

Keywords:
Learning climate
Residency training
Posgraduate
Validity
Reliability
Measurement tools
Texto completo
Introducción

Existe una necesidad de evaluar críticamente el clima de aprendizaje en residencias médicas. Esta necesidad se enmarca en la tendencia global del aseguramiento y la monitorización de la calidad de la educación médica. También es una medida útil para medir y garantizar el bienestar de los residentes en el trabajo. En este contexto, el clima de aprendizaje se define como la percepción de los residentes de las características, tanto formales como informales, de la educación1,2 y se refiere más específicamente a las percepciones sobre prácticas y procedimientos comunes en los departamentos clínicos3, así como a la calidad de las relaciones entre los residentes y sus profesores, supervisores y la institución4. En el siglo xxi, y en especial durante los últimos 5años, se han desarrollado múltiples instrumentos para la medición de estas percepciones. Estos han sido construidos en diversos contextos culturales y se utilizan de forma rutinaria en múltiples escenarios clínicos. Igualmente, muchos de ellos han sido traducidos a varios idiomas y posteriormente validados. Como resultado, existe un aumento acelerado en el número de estudios disponibles que dan cuenta del interés y la relevancia de la evaluación continua del clima de aprendizaje para los educadores médicos, los residentes y la comunidad académica en general. Esta tendencia se inscribe además en la necesidad de obtener medidas objetivas que respalden la educación basada en resultados (outcome-based education), la cual ha sido promovida especialmente en Europa y Norteamérica, pero que cada vez avanza con más fuerza a nivel global5. En este contexto, la evaluación del clima de aprendizaje mediante el uso de múltiples instrumentos está ahora en la agenda de muchas facultades de medicina y programas académicos en educación para profesiones de la salud y proporciona evidencia empírica para actuar con buenos argumentos en el momento de realizar ajustes curriculares y procesos de mejoramiento continuo, entre otros6. Sin embargo, el creciente número instrumentos, y de estudios que los respaldan, conlleva nuevos problemas. Uno de estos tiene que ver con la disponibilidad de un extenso número de instrumentos que exploran múltiples atributos del clima de forma heterogénea. Igualmente, los instrumentos disponibles presentan importantes variaciones en sus propiedades psicométricas, en términos de validez y confiabilidad. Estos problemas traen dificultades en el momento de elegir el instrumento más adecuado para la evaluación del clima, en contextos particulares y poblaciones específicas de residentes. Frente al progresivo número de instrumentos y estudios empíricos al respecto, y teniendo en cuenta que las últimas revisiones de la literatura al respecto son mayores de 5años7-9, el propósito de este estudio es realizar una revisión actualizada de las propiedades psicométricas de los instrumentos disponibles para la evaluación objetiva del clima de aprendizaje en residencias médicas, que facilite la elección por parte del lector en situaciones y contextos específicos. La pregunta subyacente de investigación es: ¿cuál son la validez y la confiabilidad de los instrumentos disponibles para la medición del ambiente de aprendizaje de posgrado en medicina?».

Materiales y métodosDiseño del estudio

El objetivo primario de este estudio es describir los aspectos psicométricos relacionados con la validez (de contenido, apariencia, constructo, criterio y convergencia/divergencia) y confiabilidad de los instrumentos disponibles para la evaluación del clima de aprendizaje de posgrado en medicina. Con este propósito se llevó a cabo una revisión sistemática de la literatura, la cual tiene como objetivo «reunir toda la evidencia empírica que cumple unos criterios de elegibilidad previamente establecidos, con el fin de responder una pregunta específica de investigación. Utiliza métodos sistemáticos y explícitos, que se eligen con el fin de minimizar sesgos, aportando así resultados más fiables a partir de los cuales se puedan extraer conclusiones y tomar decisiones»10.

Criterios de inclusión y exclusión de los estudios

Los criterios de inclusión de los estudios para la revisión fueron: a) fuentes primarias de información (estudios originales); b) estudios publicados entre enero de 2000 a marzo del 2017; c) estudios publicados en idioma inglés o español; d) estudios focalizados en la medición del clima de aprendizaje en posgrado en medicina, y e) estudios diseñados para la medición de una o varias características psicométricas del instrumento (validez o confiabilidad). Los criterios de exclusión fueron: a) estudios de medición del clima de aprendizaje sin análisis psicométrico; b) estudios desarrollados en pregrado, enfermería u otras profesiones de la salud, y c) otro tipo de estudios diferentes de originales (revisión, cartas al editor, editoriales, resúmenes en conferencias, tesis, literatura gris, correspondencia).

Definiciones conceptuales y búsqueda de los estudios

Las definiciones de los tipos de validez y confiabilidad descritas en la teoría psicométrica de Streiner et al.11 para la construcción de escalas e instrumentos en salud, fueron utilizados como marco conceptual para el desarrollo del presente estudio (tabla 1). La búsqueda de la literatura se llevó a cabo en las bases de datos electrónicas de Pubmed, British Nursing Index (BNI), Applied Social Sciences Index and Abstracts (ASSIA), Science Direct, Educational Resource Information Center (ERIC), BioOne, Cochrane Library y Cumulative Index to Nursing and Allied Health Literature (CINALH). También se condujeron búsquedas manuales de acuerdo con referencias cruzadas. Las palabras clave para la búsqueda de resúmenes o títulos de estudio, tanto en idioma inglés como español, fueron:

  • -

    Learning environment*, learning climate*, educational environment*, environment for training*.

  • -

    Validity*, reliability*, psychometric properties*.

  • -

    Postgraduate*, residency training*, medicine*, registrar*, medical education*, posgraduate student*

  • -

    Survey*, test*, scale*, measure*, instrument*, inventory* or questionnaire*.

  • -

    Entorno de aprendizaje*, clima de aprendizaje*, entorno educativo*, entorno de formación*.

  • -

    Validez*, fiabilidad*, propiedades psicométricas*.

  • -

    Postgrado*, residencia*, medicina*, educación médica*, estudiante de posgrado*.

  • -

    Encuesta*, prueba*, escala*, medida*, instrumento*, inventario*, cuestionario*.

Tabla 1.

Conceptos teóricos sobre validez y confiabilidad de un instrumento de medición

Concepto  Definición  Forma de medición 
Validez de contenido  Indica si el instrumento muestrea todos los contenidos relevantes, importantes o dominios del constructo teórico subyacente  Las fuentes de la validez de contenido son grupos focales, entrevistas, teoría, investigación, revisión de la literatura, opinión de expertos 
Validez de apariencia  Indica si los elementos que aparecen en la superficie del instrumento miden lo que realmente son. Esta validez simplemente indica si, en su apariencia, el instrumento parece estar evaluando las cualidades deseadas  Se realiza por un juicio subjetivo basado en una revisión de la medida misma por uno o más expertos, y rara vez se utilizan enfoques empíricos. 
Validez de criterio  Es la correlación de una escala con otro instrumento, idealmente, un «patrón de oro» que ha sido aceptado y ampliamente utilizado. Se divide en validación concurrente y validación predictiva. En la primera se correlaciona la nueva escala con la medida de criterio al mismo tiempo. En la validación predictiva, el criterio estará disponible en otro momento en el futuro  Correlaciones de Pearson o Spearman 
Validez de constructo  Se refiere a la validez sobre la forma en la que se mide el constructo (en qué medida el instrumento refleja el contenido teórico subyacente)  Análisis factorial exploratorio. Análisis factorial confirmatorio 
Validez convergente y discriminante  Indica qué tan estrechamente está relacionada la nueva escala con otras variables y otras medidas del mismo constructo al que debe relacionarse. En la práctica se habla de validez convergente cuando las mediciones del mismo rasgo realizadas con distintos métodos correlacionan entre sí, y divergente cuando las medidas de distintos aspectos o facetas del constructo utilizando el mismo instrumento muestran una baja correlación, lo cual indica que estos aspectos o facetas son independientes entre sí  Correlaciones de Pearson o Spearman. Matriz multirrasgo-multimétodo 
Confiabilidad  Se refiere a si el instrumento está midiendo algo de una manera reproducible bajo diferentes condiciones (p. ej., que tanto las mediciones en diferentes ocasiones, o por diferentes observadores, o por pruebas similares o paralelas, producen los mismos resultados o resultados similares). El concepto es una forma de reflejar la cantidad de errores (sistemático y aleatorio), inherente a cualquier medición (fiabilidad = variabilidad del sujeto/variabilidad del sujeto + error de medición). Dado que una medida estadística de la variabilidad es la varianza, esto puede expresarse más formalmente como: confiabilidad = Σ2s/σ2s + σ2e. Dos teorías subyacen: la teoría clásica (se basa en que la confiabilidad de una prueba se descompone en 2partes: una puntuación «verdadera» (que nadie sabe realmente) y una puntuación de «error») y la teoría de la generalizabilidad (considera simultáneamente múltiples fuentes de varianza de error, lo que permite enfoques racionales para optimizar la confiabilidad)  Consistencia interna: representa el promedio de las correlaciones entre todos los elementos de la medida (alfa de Cronbach, Kuder-Richardson, o mitades divididas)

Otras medidas: se basan en la estabilidad del instrumento en varias situaciones y condiciones. Por ejemplo, el grado de acuerdo entre diferentes observadores (confiabilidad entre observadores); el acuerdo entre las observaciones hechas por el mismo evaluador en 2ocasiones (confiabilidad intraobservador); las observaciones sobre el sujeto en 2ocasiones separadas por algún intervalo (fiabilidad test-retest) y el poder discriminante (correlaciones entre los ítems de una escala y los dominios a los cuales pertenecen o no pertenecen)
 

Fuente: Streiner et al.11.

Extracción y análisis de la información

Inicialmente, el investigador principal realizó una revisión de los resúmenes de estudios potenciales. Una vez se seleccionaron los estudios a incluir, se realizó la extracción de los datos de acuerdo con las siguientes categorías: nombre del instrumento (autor, país, año de publicación e idioma del instrumento), características demográficas de los participantes (población), teoría educativa subyacente que respaldó el desarrollo del instrumento y descripción de las características del instrumento. Respecto a las propiedades psicométricas, se identificó la presencia o no de validez de contenido, validez de apariencia, validez de constructo, validez de criterio, validez de convergencia/divergencia y confiabilidad, para cada instrumento. Igualmente se describen de forma general los métodos utilizados en dichos análisis. En la revisión se informaron el método psicométrico utilizado por estudio, estadístico o no estadístico, así como la frecuencia y el porcentaje de estudios que incluyen alguna de las mediciones de validación o confiabilidad previamente mencionadas.

ResultadosDescripción de los estudios y poblaciones

Un total de 40estudios cumplieron los criterios de inclusión (tabla 2). La identificación y la selección de estos estudios se presenta en la figura 1. Estos estudios evalúan las propiedades psicométricas (validez o confiabilidad) de 11 instrumentos diferentes: Scan of Postgraduate Educational Environment Domains (SPEED) (n = 1), Job Evaluation Survey Tool (JEST) (n = 1), Ambulatory Care Learning Education Environment Measure (ACLEEM) (n = 4), Anesthetic Theatre Educational Environment Measure (ATEEM) (n = 1), Surgical operating theatre learning environment (STEEM) (n = 3), Operating Room Educational Environment Measure (OREEM) (n = 2), Practice Vocational Training Environment (PEEM) (n = 1), Postgraduate Hospital Educational Environment Measure (PHEEM) (n = 19), Dundee Ready Educational Environment Measure (DREEM) (n = 2), Dutch Residency Educational Climate Test (D-RECT) (n = 5), Diagnostic radiology clinical learning environment questionnaire (DR-CLE) (n = 1).

Tabla 2.

Características, población, teoría educativa subyacente, validez y confiabilidad de los instrumentos disponibles para la evaluación del ambiente de aprendizaje en posgrado

Instrumento  Autor  País/año  Idioma  Características del instrumento  Población  Teoría subyacente  Validez de contenido  Validez de apariencia  Validez de constructo  Validez convergente/divergente  Validez de criterioConfiabilidad 
                      Concurrente  Predictiva   
Scan of Postgraduate Educational Environment Domains  Schönrock-Adema et al.35  Holanda, 2015  Inglés  15 ítems distribuidos en 3 dominios: contenido, atmósfera y organización del ambiente de aprendizaje  223 residentes de diferentes especialidades  −  Panel de expertos (método Delphi)  √  AFE  −  −  −  Chronbach Alpha-correlaciones interescala 
Job Evaluation Survey Tool  Wall et al.19  Reino Unido, 2014  Inglés  15 ítems distribuidos en 2 dominios (no especificados)  3.367 residentes de varias especialidades  Estándares del General Medical Council  Panel de expertos  −  AFE  −  Contra PHEEM  −  Chronbach Alpha - Teoría de generalizabilidad 
Ambulatory Care Learning Education Environment Measure  Riquelme et al.29  Chile, 2013  Español/inglés  50 ítems distribuidos en 3 dominios: soporte, enseñanza clínica, habilidades clínicas  63 residentes de 7 especialidades  Referencia a planteamientos OMS  Grupos focales con residentes permitieron desarrollar 173 ítems que fueron validados en su contenido por residentes y profesores, mediante método Delphi  √  −  −  −  −  − 
  Riquelme et al.30  Chile, 2015  Español  50 ítems distribuidos en 8 dominios: profesores, actividades clínicas y cuidado del paciente, tiempo protegido, infraestructura, habilidades clínicas, evaluación y retroalimentación, información comunicación y tecnología, supervisión clínica. Adicionalmente, en este estudio se identificó que con 15 encuestados los resultados son confiables  441 participantes: 151 internos y 260 residentes de varios programas de especialización      √  AFE  −  −  −  Chronbach alpha-teoría de generalizabilidad 
  Parviziet al.24  Irán, 2016  Persa  50 ítems distribuidos en los mismos 3dominios de la versión original  180 residentes  −  Traducción a persa y revisión del instrumento por panel de expertos  √  AFE  Validez convergente y divergente altas, por cada dominio y globalmente  −  −  Chronbach alpha 
  Naghizadeh et al.36  Irán,2015  Persa  50 ítems distribuidos en los mismos 8 dominios de la versión original tras solución factorial  157 residentes, la mayoría de ginecología (91%)  −  Traducción a persa y revisión por panel de expertos  √  AFE  −  −  −  Test-retest Cronbach alpha 
Anaesthetic Theatre Educational Environment Measure  Holt y Roff26  Reino Unido, 2004  Inglés  40 ítems distribuidos en 5 dominios: autonomía, percepciones de la atmósfera, carga de trabajo/supervisión/soporte, percepciones de enseñanza y profesores, oportunidades de aprendizaje (tras solución factorial)  218 residentes de anestesia  −  Revisión de la literatura. Grupos focales (residentes, anestesiólogos, directores de programa) que permitieron desarrollar 156 ítems que fueron validados en su contenido por residentes y anestesiólogos obteniendo un total de 43 ítems  √  AFE  −  −  −  − 
Surgical operating theatre learning environment  Cassar37  Reino Unido, 2004  Inglés  40 ítems distribuidos en 4dominios: percepciones del profesor y entrenamiento; percepciones de las oportunidades de aprendizaje; percepciones de la atmosfera en quirófano; percepciones de supervisión, carga de trabajo y soporte  26 residentes de cirugía  −  Revisión de la literatura, entrevistas exploratorias a cirujanos con experiencia en educación y residentes de cirugía. A partir de este proceso se derivó un instrumento de 40 ítems que fue revisado nuevamente por estudiantes de cirugía  √  −  −  −  −  Crronbach alpha. Correlaciones interescala 
  Mahoney et al.12  Australia y Nueva Zelanda, 2010  Inglés  40 ítems distribuidos en 5 dominios: habilidades y comportamiento del profesor; oportunidades de aprendizaje facilitadas por el supervisor; características de la lista quirúrgica; interacción con staff no quirúrgico; distracciones del quirófano (tras AFE)  365 residentes de cirugía  −  −  −  AFE  −  −  −  Chronbach alpha 
  Binsaleh et al.13  Arabia Saudí, 2014  Inglés  40 ítems distribuidos en 4dominios: percepciones del profesor y entrenamiento; percepciones de las oportunidades de aprendizaje; percepciones de la atmósfera en quirófano; percepciones de supervisión, carga de trabajo y soporte  33 residentes de urología  −  −  −  −  −  −  −  Chronbach alpha 
Operating Room Educational Environment Measure  Kanashiro et al.14  Canadá, 2006  Inglés  40 ítems distribuidos en 4dominios: percepciones del profesor y entrenamiento; percepciones de las oportunidades de aprendizaje; percepciones de la atmósfera en quirófano; percepciones de supervisión, carga de trabajo y soporte  22 residentes de cirugía  −  Adaptado a contexto canadiense por investigadores principales  −  −  −  −  −  Cronbach alpha 
  Diwadkar y Jelovsek15  Estados Unidos, 2010  Inglés    27 residentes de ginecología  −  −  −  −  Se estableció contra la impresión global del ambiente de entrenamiento, demostrando alta validez convergente  −  −  Cronbach alpha. Correlaciones interítem 
Practice Vocational Training Environment  Mulrooney20  Irlanda, 2005  Inglés  37 ítems distribuidos en 4 dominios: práctica en el trabajo; relación con el supervisor; enseñanza y aprendizaje; interacción con otros profesionales de la salud  48 residentes  −  Grupos focales con residentes. A partir de estos se desarrolló un instrumento de 55 ítems que fue revisado por un grupo nominales de expertos quienes redujeron el instrumento a 37 ítems  √  −  −  −  −  − 
Postgraduate Hospital Educational Environment Measure  Roff et al.1  Reino Unido, 2005  Inglés  40 ítems distribuidos en 3 dominios: percepciones de autonomía, percepciones de enseñanza y percepciones de soporte social  Dos poblaciones: la primera de 117 residentes, y la segunda de 109; realizaron la priorización y evaluación inicial de ítems para desarrollar el cuestionario final  −  Revisión de la literatura. Teoría fundada incluyendo grupos focales, grupos nominales y método Delphi que involucró a decanos, supervisores, residentes y expertos  √  −  −  −  −  Cronbach alpha 
  Wall et al.34  Brasil, Chile, Holanda, Reino Unido, 2009  Varios  40 ítems distribuidos en 3 dominios: percepciones de autonomía, percepciones de enseñanza y percepciones de soporte social (tras AFE)  1.563 residentes de diferentes contextos  −  −  −  AFE  −  −  −  Cronbach alpha. Correlaciones interescala 
  Shimizu et al.17  Japón, 2013  Japonés  40 ítems distribuidos en 3 dominios: percepciones de autonomía, percepciones de enseñanza y percepciones de soporte social  206 residentes  −  −  −  −  −  −  Predictor de desempeño académico  − 
  Boor et al.18  Holanda, 2007  Holandés  40 ítems: unidimensional. En este estudio se determinó que con 14 sujetos por departamento la medición es confiable. Igualmente, para múltiples departamentos, 3 sujetos combinados con 10 departamentos proveen un resultado confiable para ambos grupos  256 residentes  −  Traducción del instrumento al holandés. No evaluación de contenido  √  AFE  −  −  −  Teoría de generalizabilidad 
  Aspegren et al.38  Dinamarca, 2007  Danés  40 ítems distribuidos en 3 dominios: percepciones de autonomía, percepciones de enseñanza y percepciones de soporte social (luego del AFE). Los autores indican que se pueden eliminar 7 ítems interconectados y reducir el tamaño del cuestionario  342 residentes  −  Traducción y revisión del instrumento a danés por investigadores  √  AFE  −  −  −  Cronbach alpha
Correlaciones interítem 
  Vieira39  Brasil, 2009  Portugués  40 ítems distribuidos en 9 dominios (no especificados)  306 residentes  −  Traducción al portugués y revisión por investigadores  √  AFE  −  −  −  Cronbach alpha 
  Riquelme et al.28  Chile, 2009  Español  40 ítems distribuidos en 5 dominios: percepciones de enseñanza y ambiente; enseñanza y soporte social (consejería), justicia en el programa, autonomía, alojamiento, catering e instalaciones)  125 residentes  −  Grupos focales con profesores y estudiantes luego de traducción  √  AFE  −  −  −  Cronbach alpha 
  Shokoohi et al.40  Irán, 2014  Persa  40 ítems distribuidos en 5 dominios: enseñanza; sistema educativo; facilidades; satisfacción en el trabajo; soporte social  128 residentes  −  Traducción al persa y revisión por expertos  √  AFE  −  −  −  Cronbach alpha 
  Gooneratne et al.41  Singapur, 2008  Sri Lanka (inglés)  34 ítems. Tras AFE investigadores describen 12 factores, sin embargo, consideran que el instrumento es unidimensional pues solo retienen el primer factor que ocupa 19,7% de la varianza  100 residentes  −  Traducción y adaptación al contexto de Sri Lanka por investigadores principales  √  AFE  −  −  −  Cronbach alpha 
  Al-Shiekh et al.42  Arabia Saudita, 2014  Inglés  40 ítems, estructura factorial similar al estudio original  193 internos y residentes de varias especialidades  −  −  −  −  −  −  −  Cronbach alpha 
  Pinnock et al.43  Australia, 2009  Inglés  40 ítems distribuidos en 2 factores (tras AFE): no descritos  53 Residentes de pediatría  −  Modificación de la redacción de algunos ítems y ajuste al contexto  √  AFE  −  −  −  Cronbach alpha 
  Jalili et al.44  Irán, 2014  Persa  37 ítems distribuidos en 11 dominios (no especificados) (tras AFE)  89 residentes de urgencias  −  Traducción, remoción de 3 ítem y adaptación  √  AFE  −  −  −  Cronbach alpha 
  Sch€onrock-Adema et al.45  Holanda, 2009  Holandés  40 ítems distribuidos en 3 dominios: contenido de aprendizaje y coaching; clima afectivo benéfico; regulación externa  279 residentes de 8 hospitales  Tras AFE se revisaron los factores a la luz de las teorías de funciones de aprendizaje  Traducción, revisión y adaptación al contexto por los investigadores principales  √  AFE-AFC  −  −  −  Cronbach alpha 
  Van Hell et al.46  Holanda, 2009  Holandés  40 ítems 3 sub-escalas (igual que versión original)  133 estudiantes de medicina  −  −  −  −  −  −  −  Cronbach alpha 
  Koutsogiannou et al.21  Grecia, 2015  Griego  40 ítems en 3 factores (tras AFE-AFC)  731 residentes diversas especialidades  −  Previamente trasladada. Revisión luego por panel de expertos  √  AFE-CFA  Establecida contra 1 ítem de satisfacción global con la rotación (alta convergencia)  −  −  Cronbach alpha 
  Sheikh et al.47  Pakistán, 2017  −  40 ítems 3 dominios (similar a versión original)  320 residentes de varias especialidades  −  Revisión de contenido de la escala y modificación de algunos de sus ítems de acuerdo conl contexto  −  −  −  −  −  Cronbach alpha 
  Herrera et al.32  Chile, 2012  Español  40 ítems 3 dominios (similar a versión original)  318 residentes diversas especialidades  −  −  −  −  −  −  −  Cronbach alpha/teoría de generalizabilidad 
  Clapham et al.48  Reino Unido, 2007  Inglés  40 ítems 3 dominios (similar a versión original)  134 residentes cuidado intensivo  −  −  √  −  −  −  −  Cronbach alpha 
  Binsaleh et al.49  Arabia Saudí, 2015  Inglés  40 ítems distribuidos en 3 dominios como en la versión original  38 residentes de urología  −  −  −  −  −  −  −  Cronbach alpha 
Dundee Ready Educational Environment Measure  De Oliveira Filho et al.25  Brasil, 2005  Portugués  50 ítems distribuidos en 5 factores iguales a versión original (tras AFE)  97 residentes de 4 programas de residencia  −  Revisión de redacción por investigadores  √  AFE  Validez discriminante fue alta entre instituciones, programas y especialidades  Calidad de vida evaluada mediante e Quality of School Life Inventory  −  Cronbach alpha. Teoría de generalizabilidad 
  Chhabra et al.50  India, 2016  Inglés  50 ítems distribuidos en 5 factores iguales a versión original (tras AFE)  35 residentes de medicina de urgencias  −  −  −  −  −  −  −  Cronbach alpha 
Dutch Residency Educational Climate Test  Boor et al.22  Holanda, 2011  Inglés  50 ítems distribuidos en 11 dominios: supervisión, coaching y evaluación, trabajo en equipo, retroalimentación, colaboración, relaciones profesionales entre los profesores, trabajo adaptado al residente, papel del profesor y educación formal, papel del tutor de la especialidad, cambio de turno  1.251 residentes. Sin embargo, ofrece medición agregada a nivel de departamentos  Marco teórico socio-cultural  Método Delphi entre expertos (revisaron cuestionario previo Dutch Residency Educational Climate Test 75 ítems)  √  AFE-AFC  −  −  −  Cronbach alpha. Teoría de generalizabilidad 
  Lombarts et al. 3  Holanda, 2014  Inglés  50 ítems distribuidos en 11 dominios (igual a versión original)  451 residentes de 45 programas en 17 hospitales  −  −  −  −  −  −  Desempeño de los profesores evaluado mediante el System for Evaluation of Teaching Qualities  − 
  Piek et al.51  Union Europea, 2015  Inglés  50 ítems distribuidos en 11 dominios (igual a versión original)  119 fellows de oncología ginecológica en Europa  −  −  −  −  −  −  −  Cronbach alpha 
  Silkens et al.23  Hola, 2016  Inglés  35 ítems distribuidos en 9 dominios: atmósfera educacional, papel del tutor de la especialidad, trabajo en equipo, coaching y evaluación, educación formal, colaboración entre residentes, adaptación del trabajo al nivel de competencia del residente, acceso a supervisores, cambio de turno (tras AFE)  2.306 residentes de 291 departamentos en 48 hospitales  −  Panel de expertos y método Delphi (revisión de Dutch Residency Educational Climate Test 50 ítems)  √  AFE AFC  −  −  −  Cronbach alpha adecuado, correlaciones interescala 
  Iblher et al.16  Alemania, 2015  Alemán  50 ítems distribuidos en 11 dominios (igual a versión original)  255 residentes de 17 hospitales  −  Se realizó traducción del instrumento original (Dutch Residency Educational Climate Test 50 ítems)  √  AFC  −  −  −  Cronbach alpha correlaciones inter-ítem y poder discriminante. Correlaciones interescala 
Diagnostic radiology clinical learning environment questionnaire  Bloomfield et al.52  Australia y Nueva Zelanda, 2008  Inglés  24 ítems distribuidos en 5 dominios: aprendizaje basado en el trabajo; atmosfera social; entrenamiento formal; supervisión; carga de trabajo (tras AFE)  133 residentes de radiología  −  Revisión de la literatura, adaptación de ítems de otros instrumentos y revisión por panel de expertos  √  AFE  −  −  −  Cronbach Alpha 

AFE: análisis factorial exploratorio; AFC: análisis factorial confirmatorio; GMC: General Medical Council; OMS: Organización Mundial de la Salud.

Figura 1.

Diagrama de flujo para la selección e inclusión de estudios en la revisión.

(0,2MB).

Los estudios que soportan la evidencia psicométrica sobre estos instrumentos fueron desarrollados en diferentes países y contextos culturales: Holanda (n = 6), Reino Unido (n = 6), Irán (n = 4), Arabia Saudí (n = 3), Chile (n = 4), Australia y Nueva Zelanda (n = 3), multicéntrico2, Brasil (n = 2), Dinamarca (n = 1), Grecia (n = 1), India (n = 1), Irlanda (n = 1), Japón (n = 1), Pakistán (n = 1), Canadá (n = 1), Singapur (n = 1), EE. UU. (n = 1) y Alemania (n = 1). El 100% de estos instrumentos se encontraron disponibles en idioma inglés (n = 11), el 18,1% (n = 2) en español, portugués, persa y holandés, y el 9% (n = 1) en otros idiomas (danés, holandés, griego, alemán y japonés). La disponibilidad de instrumentos según el idioma fue: SPEED (inglés), JEST (inglés), ACLEEM (español, inglés, persa), ATEEM (inglés), STEEM (inglés), OREEM (inglés), PEEM (inglés), PHEEM (inglés, español, japonés, danés, holandés, persa, portugués, griego), DREEM (portugués, inglés), D-RECT (inglés, holandés, alemán) y DR-CLE (inglés).

Finalmente, la mayoría de estos estudios incluyeron diferentes poblaciones de residentes distribuidos en diversos niveles de entrenamiento y especialidades clínicas y quirúrgicas, tanto en escenarios hospitalarios (unidades de cuidado intensivo, salas de cirugía, sala de urgencias, servicios de hospitalización y consulta), así como escenarios comunitarios (tabla 2). Del total, 2de los instrumentos fueron diseñados específicamente para evaluación del ambiente de aprendizaje en cirugía (STEEM, OREEM), uno para el ambiente de aprendizaje en anestesia (ATEEM), uno en el escenario ambulatorio (ACLEEM), uno para el ambiente de aprendizaje en radiología (DR-CLE) y el resto puede aplicarse de forma multifacética (SPEED, JEST, PHEEM, D-RECT, PEEM). Respecto a la teoría subyacente, solo D-RECT fue desarrollado con base en un marco teórico socio-cultural que explica el ambiente y el clima de aprendizaje. Sin embargo, es preciso anotar que JEST fue desarrollado con referencia a los estándares del General Medical Council (GMC) y ACLEEM con referencia a los planteamientos de la Organización Mundial de la Salud (OMS). Igualmente, la versión holandesa del PHEEM, tras el análisis factorial exploratorio (AFE), fue revisada a la luz de las teorías de funciones de aprendizaje.

Validez y confiabilidad de los instrumentos

a. Validez de contenido y apariencia: el 100% de los instrumentos originales cuentan con el uso, individual o combinado, de diversas técnicas de validación de contenido, como panel de expertos, método Delphi, grupos focales, entrevistas y revisión por expertos temáticos, entre otros (tabla 2). No obstante, las versiones en idioma inglés del STEEM diferentes de la original12,13, OREEM14,15, las versión traducida al alemán del D-RECT16 y las versiones en japonés17 y holandés18 del PHEEM no cuentan con nuevos análisis de validez de contenido. Igualmente, 9de los 11instrumentos poseen algún tipo de análisis de validez de apariencia (81%). Se exceptúan de este último tipo de validez el JEST19, el OREEM14,15 y algunas versiones de STEEM, PHEEM y D-RECT (tabla 2).

b. Validez de constructo: 9 de 11instrumentos (81%) cuentan con validez de constructo mediante AFE, exceptuando OREEM14,15 y PEEM20. Solo 2instrumentos (18,1%), en algunas de sus versiones, presentan validez de constructo mediante análisis factorial confirmatorio (AFC). En particular, la versión holandesa y griega de PHEEM18,21, así como la versión original y traducida al alemán de D-RECT 50 ítems22 y D-RECT 35 ítems23 cuentan con una combinación de AFE-AFC.

c. Validez convergente/divergente: 4 instrumentos cuentan con algún tipo de validación divergente/convergente en los estudios disponibles (36%). Se incluyen la versión persa de ACLEEM24, una de las versiones en inglés de OREEM14, la versión griega de PHEEM21 y la versión portuguesa de DREEM25.

d. Validez de criterio: 2 estudios cuentan con análisis de validez concurrente (18,1%) y 2de validez predictiva (18,1%). En cuanto a los de validación concurrente, un estudio evalúa JEST contra PHEEM19 y otro DREEM contra el Quality of School Life Inventory (QSL)25. Con relación a la validez predictiva, PHEEM y D-RECT ofrecen información en 2estudios. El primero en un estudio analiza los puntajes del PHEEM como predictor de desempeño académico17 y el segundo en un estudio en el que D-RECT predice desempeño de los profesores evaluado mediante el System for Evaluation of Teaching Qualities (SETQ) a partir de regresiones lineales multivariables3.

e. Confiabilidad: 9 de los 11instrumentos disponibles (81%) cuentan con algún tipo de análisis de confiabilidad, exceptuando ATEEM26 y PEEM20. Los estudios que respaldan este análisis demuestran alta confiabilidad de los instrumentos (tabla 2).

Ningún instrumento cumplió todos los tipos de validez. Teniendo en cuenta la heterogeneidad de los estudios seleccionados, referida a variabilidad en los participantes, las intervenciones y los resultados estudiados, así como la heterogeneidad metodológica, referida al diseño y análisis de los resultados de cada estudio10, no se consideró pertinente el conducir un análisis estadístico combinando los datos provenientes de los estudios para determinar su heterogeneidad estadística.

Discusión

Este estudio fue diseñado para describir las propiedades psicométricas de los instrumentos disponibles para la evaluación del clima de aprendizaje en residencias médicas, a la luz de las definiciones de validez y confiabilidad de Streiner et al.11. Un primer resultado indica que existen 11 instrumentos disponibles, siendo PHEEM, STEEM y D-RECT los más evaluados en la literatura. La mayor parte de estos instrumentos fueron desarrollados en Europa y todos están disponibles en idioma inglés (solo ACLEEM y PHEEM están disponibles en idioma español). Estos instrumentos evalúan escenarios quirúrgicos y clínicos, así como escenarios ambulatorios. Un segundo resultado es que la mayor parte de los instrumentos poseen algún tipo de evidencia que sustenta su validez de contenido, apariencia y constructo, aunque el uso de teoría educativa como marco conceptual es pobre. Igualmente, la evidencia disponible sobre la validez convergente y divergente, así como sobre la validez de criterio (concurrente y predictiva), es escasa. La mayoría de los instrumentos son altamente confiables. Finalmente, ningún instrumento ofrece evidencia sobre todos los tipos de validez propuestos.

El primer resultado puede explicarse por varias razones. La mayor proporción de instrumentos, así como de la evidencia que los respalda, provienen del contexto europeo. Las explicaciones pueden estar relacionadas con la tradición de la educación médica europea, presente como disciplina de conocimiento al menos durante los últimos 50 años, así como por el marco conceptual vigente orientado hacia la educación basada en resultados, enmarcada en el proceso de Bolonia de 1999 y luego en la Declaración de Bolonia27. Este último en particular puede explicar la necesidad de mayor evidencia empírica en torno al clima de aprendizaje en contextos de enseñanza clínica, orientada al mejoramiento del ambiente y a la toma de decisiones, para favorecer que los estudiantes alcancen las competencias esperadas en el marco de la declaración. También muchos de estos estudios provienen de procesos de investigación en centros académicos de educación para profesiones de la salud en Europa, en el escenario de maestrías y doctorados. No obstante, pese a esta tendencia, durante los últimos 10años varios de estos instrumentos han sido traducidos a múltiples idiomas, dando cuenta de la relevancia de la medición del clima de aprendizaje en contextos diferentes del europeo. Un caso particular ha sido el del PHEEM, hoy en día disponible en 8idiomas diferentes. Posiblemente, el crecimiento y la expansión global de la educación médica sean una explicación a este fenómeno. Sin embargo, en idioma español la disponibilidad de instrumentos es aún limitada. Precisamente, PHEEM ha sido el único traducido y validado28 y únicamente ACLEEM ha sido desarrollado como instrumento original29,30. En particular, la evidencia empírica disponible en idioma español no permite, hasta el momento, establecer comparaciones y un seguimiento longitudinal sobre el clima de aprendizaje en residencias médicas en la región latino e iberoamericana. Solo algunos estudios han evaluado la asociación entre el clima (medido por PHEEM) y otros desenlaces, como el «burnout syndrome» (síndrome de desgaste profesional)31, y otros han comparado el clima de aprendizaje en varias especialidades médicas dentro de una misma institución32. Se requieren nuevas investigaciones, traducciones, validaciones y adaptaciones culturales de otros instrumentos al idioma español.

El segundo resultado también tiene varias explicaciones. En primer lugar, el uso de la teoría educativa como marco conceptual para el desarrollo de estos instrumentos es pobre. Únicamente D-RECT posee un marco teórico que lo respalda, en tanto ACLEEM y JEST involucran algún tipo de referencia sobre la base de estándares y recomendaciones internacionales. En particular, el marco conceptual de D-RECT está enfocado en la evaluación a nivel colectivo (departamentos clínicos) y no solo de residentes, siendo el único instrumento empleado a este nivel. Al respecto, existe un llamado a que la investigación en educación para profesiones de la salud se apropie de la teoría educativa33. La mayoría de los instrumentos provienen de marcos conceptuales derivados de teoría fundada, cuya generalización requiere de nueva evidencia. Por ejemplo, pocos instrumentos traducidos y validados, en contextos diferentes del original, cuentan con nuevas validaciones de contenido y adaptaciones culturales que permitan soportar la generalización de sus resultados. La pérdida de este análisis puede afectar y explicar la variabilidad de los resultados en cuanto a otros tipos de validación y en particular la estructura factorial de los instrumentos. Cuestionarios como el PHEEM han pretendido dar una solución a este problema mediante la inclusión de diversas poblaciones, a través de diseños multicéntricos en una misma medición, lo cual ha permitido definir una estructura factorial estable aportando al mejoramiento de su validez de constructo34. No obstante, el resto de los instrumentos carecen de este tipo de evaluaciones. Se requieren nuevas investigaciones al respecto. Igualmente, otros tipos de validaciones son aún limitados. Un caso tiene que ver con el escaso número de estudios focalizados en la validación de criterio, tanto predictiva como concurrente. Respecto a la predictiva, solo uno de los 40 estudios incluye algún tipo de predicción entre el clima de aprendizaje, mediante PHEEM, y el desempeño académico. Igualmente, la comparación de la validez de estos instrumentos entre sí es pobre. Por ejemplo, solo un estudio compara JEST y PHEEM, lo cual impide que puedan establecerse diferencias objetivas respecto al rendimiento de los instrumentos. Igualmente, se requieren nuevos estudios al respecto. Esta limitación también afecta a la magnitud en la que los instrumentos están relacionados con otras variables y otras medidas del mismo constructo al que debe relacionarse (validez convergente y divergente). En la práctica, 4estudios ofrecen algún tipo de evidencia al respecto. Sin embargo, se requieren nuevos estudios que indiquen cómo la medición del clima de aprendizaje con distintos instrumentos se correlaciona entre sí (validez convergente), y como las medidas de distintos aspectos de clima de aprendizaje, utilizando el mismo instrumento, podrían demostrar una baja correlación, indicativa de aspectos independientes entre sí (validez divergente).

El presente estudio tiene fortalezas y debilidades. Dentro de las primeras, se encuentran el uso de un diseño sistemático para la revisión de la literatura, así como de un marco conceptual que permite analizar la evidencia a la luz de definiciones aceptadas. Algunas debilidades tienen que ver con la falta de análisis de las fortalezas intrínsecas de cada estudio en sus procesos de validación, en particular las que se relacionan con la valoración de la calidad propia del análisis psicométrico, así como de los aspectos propios de la heterogeneidad metodológica. Sin embargo, estos aspectos abren nuevas oportunidades de investigación. Otra debilidad está en la no inclusión de instrumentos utilizados para la evaluación del clima de aprendizaje provenientes de otras profesiones de la salud a nivel de posgrado. Si bien uno de los criterios de exclusión se refería a este específicamente, un número importante de instrumentos han sido desarrollados en otras disciplinas y podrían llegar a ser útiles a la educación médica en particular.

Igualmente este estudio ofrece oportunidades e identifica vacíos de conocimiento, que pueden ser útiles para la investigación futura. Varios han sido descritos anteriormente. Además, tiene implicaciones para la práctica. Una de estas tiene que ver con la síntesis descriptiva de los instrumentos disponibles a la fecha para la evaluación del clima de aprendizaje en posgrado, la cual puede servir como marco de referencia al momento de elegir un instrumento. También ofrece importante información descriptiva sobre los dominios que exploran estos cuestionarios, los cuales pueden ser útiles en mediciones de aspectos particulares del clima de aprendizaje. Finalmente, aporta elementos en cuanto a su validez y confiabilidad, que permiten que el lector tenga un marco comparativo e integrado de la evidencia disponible. En conclusión, el presente estudio ha explorado las características psicométricas de los instrumentos disponibles para la evaluación del clima de aprendizaje en posgrado mediante un método sistemático de análisis de la literatura, ofreciendo oportunidades para la práctica e investigación futura.

Financiación

Facultad de Medicina, Universidad de la Sabana, Colombia.

Conflicto de intereses

Ninguno.

Bibliografía
[1]
S. Roff, S. McAleer, A. Skinner.
Development and validation of an instrument to measure the posgraduate clinical learning and teaching educational environment for hospital-based junior doctors in the UK.
Med Teach., 27 (2005), pp. 326-331
[2]
M.D. Delva, J. Kirby, K. Schultz, M. Godwin.
Assessing the relationship of learning approaches to workplace climate in clerkship and residency.
Acad Med., 79 (2004), pp. 1120-1126
[3]
K.M. Lombarts, M.J. Heineman, A.J. Scherpbier, O.A. Arah.
Effect of the learning climate of residency programs on faculty's teaching performance as evaluated by residents.
[4]
J. Biggs, C. Tang.
Teaching for quality learning at university.
Society for Reasearch into Higher Education & Open University Press, (2007),
[5]
R. Ahmed, A. Farooq, D. Storie, L. Hartling, A. Oswald.
Building capacity for education research among clinical educators in the health professions: A BEME (Best Evidence Medical Education) Systematic Review of the outcomes of interventions: BEME Guide No. 34.
Med Teach., 38 (2016), pp. 123-136
[6]
Isba R, Boor K. Creating a learning environment. In: Dornan T. Mann K, Scherpbier A, Spencer J, editor. Medical education: theory and practice. New York: Churchill Livingstone, Elsevier; 2011. p. 99-114.
[7]
D. Soemantri, C. Herrera, A. Riquelme.
Measuring the educational environment in health professions studies: A systematic review.
Med Teach., 32 (2010), pp. 947-952
[8]
J.M. Genn.
AMEE Medical Education Guide No. 23 (Part 2): Curriculum, environment, climate, quality and change in medical education –a unifying perspective.
Med Teach., 23 (2001), pp. 445-454
[9]
J.M. Genn.
AMEE Medical Education Guide No. 23 (Part 1): Curriculum, environment, climate, quality and change in medical education—a unifying perspective.
Med Teach., 23 (2001), pp. 337-344
[10]
Higgins JPT, Green S (editores). Cochrane handbook for systematic reviews of interventions version 5.1.0 [updated March 2011] [consultado 24 Sep 2017]. The Cochrane Collaboration, 2011 Disponible en: www.cochrane-handbook.org.
[11]
Health Measurement Scales: A practical guide to their development and use, 5th ed.,
[12]
A. Mahoney, P.J. Crowe, P. Harris.
Exploring Australasian surgical trainees’ satisfaction with operating theatre learning using the ‘surgical theatre educational environment measure.
ANZ J Surg., 80 (2010), pp. 884-889
[13]
S. Binsaleh, A. Babaeer, A. Alkhayal, K. Madbouly.
Evaluation of the learning environment of urology residency training using the posgraduate hospital educational environment measure inventory.
Adv Med Educ Pract., 2 (2015), pp. 271-277
[14]
J. Kanashiro, S. McAleer, S. Roff.
Assessing the educational environment in the operating room-a measure of resident perception at one Canadian institution.
Surgery., 139 (2006), pp. 150-158
[15]
G.B. Diwadkar, J.E. Jelovsek.
Measuring surgical trainee perceptions to assess the operating room educational environment.
J Surg Educ., 67 (2010), pp. 210-216
[16]
P. Iblher, M. Zupanic, T. Ostermann.
The Questionnaire D-RECT German: Adaptation and testtheoretical properties of an instrument for evaluation of the learning climate in medical specialist training.
GMS Z Med Ausbild., 32 (2015),
Doc55
[17]
T. Shimizu, Y. Tsugawa, Y. Tanoue, R. Konishi, Y. Nishizaki, M. Kishimoto, et al.
The hospital educational environment and performance of residents in the General Medicine In-Training Examination: A multicenter study in Japan.
Int J Gen Med., 29 (2013), pp. 637-640
[18]
K. Boor, F. Scheele, C.P. van der Vleuten, A.J. Scherpbier, P.W. Teunissen, K. Sijtsma.
Psychometric properties of an instrument to measure the clinical learning environment.
[19]
D. Wall, H. Goodyear, B. Singh, A. Whitehouse, E. Hughes, J. Howes.
A new tool to evaluate posgraduate training posts: The Job Evaluation Survey Tool (JEST).
BMC Med Educ., 2 (2014), pp. 210
[20]
A. Mulrooney.
Development of an instrument to measure the Practice Vocational Training Environment in Ireland.
Med Teach, 27 (2005), pp. 338-342
[21]
P. Koutsogiannou, I.D. Dimoliatis, S. Mavridis Bellos, V. Karathanos, E. Jelastopulu.
Validation of the Postgraduate Hospital Educational Environment Measure (PHEEM) in a sample of 731 Greek residents.
Res Notes., 30 (2015), pp. 734
[22]
K. Boor, C. van der Vleuten, P. Teunissen, A. Scherpbier, F. Scheele.
Development and analysis of D-RECT, an instrument measuring residents’ learning climate.
Med Teach., 33 (2011), pp. 820-827
[23]
M.E. Silkens, A. Smirnova, R.E. Stalmeijer, O.A. Arah, A.J. Scherpbier, C. van der Vleuten, et al.
Revisiting the D-RECT tool: Validation of an instrument measuring residents’ learning climate perceptions.
Med Teach., 38 (2016), pp. 476-481
[24]
M.M. Parvizi, M. Amini, M.R. Dehghani, P. Jafari, Z. Parvizi.
Psychometric properties of the Persian version of the Ambulatory Care Learning Educational Environment Measure (ACLEEM) questionnaire, Shiraz, Iran.
Adv Med Educ Pract., 29 (2016), pp. 559-566
[25]
G.R. De Oliveira Filho, J.E. Vieira, L. Schonhorst.
Psychometric properties of the Dundee Ready Educational Environment Measure (DREEM) applied to medical residents.
Med Teach., 27 (2005), pp. 343-347
[26]
M.C. Holt, S. Roff.
Development and validation of the Anaesthetic Theatre Educational Environment Measure (ATEEM).
Med Teach., 26 (2004), pp. 553-558
[27]
M. Patrício, R.M. Harden.
The Bologna Process —A global vision for the future of medical education.
Med Teach., 32 (2010), pp. 305-315
[28]
A. Riquelme, C. Herrera, C. Aranis, J. Oporto, O. Padilla.
Psychometric analyses and internal consistency of the PHEEM questionnaire to measure the clinical learning environment in the clerkship of a Medical School in Chile.
Med Teach., 31 (2009), pp. e221-e225
[29]
A. Riquelme, O. Padilla, C. Herrera, T. Olivos, J.A. Román, A. Sarfatis, et al.
Development of ACLEEM questionnaire, an instrument measuring residents’ educational environment in posgraduate ambulatory setting.
Med Teach., 35 (2013), pp. e861-e866
[30]
A. Riquelme, O. Padilla, C. Herrera, T. Olivos, J.A. Román, A. Sarfatis, et al.
Medición del ambiente educacional en contextos ambulatorios.
Ed Med, 16 (2015), pp. 131-140
[31]
J. Llera, E. Durante.
Correlation between the educational environment and burn-out syndrome in residency programs at a university hospital.
Arch Argent Pediatr., 112 (2014), pp. 6-11
[32]
C.A. Herrera, T. Olivos, J.A. Román, A. Larraín, M. Pizarro, N. Solís, et al.
Evaluation of the educational environment in medical specialty programs.
Rev Med Chil., 140 (2012), pp. 1554-1561
[33]
W. McMillian.
Theory in healthcare education research: The importance of worldwide.
Researching medical education, 1st ed.,
[34]
D. Wall, M. Clapham, A. Riquelme, J. Vieira, R. Cartmill, K. Aspegren, et al.
Is PHEEM a multi-dimensional instrument? An international perspective.
Med Teach., 31 (2009), pp. e521-e527
[35]
J. Schönrock-Adema, M. Visscher, A.N. Raat, P.L. Brand.
Development and validation of the Scan of Postgraduate Educational Environment Domains (SPEED): A brief instrument to assess the educational environment in postgraduate medical education.
PLoS One., 10 (2015), pp. e0137872
[36]
Z. Naghizadeh Moogari, J. Koohpayehzadeh, S. Roff, A. Montazeri, S.K. Soltani Arabshahi, S. Bigdeli, et al.
Psychometric analysis of the ambulatory care learning education environment measure (ACLEEM) in Iran.
Med J Islam Repub Iran., 21 (2015), pp. 299
[37]
K. Cassar.
Development of an instrument to measure the surgical operating theatre learning environment as perceived by basic surgical trainees.
Med Teach, 26 (2004), pp. 260-264
[38]
K. Aspegren, L. Bastholt, K.M. Bested, T. Bonnesen, E. Ejlersen, I. Fog, et al.
Validation of the PHEEM instrument in a Danish hospital setting.
Med Teach., 29 (2007), pp. 498-500
[39]
J.E. Vieira.
The posgraduate hospital educational environment measure (PHEEM) questionnaire identifies quality of instruction as a key factor predicting academic achievement.
Clinics (Sao Paulo)., 63 (2008), pp. 741-746
[40]
S. Shokoohi, A. Hossein Emami, A. Mohammadi, S. Ahmadi, R. Mojtahedzadeh.
Psychometric properties of the posgraduate hospital educational environment measure in an Iranian hospital setting.
Med Educ Online., 19 (2014), pp. 24546
[41]
I.K. Gooneratne, S.R. Munasinghe, C. Siriwardena, A.M. Olupeliyawa, I. Karunathilake.
Assessment of psychometric properties of a modified PHEEM Questionnaire.
Ann Acad Med Singapore., 37 (2008), pp. 993-997
[42]
M.H. Al-Shiekh, M.H. Ismail, S.A. Al-Khater.
Validation of the posgraduate hospital educational environment measure at a Saudi University Medical School.
Saudi Med J., 35 (2014), pp. 734-738
[43]
R. Pinnock, P. Reed, M. Wright.
The learning environment of paediatric trainees in New Zealand.
J Paediatr Child Health., 45 (2009), pp. 529-534
[44]
M. Jalili, S. Mortaz Hejri, M. Ghalandari, M. Moradi-Lakeh, A. Mirzazadeh, S. Roff.
Validating modified PHEEM questionnaire for measuring educational environment in academic emergency departments.
Arch Iran Med., 17 (2014), pp. 372-377
[45]
J. Sch€onrock-Adema, M. Heijne-Penninga, E.A. Van Hell, J. Cohen-Schotanus.
Necessary steps in factor analysis: Enhancing validation studies of educational instruments. The PHEEM applied to clerks as an example.
Med Teach., 31 (2009), pp. e226-e232
[46]
E.A. Van Hell, J.B. Kuks, J. Cohen-Schotanus.
Time spent on clerkship activities by students in relation to their perceptions of learning environment quality.
[47]
S. Sheikh, B. Kumari, M. Obaid, N. Khalid.
Assessment of posgraduate educational environment in public and private hospitals of Karachi.
J Pak Med Assoc., 67 (2017), pp. 171-177
[48]
M. Clapham, D. Wall, A. Batchelor.
Educational environment in intensive care medicine —use of Postgraduate Hospital Educational Environment Measure (PHEEM).
Med Teach., 29 (2007), pp. e184-e191
[49]
S. Binsaleh, A. Babaeer, D. Rabah, K. Madbouly.
J Evaluation of urology residents’ perception of surgical theater educational environment.
Surg Educ., 72 (2015), pp. 73-79
[50]
S. Chhabra, A. Misra, S. Shah, T. Kole.
Survey of student perception of medical education environment among emergency medicine residents of an academic medical centre in Northern India.
Int J Emerg Med., 9 (2016), pp. 5
[51]
J. Piek, M. Bossart, K. Boor, M. Halaska, D. Haidopoulos, I. Zapardiel, et al.
The work place educational climate in gynecological oncology fellowships across Europe: the impact of accreditation.
Int J Gynecol Cancer., 25 (2015), pp. 180-190
[52]
L. Bloomfield, R. Subramaniam.
Development of an instrument to measure the clinical learning environment in diagnostic radiology.
J Med Imaging Radiat Oncol., 52 (2008), pp. 262-268
Copyright © 2018. Elsevier España, S.L.U.. Todos los derechos reservados
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

es en pt
Política de cookies Cookies policy Política de cookies
Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continua navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí. To improve our services and products, we use "cookies" (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here. Utilizamos cookies próprios e de terceiros para melhorar nossos serviços e mostrar publicidade relacionada às suas preferências, analisando seus hábitos de navegação. Se continuar a navegar, consideramos que aceita o seu uso. Você pode alterar a configuração ou obter mais informações aqui.