El Examen Clínico Objetivo Estructurado (ECOE) es una metodología de evaluación que permite medir de manera válida las competencias clínicas en estudiantes de fisioterapia a través de estaciones previamente estandarizadas.
ObjetivoDeterminar la validez de contenido del instrumento ECOE-LM 2017 para la medición de competencias clínicas en el examen, evaluación, diagnóstico, pronóstico e intervención de una persona con lumbalgia mecánica en fisioterapia.
MétodosSe diseñó un instrumento de seis estaciones evaluado con la técnica de juicio de expertos, para posteriormente calcular la confiabilidad interobservador a través de Fleiss’ Kappa, por medio del ReCal; adicionalmente se identificó el índice de aceptabilidad.
ResultadosSe obtiene un índice kappa de 0,82 (casi perfecto) que da cuenta de una buena confiabilidad para el instrumento.
ConclusionesSe cuenta con un instrumento con una buena concordancia para su empleo en los procesos educativos.
The Objective Structured Clinical Examination (ECOE) is an evaluation methodology that allows to validly measure clinical competencies in Physiotherapy students through previously standardized stations.
ObjectiveTo determine the content validity of the ECOE-LM 2017 instrument for the measurement of clinical competencies in the examination, evaluation, diagnosis, prognosis and intervention of a person with mechanical low back pain in Physiotherapy.
MethodsAn instrument of six stations evaluated with the expert judgment technique was designed to subsequently calculate the inter-observer reliability, through Fleiss’ Kappa, by means of the ReCal, additionally the acceptability index was identified.
ResultsA Kappa index of 0.82 (almost perfect) is obtained, which shows good reliability for the instrument.
ConclusionsThere is an instrument with good agreement for its use in educational processes.
- -
El ECOE es un instrumento confiable para su empleo en procesos académicos.
- -
La validez del ECOE-LM 2017 es casi perfecta y contribuye a la medición de competencias clínicas en estudiantes de fisioterapia.
- -
Es importante contar con instrumentos válidos y confiables para la medición y el seguimiento de competencias profesionales.
El proceso de evaluación de las competencias en salud, entendidas como «el habitual y juicioso uso de la comunicación, conocimiento, habilidades técnicas, razonamiento clínico, emociones, valores y reflexión en la práctica diaria para el beneficio de individuos y comunidades que se sirven»1 en los programas de formación, entre ellos el de fisioterapia, presenta retos para la medición de competencias de forma confiable, ya que son escasos los instrumentos que puedan reportar medidas psicométricas soportadas en la exactitud, la validez y la confiabilidad.
En la medición del desarrollo, el seguimiento y la evaluación de competencias en áreas de la salud, como en fisioterapia, se identifican diversos métodos: el examen escrito, las evaluaciones de los médicos supervisores, la simulación clínica, las evaluaciones multirrecurso (360grados) y los portafolios1; para el caso de la simulación clínica, una de las herramientas empleadas es el Examen Clínico Objetivo Estructurado (ECOE), que permite valorar conocimientos, habilidades y actitudes específicas en el desempeño por estaciones que proveen un significado sistemático para evaluar un set de diversos aspectos1,2.
El ECOE parte de un objetivo de evaluación claro para cada estación, y al final la sumatoria de estas aporta la evidencia del logro de competencias en la atención de la persona por parte del fisioterapeuta. Dentro de sus componentes se requiere definir el lugar del encuentro (consulta externa, urgencias, etc.), el tipo de encuentro (consulta, control, seguimiento, etc.) y el tipo de interacción (examen, intervención, etc.); de igual manera, hay estaciones de procedimientos (dinámicas) y de interpretación de datos (estáticas)3.
El ECOE como instrumento evaluativo fue empleado en esta investigación considerando sus propiedades psicométricas con un alfa de Cronbach de 0,80-0,884; adicionalmente, según Epstein, debe tener como características un mínimo de 10 estaciones en un tiempo de 3 a 4h, lo que le da una fiabilidad de 0,85-0,90. Asimismo, es empleado para evaluar diferentes habilidades: las comunicativas5,6, las relacionadas con la empatía7, las clínicas8 y las de desempeño y psicomotoras9; de igual manera, con relación a la validez de constructo se reconoce el estudio en reumatología10.
En general el ECOE evalúa habilidades determinantes en la competencia clínica en las diferentes profesiones de la salud; esta competencia está integrada por habilidades cognitivas, psicomotrices y actitudinales que requieren información cualitativa y cuantitativa; dentro de las habilidades clínicas se tienen: desarrollo del interrogatorio y examen físico acertados, junto con la toma de decisiones para el abordaje, el diagnóstico, el tratamiento y las medidas preventivas. Algunos autores afirman que esta competencia es evaluada de forma subjetiva, ya que pocas veces se emplean instrumentos estandarizados8. El ECOE es considerado la regla de oro, pero a su vez exige rigor metodológico para su diseño en aspectos como la elaboración de estaciones, la capacitación de evaluadores, el considerar los pasos para la ejecución (Pre-briefing, Exam, De-briefing) y el control de aspectos que interfieran en su aplicación8,11,12.
El desarrollo de las competencias clínicas en el fisioterapeuta está influenciado por la experiencia lograda en la atención continua de pacientes que le permite la realización, el análisis y la interpretación de pruebas de evaluación y diagnóstico fisioterapéutico, y la interacción con el movimiento corporal, utilizando diferentes estrategias para la recuperación de la salud, como lo describe el perfil profesional del fisioterapeuta en Colombia13.
Estas competencias también pueden identificarse en las prácticas simuladas, en las que los estudiantes son participantes activos de su aprendizaje, y asimismo en las evaluaciones tipo ECOE; a través de estas se pueden desarrollar habilidades de valoración empleando pacientes simulados (entrenados o estandarizados) para incrementar la confianza, reducir la ansiedad y proveer seguridad en el medio de aprendizaje para habilidades prácticas; además, se comprueba que el empleo de pacientes simulados tiene una efectividad comparable a la que se obtiene con pacientes auténticos en la competencia clínica14-16. Para esta investigación se construyó un ECOE, estableciendo como condición de salud a evaluar la lumbalgia mecánica (LM) a partir de la toma de decisiones en la práctica fisioterapéutica, fundamental para el desarrollo del perfil profesional13.
Para la elaboración del ECOE se diseñaron seis estaciones17, que teniendo en cuenta la propuesta de la American Physical Therapy Association (APTA)18 se denominaron: a)anamnesis; b)análisis de la información a través de la selección de categorías a examinar; c)aplicación de test y medidas;d) registro (diagnóstico, pronóstico e intervención); e)fisioterapia basada en la evidencia a partir de la selección del artículo con mayor nivel de investigación, y f)educación en fisioterapia.
En cada una de las estaciones se integraron tres aspectos fundamentales de las competencias: a)el cognitivo, que conduce a la apropiación, la comprensión y la interiorización del conocimiento; b)la puesta en práctica de las habilidades o destrezas, que llevan a la aplicación del saber, y c)el ser como aspecto más importante del proceso formativo, dado el carácter actitudinal y comportamental. Adicionalmente se estableció por estación un peso específico con respecto al total del instrumento, sumando al final un 100%. Así, el presente artículo tiene como propósito determinar la validez de contenido del instrumento ECOE-LM 2017 para la medición de competencias clínicas en el examen, la evaluación, el diagnóstico, el pronóstico y la intervención de un paciente con lumbalgia mecánica en fisioterapia.
Materiales y métodoEn este estudio se elaboró un ECOE constituido por seis estaciones, donde a cada estación se le asignó un peso porcentual con el propósito de identificar la importancia en el proceso de evaluación y formación del estudiante, pesos que sumaban 100%; a su vez, cada estación se discriminó de forma específica desde ítems o baremos que se estructuraron de acuerdo con el objetivo de formación a evaluar, baremos que en el proceso de evaluación serían calificados por el docente responsable de la estación de acuerdo a la siguiente escala: 2, lo realizó completamente; 1, lo realizó parcialmente, y 0, no lo realizó.
Atendiendo a la importancia del ECOE en la evaluación de los estudiantes de fisioterapia, se hizo necesario llevar a cabo la validación de contenido, donde el primer paso fue la evaluación por expertos de los baremos y las estaciones que componen el ECOE (anexo A), empleando la técnica de juicios de expertos propuesta por Escobar y Cuervo, contando con un total de cinco jueces19.
Los jueces evaluaron en una matriz los siguientes aspectos: suficiencia (los ítems que pertenecen a una misma dimensión bastan para obtener la medición de esta), claridad (el ítem se comprende fácilmente, es decir, su sintáctica y semántica son adecuadas), coherencia (el ítem tiene relación lógica con la dimensión o indicador que está midiendo), relevancia (el ítem es esencial o importante, es decir, debe ser incluido) y pertinencia (el ítem evalúa lo que se pretende evaluar), de cada uno de los ítems o baremos y las estaciones establecidas en el ECOE, para evaluar el desempeño de los estudiantes de fisioterapia en el proceso de examen e intervención de un paciente con lumbalgia mecánica de acuerdo con las estaciones descritas previamente20,21. La evaluación se realizó a partir de una escala de respuesta tipo Likert: 1, no cumple con el criterio; 2, bajo nivel; 3, moderado nivel, y 4, alto nivel. Una vez evaluado el ECOE por parte de los expertos, se realizó la verificación de los resultados y se realizaron las observaciones de mejora sugeridas por ellos.
Para el cálculo de la confiabilidad interobservador se registraron y almacenaron los datos obtenidos en el juicio de expertos en una hoja de cálculo Excel 2016 de Microsoft® y se obtuvo el coeficiente de confiabilidad para múltiples codificadores nominales: por medio del Fleiss’ Kappa, del ReCal22. Datos que fueron interpretados a partir de la clasificación de Landis23.
Además, se calculó el índice de aceptabilidad de acuerdo entre jueces, resultante de la sumatoria de la calificación de cada ítem; el referente de interpretación es 0,70 a 0,79 aceptable, valores iguales o superiores a 0,80 grados de aceptabilidad superior y valores cercanos a 1 grado de acuerdo mayor24; la versión final se sometió adicionalmente a evaluación de la comprensibilidad por 57 estudiantes de fisioterapia evidenciando la aprehensión de los ítems evaluados25. Esta investigación fue aprobada por el comité de Ética y Bioética de la Universidad de Boyacá (Acta 164 del 9 de junio de 2016).
ResultadosCon relación a la validez de contenido se evidencia que el ECOE reporta un grado de concordancia casi perfecto, índice kappa de 0,82, lo que hace de este un instrumento válido para su empleo en la evaluación, como se evidencia en la tabla 1; adicionalmente, en la tabla 2 el índice de aceptabilidad entre jueces se califica entre aceptable y superior, datos que indican consistencia entre las evaluaciones de los expertos.
Índice de aceptabilidad de acuerdo entre jueces
| Estación | Par 1-4 | Par 1-3 | Par 1-2 | Par 2-4 | Par 2-3 | Par 3-4 |
|---|---|---|---|---|---|---|
| Anamnesis | 100% | 84,61% | 86,15% | 86,15% | 89,23% | 84,61% |
| Aplicación de test y medidas | 100% | 100% | 64,61% | 64,61% | 64,61% | 100% |
| Ejecución del test | 100% | 69,23% | 89,23% | 89,23% | 64,61% | 69,23% |
| Diagnóstico y pronóstico | 100% | 75% | 70% | 70% | 58,33% | 75% |
| Fisioterapia basada en la evidencia (FBE) | 100% | 100% | 70% | 70% | 70% | 100% |
| Educación a paciente | 100% | 88,88% | 82,22% | 82,22% | 71,11% | 88,88% |
| ECOE total | 100% | 84,84% | 76,09% | 76,09% | 69,02% | 84,84% |
Fuente: este estudio.
Por último, con relación a la evaluación de la comprensibilidad realizada por los estudiantes, se obtuvo: anamnesis (87%), aplicación de test y medidas (91%), ejecución del test (95,2%), diagnóstico y pronóstico (93%), FBE (61%) y educación al paciente (98%), con un promedio general del 87,5%, lo que evidencia la calidad y la comprensión de las preguntas; con relación a la estación de menor comprensión, se asume que puede ser resultado de una menor apropiación y reconocimiento de términos relacionados con diseños investigativos y análisis de datos (estadística).
DiscusiónTeniendo en cuenta que la validez de contenido y la reproducibilidad hacen parte del proceso de validación, se consideran importantes para interpretar y explorar óptimamente los resultados que brinda el ECOE; según el promedio de porcentaje de acuerdo con pares, se obtuvo un índice kappa en cuanto al acuerdo observado y el acuerdo esperado (concordancia) para las estaciones denominadas Anamnesis, Análisis de la información, Aplicación de test y medidas, Fisioterapia basada en la evidencia y Educación a paciente, de 0,81-0,86; en lo concerniente a la estación denominada Registro (diagnóstico, pronóstico e intervención) el grado fue de 0,76, lo cual se interpreta, según la clasificación de Landis, como casi perfecto y sustancial, respectivamente17.
De acuerdo con el índice kappa, se obtiene un amplio espectro de valores intermedios que se interpretan teniendo como referencia la complejidad de la evaluación y el número de categorías a evaluar, es decir, la interpretación es relativa al fenómeno medido19, lo cual está expuesto en las estaciones con los respectivos baremos de evaluación, donde en cada una se midieron diferentes características relacionadas con el papel del estudiante en la simulación; para la investigación en cuestión es relevante anotar que este índice no aporta información alguna sobre la cualidad de la medición realizada por los observadores, pues está diseñado para estimar la magnitud de la concordancia entre ambos. Por ejemplo, dos observadores pueden presentar una concordancia diagnóstica «casi perfecta» (κ ≠ 0,80-1,00) y, sin embargo, ambos pueden estar «concordantemente equivocados» respecto al desempeño real del estudiante26.
En el estudio de Trejo et al.27 el ECOE presentó una adecuada confiabilidad global, medida mediante el alfa de Cronbach, de 0,62 y 0,64 en el pre y el postest, respectivamente. Sin embargo, es posible valorar y complementar la confiabilidad del instrumento con la teoría de la generalizabilidad. En revisiones narrativas y sistemáticas (como las realizadas en las universidades de Adelaida, de Limburgo, de Massachusetts y de Toronto, entre otras) sobre el ECOE se ha explorado la confiabilidad o la consistencia de los juicios realizados por los evaluadores/examinadores, lo que tiene una importancia crítica, puesto que en un ECOE típico, debido a su número, las estaciones individuales descansan en el juicio de un solo examinador. Generalmente esta variable ha sido explorada en trabajos de investigación con métodos para medir la confiabilidad interobservador, como el coeficiente de correlación intraclase, la estadística kappa o la teoría de generalizabilidad, y el peso de la evidencia sugiere que, en la mayoría de los estudios publicados, la confiabilidad interobservador es aceptable.
Atendiendo a lo expuesto en el párrafo anterior, el índice kappa respecto a la escala de evaluación de las estaciones, destaca en la estación denominada Diagnóstico y Pronóstico un valor de 0,76 referente al grado de concordancia, según la escala corresponde a sustancial y la estación referida como Ejecución del test valor grado de concordancia es 0,81 casi perfecto respecto a la escala. Este coeficiente refleja la concordancia inter-observador, que los respectivos expertos concluyeron según lo caracterizado para el ECOE, a utilizarse en la investigación interinstitucional objeto de esta validez de contenido.
El ECOE, según la realimentación de los estudiantes, fue bien recibido desde el proceso; asimismo, como limitaciones identificadas a partir de este estudio se reconoce, en primer lugar, la imposibilidad de ser exhaustivo en la evaluación, al tener las estaciones y baremos preestablecidos sin posibilidad de modificación o ampliación durante el examen, y ello teniendo en cuenta que la elaboración de un escenario y la creación de la matriz de evaluación pueden omitir aspectos importantes de la formación, igualmente evaluables; así, lo resumen Brosnan et al.28 en el año 2006, quienes recalcan la poca literatura disponible acerca de la efectividad de los ECOE relacionados con la educación en enfermería; incluso se refieren a una advertencia hecha en 1998 por Nicol and Freeth, quienes afirman que este método puede provocar que se perciba la enfermería simplemente como un grupo de tareas y que se impida la amplitud en la valoración de las habilidades de comunicación.
Como segunda limitación de este estudio, se presentó la dificultad para analizar la confiabilidad intraobservador teniendo en cuenta la limitante en el número de evaluadores disponible en cada prueba, lo que no permitió garantizar que siempre fueran los mismos; sin embargo, esto no afecta la validez del ECOE, considerando que está diseñado para que cualquier evaluador lo aplique sin repercutir en la calificación obtenida por el estudiante.
Finalmente, recordar que la evaluación gira en torno a tres ejes: a)debe constituirse en un elemento de autoevaluación, tanto para el alumno como para el docente; b)debe ser consistente con las concepciones del proceso de enseñanza y aprendizaje, y c)debe permitir evaluar todos los aspectos comprometidos con los procesos de aprendizaje, por lo que se considera necesario desarrollar programas de evaluación en los que se emplee una cantidad de instrumentos diversos y donde cada técnica sea adecuada. En el diseño de instrumentos de evaluación se tendrá en cuenta que estos deben demostrar la adquisición de competencias del futuro profesional, entendidas estas como la utilización de conocimientos, habilidades y buen juicio asociados a la profesión, en todas las situaciones a las que se pueda enfrentar en la práctica profesional29.
El ECOE se constituye así en un método que permite tanto potenciar el proceso de aprendizaje como identificar deficiencias en las habilidades de aprendizaje, las cuales pueden ser corregidas. Por otra parte, es importante no olvidar que el rol que cumple el tutor es fundamental, especialmente en los cursos clínicos, de tal manera que mejores docentes determinan mejores alumnos. Este método, que no se plantea como excluyente de las otras modalidades evaluativas, pretende dotar al examen de un mayor contenido práctico30.
ConclusionesSe concluye que se cuenta con un instrumento para la evaluación del abordaje de la lumbalgia mecánica válido y confiable desde la validez de contenido y la confiabilidad interobservador, que adicionalmente presentó buena comprensibilidad por parte de los estudiantes, lo que permite contar con un instrumento en la práctica docente y el proceso de formación de los estudiantes de fisioterapia. Entonces, este instrumento puede ser implementado en los cursos clínicos como complemento a diversas herramientas evaluativas utilizadas tradicionalmente, y no solamente como exámenes sumativos sino formativos.
Aplicaciones clínicasContar con un instrumento válido para la evaluación de la competencia de razonamiento clínico supone la estandarización de procesos para el desempeño profesional, lo que conduce al desarrollo de prácticas fundamentadas en una secuencia de integración de conocimientos y habilidades.
FinanciaciónLos resultados de la investigación hacen parte del proyecto «Práctica simulada en estudiantes de fisioterapia para la toma de decisiones en la competencia clínica durante la atención de una persona con lumbalgia mecánica. Colombia», financiado por la Asociación Colombiana de Facultades de Fisioterapia (ASCOFAFI), la Universidad de La Sabana y la Universidad de Boyacá, entidades que no influenciaron el diseño del estudio.
Conflicto de interesesLos autores declaran no tener ningún conflicto de interés.
A los expertos Adalberto Amaya Afanador, Diana Alejandra Zapata Fernández, Edgar Debray Hernández Álvarez, Jaime Andrés Torres Ortiz y Verónica Rita Dias Coutinho.
