Buscar en
Educación Médica
Toda la web
Inicio Educación Médica Fiabilidad de una escala para la evaluación de competencias enfermeras: estudio...
Información de la revista
Vol. 20. Núm. 4.
Páginas 221-230 (Julio - Agosto 2019)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
2344
Vol. 20. Núm. 4.
Páginas 221-230 (Julio - Agosto 2019)
ORIGINAL
Open Access
Fiabilidad de una escala para la evaluación de competencias enfermeras: estudio de concordancia
Reliability of a scale for the evaluation of nurses competence: Concordance study
Visitas
...
Mercedes Gómez del Pulgar García Madrida,b,
Autor para correspondencia
, Sonsoles Hernández-Iglesiasb, Almudena Crespo Cañizaresb, Ana María Pérez Martínb, Máximo A. González Juradoc,d, Juan Vicente Beneit Montesinosd
a Instituto Español de Investigación Enfermera, Consejo General de Enfermería de España, Facultad de Ciencias de la Salud, Universidad Francisco de Vitoria, Madrid, España
b Facultad de Ciencias de la Salud, Universidad Francisco de Vitoria, Madrid, España
c Consejo General de Enfermería de España, Universidad Complutense de Madrid, Madrid, España
d Universidad Complutense de Madrid, Madrid, España
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (3)
Tabla 1. Criterios y descriptores de nivel de competencia
Tabla 2. Alfa de Cronbach
Tabla 3. Coeficiente de correlación Tau-b de Kendall
Mostrar másMostrar menos
Resumen
Introducción

Evaluar las competencias es una cuestión de importancia que ocupa un lugar primordial en el contexto de la educación superior. Para ello, es necesario disponer de instrumentos que reúnan criterios de validez y fiabilidad, y que puedan ser utilizados en escenarios de desempeño, capacidad y actuación profesional. Por esta razón, nos planteamos el siguiente objetivo: determinar la concordancia intra e interobservador de una escala para la evaluación de competencias enfermeras (ECOEnf) en España.

Material y método

Estudio observacional, descriptivo y transversal para evaluar la fiabilidad mediante el análisis de concordancia intra e interobservadores de la escala «ECOEnf». Se utilizó la prueba no paramétrica Tau-b de Kendall para establecer la correlación, aplicada a la misma población, en el mismo tiempo, por 2observadores diferentes.

Resultado

La concordancia intraobservador se obtuvo una excelente consistencia interna (r = 0,98). Respecto a la concordancia entre observadores se mostraron escasos ítems con una correlación menor de 0,5; sin embargo, todos los ítems cumplen con una buena fiabilidad, estadísticamente significativa, p valor < 0,05.

Conclusión

En general, al realizar la correlación entre los resultados de la herramienta medido 2veces por diferentes observadores en el mismo momento se encontró estadísticamente una buena concordancia, por lo cual se considera un instrumento fiable para ser utilizado en la evaluación de las competencias enfermeras en España.

Palabras clave:
Evaluación de competencias
Evaluación educativa
Certificación
Formación en enfermería
Abstract
Introduction

Competences assessment is an important issue, playing a key role in higher education. It is necessary to have an evaluation instrument that meet validity and reliability criteria and can be used in different clinical scenarios for professional performance measurement. For this reason, we set ourselves the following objective: Establishing the intra- and inter-observer concordance of a scale for the evaluation of nursing competencies (ECOEnf) in Spain.

Material and method

An observational, descriptive, cross-sectional study was conducted to evaluate the reliability of the “ECOEnf” scale using intra- and inter-observer analysis. Kendall's Tau-b non-parametric test was used for establishing correlation, applied to the same population, at the same time, by 2different observers.

Results

Intra-observer concordance was obtained an excellent degree of internal consistency (r=0.98), Regarding inter-observer concordance, few items had a correlation lower than 0.5. However, all items display a sound statistically significant reliability with a p-value <0.05.

Conclusion

In general, when establishing the correlation between the results of the instrument measured twice by different observers at the same time, was found a statistically good concordance. For this reason, it is regarded as a reliable instrument to be used in the evaluation of nursing competencies.

Keywords:
Competence assessment
Educational assessment
Certification
Nursing education
Texto completo
Introducción

La formación de enfermeros en España tiene como objetivo disponer de profesionales que proporcionen cuidados de calidad de forma competente1,2. Esta formación se ajusta a las directrices establecidas por el Espacio Europeo de Educación Superior, la Directiva Europea de cualificaciones profesionales3 y la legislación nacional4, que señala, además, la necesidad de rendir cuentas sobre la adquisición de competencias5. Un aspecto fundamental de esta formación es la elevada carga lectiva que suponen prácticas clínicas (PC)6,7 y que vienen determinadas por la mencionada directiva de cualificaciones.

Se entiende por competencia «la intersección entre conocimientos, habilidades, actitudes y valores, así como la movilización de estos componentes, para transferirlos al contexto o situación real, creando la mejor actuación/solución, para dar respuesta a las diferentes situaciones y problemas que se planteen en cada momento, con los recursos disponibles»8.

En Enfermería, las competencias surgen de las grandes funciones establecidas para la profesión (asistencial, docente, investigadora y de gestión)9,10 y están contempladas tanto a nivel internacional, en la definición del Consejo Internacional de Enfermería11, como nacional, en la Ley de ordenación de las profesiones sanitarias12. Así mismo, la Orden Ministerial CIN 2134/20084 establece los requisitos necesarios que habilitan para el ejercicio de la profesión de Enfermería, recogiendo tanto las competencias que deben adquirirse, como la formación necesaria para el desarrollo de las mismas.

Por lo tanto, la formación basada en competencias requiere de métodos que permitan su entrenamiento y su evaluación13, siendo esta una cuestión primordial para la definición de escenarios de desempeño, capacidad y de actuación profesional14,15. Para evaluar las competencias es necesario disponer de instrumentos que reúnan criterios de validez y fiabilidad16–20.

La validez se entiende como el grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido, y puede definirse como un proceso unitario que permite realizar inferencias e interpretaciones correctas de las puntuaciones que se obtengan al aplicar el instrumento. La fiabilidad es el grado en que un instrumento mide con precisión y sin error, es decir, la capacidad de ofrecer en su empleo repetidos resultados veraces y constantes en condiciones similares de mediciones. Esta fiabilidad se valora a través de la consistencia, la estabilidad temporal y la concordancia interobservador21,22, la cual se refiere a la consistencia entre 2observadores, es decir, al nivel de acuerdo obtenido al ser evaluada la misma muestra en las mismas condiciones por 2evaluadores distintos, obteniendo iguales resultados, a esto se le llama fiabilidad interobservador23.

En este contexto, existen herramientas validadas que evalúan las competencias desde un ámbito particular o específico24,25, Sin embargo, la Escala de Evaluación de Competencias Enfermeras (ECOEnf)26,27 fue diseñada y validada para dar respuesta a la evaluación de las competencias recogidas en la mencionada orden ministerial, a la que deben responder todos los programas de estudios de Enfermería en España. Por lo tanto, ofrece una propuesta destinada a evidenciar dichas competencias de manera general, de acuerdo con sus funciones, y siguiendo el proceso de atención de Enfermería. Este instrumento ha demostrado validez de contenido28.

Con base en lo descrito, se plantea el objetivo de determinar la concordancia intra e inter observador de la escala ECOEnf para la evaluación de competencias enfermeras en España.

Material y método

Se realizó un estudio observacional, descriptivo y transversal para evaluar la fiabilidad y concordancia entre observadores de la escala ECOEnf, la cual fue aplicada en la misma población, en el mismo momento, por 2observadores distintos, con un alcance correlacional.

La población objeto la constituyen las evaluaciones realizadas a los alumnos de la Universidad Francisco de Victoria (UFV) en Madrid, España, distribuidos en 28 hospitales, 11 públicos y 17 privados, con los que tiene convenio la universidad para la realización de las rotaciones de las 3 asignaturas de PC: PC I (hospitalización médica), PC II (hospitalización quirúrgica, quirófano y urgencias) y PC III (cuidados intensivos adultos y pediátricos;) ubicadas en segundo, tercer y cuarto curso de grado, respectivamente. Dado que el diseño de la escala está basado en las competencias establecidas para el grado en Enfermería en la Orden CIN/2134/2008, de 3 de julio4, y que esta normativa hace referencia a las que deben adquirirse y a su evaluación en el módulo de prácticas y, teniendo en cuenta, que es en los hospitales donde realizan el mayor número de rotaciones clínicas los estudiantes, a lo largo de las 3asignaturas de prácticas, las competencias que evalúa el instrumento pueden medirse en estos centros.

Para reclutar las evaluaciones, se realizó una estrategia bietápica: primero se seleccionaron 6 hospitales de la Comunidad de Madrid, de manera aleatoria y estratificada; para ello, se estratificó la muestra dividiendo los 28 hospitales (17 privados y 11 públicos) en 2urnas: una con los centros privados y la otra con los públicos. Se extraen 3 centros de cada una, de manera que se seleccionaron 3 hospitales privados: Hospital La Milagrosa, Hospital General de Villalba y Hospital Universitario Quirón; y 3 hospitales públicos: Hospital Universitario 12 de Octubre, Hospital Universitario de Sureste y Hospital Universitario del Henares.

En las 6instituciones seleccionadas de manera aleatoria estratificada estaban realizando prácticas 240 alumnos durante el curso 2016-2017.

Los criterios utilizados para elegir a los alumnos fueron 3: que se encontraran cursando las asignaturas de PC I, PC II o PC II durante el curso 2016-2017; que estas prácticas las estuvieran realizando en los hospitales seleccionados, y que sus tutores clínicos accedieran a participar en el estudio.

Se preguntó a los tutores clínicos de estos 6 hospitales la disposición para participar en la investigación, obteniendo un total de 132 observadores, que aceptaron y que evaluaron a 66 estudiantes durante el mismo periodo de prácticas, obteniendo 2 medidas paralelas para cada estudiante, un total de 132 medidas. Dado que con este número de mediciones se demostraba la concordancia, se consideró que era suficiente para valorar la fiabilidad.

Este proyecto fue aprobado por el Comité de Ética de la Investigación de la UFV, que, de acuerdo con su resolución, lo dictaminó como favorable y como una investigación sin riesgo, al no implicar procedimiento en humanos o animales.

Recogida de datos

Los datos se recogieron mediante la evaluación del estudiante con la escala ECOEnf. La escala fue cumplimentada por los tutores clínicos, quienes acompañan, forman y evalúan a los estudiantes durante su rotatorio de prácticas. Las evaluaciones se realizaron al finalizar el rotatorio y para cada evaluación intervinieron 2observadores distintos, que utilizaron el mismo instrumento, en el mismo momento temporal, obteniendo 2resultados por cada evaluación (medidas paralelas).

Previamente, se formó a los responsables de docencia de todos los hospitales y se capacitó a los tutores clínicos sobre la cumplimentación del instrumento. La selección de los evaluadores fue al azar, coincidiendo los mismos con los que estaban en la unidad donde los estudiantes realizaban sus PC. Tanto los estudiantes como los tutores clínicos fueron informados detalladamente sobre el objeto del estudio y la confidencialidad de los datos obtenidos y firmaron el consentimiento para participar.

Herramienta de medición

Se utilizó la escala ECOEnf, escala para la evaluación de competencias enfermeras, que ha demostrado validez de contenido28. Esta escala evalúa dichas competencias, agrupando 72 ítems, relacionados con las mismas, en 7 unidades competenciales (UC), que son: 1) Valoración y diagnóstico; 2) Planificación; 3) Intervención; 4) Evaluación y calidad; 5) Gestión; 6) Comunicación y relación interpersonal, y 7) Actitudes y transferencia. Recoge la frecuencia de realización, autonomía personal, momento adecuado de realización, utilización adecuada de los recursos, como criterios de evaluación y contiene descriptores de nivel de consecución de la competencia (tabla 1)27, así como el nivel mínimo de logro exigido para cada ítem26. Fue diseñada por experto mediante el análisis de semántica y funcionalidad, se validó la factibilidad de manera global, obteniendo una consistencia interna de 0,98.

Tabla 1.

Criterios y descriptores de nivel de competencia

Criterios  Nivel 1 (básico)  Nivel 2 (intermedio)  Nivel 3 (avanzado) 
Frecuencia de realización  Siempre  Siempre  Siempre 
Autonomía personal  Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje  Siempre  Siempre 
Momento adecuado de realización  Hasta el 50% de las ocasiones que realice lo que establece el resultado de aprendizaje  Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje  SIEMPRE 
Utilización adecuada de recursos  Hasta el 50% de las ocasiones que realice lo que establece el resultado de aprendizaje  Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje  Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje 
Análisis de datos

Se utilizó el paquete estadístico SPSS versión 23.0 (IBM® Statistical Pakage for the Social Sciences [SPSS]). Para verificar la fiabilidad intraobservador se utilizó la prueba estadística alfa de Cronbach (α), tomando como base los criterios de interpretación a partir del siguiente resultado.

Si α > 9, es excelente; si α > 8, es bueno; si α > 7, es aceptable; si α > 6, es cuestionable; si α > 5, se dice que es pobre, y si α < 8, es inaceptable29.

Para medir la estabilidad interobservador se aplicó la prueba no paramétrica Tau-b de Kendall, que evalúa la fiabilidad de reproducibilidad. Se trata de un estadístico de asociación que mide los excesos de los pares de los datos observados concordantes en relación con los discordantes, entendiéndose como la concordancia obtenida entre los resultados de la evaluación de los 2observadores, el análisis del nivel de acuerdo obtenido al ser evaluado a la misma muestra en las mismas condiciones.

Resultados

La prueba estadística alfa de Cronbach mostró una excelente consistencia interna de la escala ECOEnf (r = 0,98), con un intervalo de confianza (IC) del 95% y un valor r = 0,97 para cada uno de los observadores (tabla 2).

Tabla 2.

Alfa de Cronbach

  Unidades de competencia evaluadas  Alfa. Observador A  Alfa. Observador B 
UC1  Valoración y diagnóstico  0,89  0,85 
UC2  Planificación  0,86  0,75 
UC3  Intervención  0,93  0,89 
UC4  Evaluación y calidad  0,89  0,85 
UC5  Gestión  0,89  0,81 
UC6  Comunicación y relación interpersonal  0,91  0,87 
UC7  Actitudes y transferencia  0,91  0,90 
  Total, de evaluación del instrumento  0,97  0,97 

Al realizar la prueba de Kolmogorov-Smirnov, el valor alcanzado para el observador A no se asemeja a una distribución normal (Z = 1.492, p = 0,023); sin embargo, para el observador B sí se presenta normalidad en los datos (Z = 1.170, p = 0,30), por lo tanto, los análisis inferenciales de correlación y diferenciación de grupos se realizaron por medio de estadística no paramétrica.

Debido a que una muestra no presenta distribución normal, para medir el grado de correlación se utilizó el estadístico rho de Spearman, el cual muestra que, en general, la aplicación de la herramienta presenta fiabilidad para su aplicación, en el que se observó una correlación general de r = 0,72 (p ≤ 0,001); esto indica una asociación significativa, teniendo una correlación categorizada como buena. Para el observador A r = 1 (p ≤ 0,001), observador B r = 0,723 (p ≤ 0,001).

Los resultados de la tau-b de Kendall para cada uno de los ítems de cada unidad de competencia, mostraron significación estadística favorable con un valor de p < 0,05 (tabla 3).

Tabla 3.

Coeficiente de correlación Tau-b de Kendall

UC  Competencias  Kendall  p valor 
UC 1: Valoración y diagnósticoReconocer los factores que influyen en la salud de la población  0,51  < 0,001 
Identificar las características del individuo, familia o grupo social al que se va a atender  0,59  < 0,001 
Detectar las necesidades de salud, así como los problemas reales y potenciales de los individuos, familias o grupos sociales a los que atiende independientemente del contexto en el que se encuentre  0,69  < 0,001 
Comprender el comportamiento interactivo de la persona en función del género, grupo o comunidad, dentro de su contexto social y multicultural  0,63  < 0,001 
Reconocer la información significativa para la identificación de datos relevantes  0,48  < 0,001 
Realizar análisis de prioridad con un criterio lógico y sentido común  0,52  < 0,001 
Realizar un diagnóstico de la situación del paciente de manera integral de acuerdo con la metodología enfermera considerando los aspectos físicos, psíquicos y sociales de los pacientes  0,54  < 0,001 
Cumplimentar los registros correspondientes con las evidencias del proceso realizado  0,75  < 0,001 
UC 2: PlanificaciónEstablecer objetivos que den respuesta a los diagnósticos  0,54  < 0,001 
Definir los cuidados de enfermería necesarios para dar respuesta al diagnóstico realizado  0,53  < 0,001 
Establecer una secuencia de intervenciones de enfermería por prioridades  0,58  < 0,001 
Utilizar los recursos disponibles para realizar las intervenciones programadas  0,65  < 0,001 
Prever la disponibilidad de los recursos necesarios para la puesta en marcha de las intervenciones necesarias para dar respuesta a la situación planteada  0,51  < 0,001 
Programar los tiempos de realización de cada actividad según las características del paciente y su entorno  0,45  0,001 
Cumplimentar los registros correspondientes con las evidencias del proceso realizado  0,70  < 0,001 
UC 3: IntervenciónAplicar los procedimientos técnicos oportunos para cada situación  0,61  0,000 
Adaptar la prestación de los cuidados y de la atención a la persona, familia o grupo social siguiendo los fundamentos y principios teóricos y metodológicos de enfermería  0,55  < 0,001 
Aplicar los cuidados de enfermería siguiendo las guías de práctica clínica o asistencial para cada problema de salud  0,63  < 0,001 
Proporciona los cuidados desde una perspectiva integradora y con una visión holística  0,59  < 0,001 
Adecuar los tiempos de realización de cada actividad a la situación del paciente y a los ritmos marcados en cada contexto  0,60  < 0,001 
Adaptar las intervenciones al contexto social y cultural de cada paciente y situación  0,62  < 0,001 
Promover la participación de los pacientes en cualquier tema relacionado con su proceso salud-enfermedad  0,82  < 0,001 
Movilizar conductas preventivas dirigidas a evitar problemas de salud  0,54  < 0,001 
Prestar una atención orientada a la protección de la salud y a conseguir el bienestar de las personas, familia o grupos  0,58  < 0,001 
Promover hábitos y conductas saludables  0,50  < 0,001 
Fomentar la educación para la salud  0,58  < 0,001 
Favorecer la autonomía de los pacientes  0,70  < 0,001 
Fomentar el autocuidado  0,69  < 0,001 
Respetar y cumple el código deontológico de enfermería, la legislación general y la legislación sanitaria en todas sus intervenciones  0,65  < 0,001 
Respetar la intimidad y confidencialidad en todas y cada una de sus intervenciones  0,68  < 0,001 
Aplicar principios de razonamiento moral y ético en el análisis de conflictos y en la toma de decisiones  0,62  < 0,001 
Utilizar los recursos disponibles rentabilizándolos al máximo  0,60  < 0,001 
Registrar procedimientos, observaciones y cuidados de enfermería  0,50  < 0,001 
UC 4: Evaluación y calidadReconocer los indicadores de calidad definidos para su área de actuación  0,68  < 0,001 
Realizar el seguimiento de las intervenciones de enfermería realizadas de acuerdo con el plan establecido  0,69  < 0,001 
Evaluar críticamente el impacto de la atención y los cuidados de enfermería mediante el análisis de indicadores establecidos  0,53  < 0,001 
Utilizar evidencia científica actualizada en la aplicación de los cuidados a los pacientes y en la toma de decisiones  0,69  < 0,001 
Detectar necesidades de mejora durante el proceso para futuras intervenciones  0,44  0,001 
Establecer propuestas de mejora de ante las debilidades detectadas  0,50  < 0,001 
Elaborar informes con los resultados de la evaluación realizada  0,52  < 0,001 
Implementar las acciones encaminadas a mejorar los resultados de las intervenciones de enfermería  0,52  < 0,001 
UC 5: GestiónConocer los principios de financiación sanitaria y sociosanitaria  0,71  < 0,001 
Utilizar adecuadamente los recursos del sistema nacional de salud y de la comunidad autónoma disponibles con la mayor eficacia y efectividad  0,56  < 0,001 
Identificar las características de la función directiva de los servicios de enfermería y la gestión del cuidado  0,56  < 0,001 
Utilizar adecuadamente los sistemas de información sanitaria  0,56  < 0,001 
UC 6: Comunicación y relación interpersonalAsegurar una comunicación clara y precisa tanto verbal como escrita  0,65  < 0,001 
Expresarse con claridad y precisión con los individuos, familia y grupos sociales adaptando el código al nivel de comprensión de los receptores  0,73  < 0,001 
Expresarse con claridad y precisión con los otros miembros del equipo de salud para explicitar las dificultades que se le presentan en el desarrollo de las actividades  0,66  < 0,001 
Realizar la acogida del paciente y familia al ingreso siguiendo los protocolos establecidos  0,50  < 0,001 
Brindar apoyo emocional y espiritual al individuo, familia o grupo social  0,55  < 0,001 
Acompañar a la familia del paciente durante el proceso de enfermedad  0,48  < 0,001 
Asegurarse de que el paciente o familia ha entendido la información  0,58  < 0,001 
Relacionarse con el paciente aplicando correctamente las técnicas de comunicación verbal y no verbal, y relación interpersonal adaptándose a cada situación  0,54  < 0,001 
Animar al individuo, familia o grupo social a que compartan la información que pueda ser relevante para resolver la situación o evitar riesgos  0,58  < 0,001 
Orientar a los pacientes hacia la toma de decisiones más adecuadas  0,44  0,001 
Demostrar la capacidad de escucha activa tanto con los pacientes como con los miembros del equipo y dar respuestas consecuentes  0,71  < 0,001 
Utilizar adecuadamente el lenguaje específico de ciencias de la salud en las situaciones que lo requieran  0,56  < 0,001 
Establecer actuaciones dirigidas a superar los factores que interfieren en la comunicación cuando suponen una limitación  0,42  < 0,001 
UC 7: Actitudes, valores y transferenciaActuar con cautela, sentido común y Solicitar ayuda cuando lo cree necesario  0,88  < 0,001 
Modificar la conducta personal para conseguir el objetivo cuando surgen dificultades, nuevos datos o cambios en el contexto  0,66  < 0,001 
Adaptar su atención y cuidados a los diferentes escenarios, situaciones, medios y persona  0,72  < 0,001 
Contextualizar cada actuación a la situación que se presenta  0,52  < 0,001 
Demostrar respeto por el paciente, familia, comunidad y por el equipo multi e interdisciplinar, independientemente de sus diferencias  1,0  < 0,001 
Demostrar interés por actualizarse en aquello que se relaciona con su actividad  0,66  < 0,001 
Poseer iniciativa: actuar proactivamente  0,65  < 0,001 
Comprometerse por el adecuado cumplimiento de sus obligaciones en pro de la excelencia  0,64  < 0,001 
Demostrar interés en todas y cada una de sus actuaciones manteniendo ese interés hasta la consecución del objetivo  0,57  0,001 
Identificarse mental y afectivamente con el estado de ánimo del individuo, familia o grupo social  0,55  < 0,001 
Controlar las emociones personales y evitar reacciones negativas ante provocaciones, oposición u hostilidad de los demás o cuando se está sometido a situaciones de estrés  0,53  < 0,001 
Actuar con eficacia en situaciones de presión y de mucha exigencia  0,50  0,001 
Confiar en sí mismo: convencerse de la capacidad de realizar con éxito una tarea o elegir el enfoque adecuado para resolver un problema, en sus áreas de incumbencia  0,52  < 0,001 
Aprender a aprender  0,50  < 0,001 

Para la UC 1 (UC1), Valoración y diagnóstico, los ítems mejor asociados entre sí corresponden a «cumplimentar los registros correspondientes con las evidencias del proceso realizado», Kendall = 0,75, (p ≤ 0,001), y «detectar las necesidades de salud, así como los problemas reales y potenciales de los individuos, familias o grupos sociales a los que atiende independientemente del contexto en el que se encuentre», Kendall = 0,69 (p ≤ 0,001).

En la UC2, Planificación, los ítems con mayor correlación fueron: «Cumplimentar los registros correspondientes con las evidencias del proceso realizado», con un resultado de 0,70 (p ≤ 0,001). El de menor correlación, pero con significación estadística, «Programar los tiempos de realización de cada actividad según las características del paciente y su entorno», correlación de 0,45 (p ≤ 0,001).

De acuerdo a la UC3, Intervención, todos los ítems muestran una buena fiabilidad, ya que rebasan la correlación mayor de 0,5 (p ≤ 0,001).

En la UC4, Evaluación y calidad, la mayor parte de los ítems presentan una buena concordancia interobservador, exceptuando el ítem «Detectar necesidades de mejora durante el proceso para futuras intervenciones», Kendall 0,44 (p = 0,001).

De acuerdo con la UC5, Gestión, se encontró que el ítem «Conocer los principios de financiación sanitaria y sociosanitaria» tuvo la mayor correlación con un 0.71 (p ≤ 0,001).

Respecto a la UC6, Comunicación y relación interpersonal, presenta una correlación menor de 0,5, aunque cuentan con una significación estadística (p ≤ 0,001) en los ítems «Acompañar la familia del paciente durante el proceso de enfermedad», «Orientar a los pacientes hacia la toma de decisiones más adecuadas» y «Establecer actuaciones dirigidas a superar los factores que interfieren en la comunicación cuando suponen una limitación».

En el análisis de concordancia de la UC7, Actitudes, valores y transferencia, todos los ítems muestran una concordancia interobservador adecuada (p ≤ 0,001).

Por último, al utilizar el estadístico entre los resultados de la herramienta medido 2veces por diferente observador en el mismo momento, se encontró una buena correlación del instrumento, esto indica que el instrumento se considera fiable debido que al aplicar el coeficiente de correlación entre los 2evaluadores se obtuvo un resultado de 0,66 (p ≤ 0,001).

Discusión

El análisis estadístico realizado en este estudio, para determinar la fiabilidad del instrumento de evaluación de competencias enfermeras en España, muestra firmemente la consistencia interna, estabilidad temporal y concordancia interobservador de la escala ECOEnf.

Por otra parte, tal como se muestra en los resultados, existe una serie de ítems cuya puntuación correlacional está por debajo de 0,5, a pesar de contar con un valor de p < 0,05 y considerarse como fiables. Los investigadores y expertos están revisando los ítems mencionados como proceso de mejora continua, considerando que aporta un valor de calidad a la carrera.

Aunque existen otros instrumentos validados, que evalúan las competencias en ámbitos particulares o específicos24,25, la peculiaridad de la escala ECOEnf es que evalúa las competencias enfermeras exigidas por la normativa española para el ejercicio de la profesión de enfermero4. Por ello, su utilización permite evidenciar que los enfermeros que superen la evaluación medida con la misma habrán adquirido las competencias que establece la normativa vigente en este país. Así mismo, dado que la normativa española responde a las exigencias europeas, se podría decir que la superación de la evaluación con este instrumento permite evidenciar las competencias exigidas para los enfermeros a nivel europeo. Comparar los resultados obtenidos al valorar la herramienta con otros estudios es complicado, debido a la diferencia de análisis estadísticos empelados y sobre todo a la dificultad para encontrar escalas que midan específicamente las competencias enfermeras recogidas en la Orden CIN 2134/2008 y el Espacio Europeo de Educación Superior.

La escala ECOEnf supone una manera diferente de realizar la evaluación de las competencias, incorporando descriptores de nivel en lugar de utilizar una escala numérica con la que puntuar subjetivamente de 0 a 10 el ítem, según el criterio del evaluador. Describir los niveles de consecución para cada ítem contribuye a disminuir la subjetividad de dicha evaluación. Puede utilizarse en cualquier momento del periodo formativo, contribuyendo a la evaluación continua, y también para la evaluación del mantenimiento de la competencia profesional, por ejemplo, en procesos de certificación y recertificación.

La evaluación de competencias es un concepto global y no debe basarse en un único instrumento; la subjetividad de la misma se puede disminuir combinando instrumentos y métodos. La escala ECOEnf es un instrumento más que contribuye a que el proceso de evaluación sea lo más objetivo posible.

Limitaciones

La escala ECOEnf supone un cambio en la evaluación tradicional, lo que hace necesaria una formación previa de los tutores clínicos, como evaluadores de los estudiantes; no obstante, es una formación sencilla y es acogida como una oportunidad para la actualización de estos profesionales en este tema. Además, los evaluadores están apoyados en todo momento por los tutores académicos (profesores de prácticas de la universidad), que realizan seguimiento continuo y resolución de las dudas que puedan generarse durante el proceso.

Conclusión

Al evaluar la concordancia intra e interobservador de la escala ECOEnf mediante el análisis estadístico, se encontró una excelente consistencia interna mediante el alfa de Cronbach para medir las competencias de las PC en enfermería con un IC del 95%.

De acuerdo con la concordancia entre observadores, se mostraron escasos ítems que tuvieron una correlación menor de 0,5; sin embargo, cumplen con la fiabilidad con una significación estadística de p valor < 0,05 en todos los ítems. En general, se mostró estadísticamente que el constructo obtuvo una buena fiabilidad intraclase, así como una estabilidad entre observadores.

Por último, al realizar la correlación entre los resultados de la herramienta, medido 2veces por diferentes observadores en el mismo momento, se encontró una buena correlación y debido al coeficiente de correlación del instrumento entre observadores se considera un instrumento con validez y fiabilidad para ser utilizado en la evaluación de las competencias enfermeras.

Implicaciones para la política de enfermería

La escala ECOEnf se puede utilizar para evaluar las competencias de Enfermería no solo en España, sino también en el entorno europeo, ya que se ajusta a las directrices establecidas por el Espacio Europeo de Educación Superior y la Directiva Europea sobre cualificaciones profesionales, que establecen la necesidad de demostrar que los egresados han adquirido unas competencias predefinidas.

Financiación

Esta investigación no ha recibido ningún tipo de financiación.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses en lo que corresponde a la investigación, la autoría o la publicación de este artículo.

Agradecimientos

Ninguno.

Bibliografía
[1]
F.J. Plaza del Pino, E. Soriano Ayala.
Formación de los profesionales de enfermería: cuidar en la sociedad multicultural del siglo xxi.
Index Enferm [Internet]., 18 (2009), pp. 190-194
[2]
J. Morán-Barrios.
La evaluación del desempeño o de las competencias en la práctica clínica 1.ª parte: principios y métodos, ventajas y desventajas.
Educ Médica., 17 (2016), pp. 130-139
[3]
Unión Europea. Parlamento. Directiva 2013/55/UE del Parlamento europeo y del Consejo de 20 de noviembre de 2013 (UE) por la que se modifica la Directiva 2005/36/CE relativa al reconocimiento de cualificaciones profesionales y el Reglamento no 1024/2012 relativo a la cooperación adm [Internet]. 2013, 132-70 [citado 14 Jun 2018]. Disponible en: http://www.boe.es/doue/2013/354/L00132-00170.pdf
[4]
Orden CIN 2134/2008 de 3 de julio (ES), por la que se establecen los requisitos para la verificación de los títulos oficiales que habiliten para el ejercicio de la profesión de Enfermero. Boletín Oficial del Estado [Internet]. 2008;174:31680-31683 [Internet] [citado 14 Jun 2018]. Disponible en: http://www.boe.es/boe/dias/2008/07/19/pdfs/A31680-31683.pdf
[5]
Ministerio de Educación y Ciencia de España. Real Decreto 1393/2007, de 29 de octubre (ES), por el que se establece la ordenación de las enseñanzas universitarias oficiales. Boletín Oficial del Estado. 2007;260:44037-44408 [Internet] [citado 14 Jun 2018]. Disponible en: http://www.boe.es/boe/dias/2007/10/30/pdfs/A440 37-44048.pdf.
[6]
V.M. Gonzalez-Chorda, M.L. Macia-Soler, M.L. Maciá-Soler.
Avaliação da qualidade do processo ensino-aprendizagem no curso de graduação em Enfermagem.
Rev Lat Am Enferm [Internet]., 23 (2015), pp. 700-707
[7]
A. Pearson, M. Fitzgerald, K. Walsh, S. Borbasi.
Continuing competence and the regulation of nursing practice.
J Nurs Manag., 10 (2002), pp. 357-364
[8]
Gómez del Pulgar García-Madrid M. Evaluación de competencias en el Espacio Europeo de Educación Superior: un instrumento para el Grado en Enfermería [Internet]. Universidad Complutense de Madrid; 2011 [citado 14 Jun 2018]. Disponible en: http://eprints.ucm.es/21343/1/T33395.pdf
[9]
S. Wangensteen, I.S. Johansson, G. Nordström.
Nurse Competence Scale —Psychometric testing in a Norwegian context.
Nurse Educ Pract., 15 (2015), pp. 22-29
[10]
R. Vernon, M. Chiarella, E. Papps, D. Dignam.
New Zealand nurses’ perceptions of the continuing competence framework.
Int Nurs Rev., 60 (2013), pp. 59-66
[11]
Consejo Internacional de Enfermeras. Codigo Deontológico de Enfermería [Internet]. Consejo Internacional de Enfermeras. 2012 [citado 16 Jun 2018]. Disponible en: http://www.icn.ch/es/about-icn/code-of-ethics-for-nurses/
[12]
Boletín Oficial del Estado. Ley 44/2003, de 21 de noviembre, de ordenación de las profesiones sanitarias. N.° 280, de 22 de noviembre de 2003[última modificacion 28 Mar 2014]. BOE-A-2003-21340. BOE-A-2003-21340, p. 1-29.
[13]
D.R. Sadler.
Indeterminacy in the use of preset criteria for assessment and grading.
Assess Eval High Educ., 34 (2009), pp. 159-179
[14]
R. Watson, G. Aleo, L. Sasso, A. Bagnasco, G. Catania, M. Zanini.
Does education in Italy produce nurses fit for future healthcare needs?.
International Nursing Review., 63 (2016), pp. 517-518
[15]
L.K.J. Baartman, T.J. Bastiaens, P.A. Kirschner, C.P.M. van der Vleuten.
Evaluating assessment quality in competence-based education: A qualitative comparison of 2frameworks.
Educ Res Rev., 2 (2007), pp. 114-129
[16]
V. Wass, C. van der Vleuten, J. Shatzer, R. Jones.
Assessment of clinical competence.
Lancet [Internet]., 357 (2001), pp. 945-949
[17]
J. Carreras, L.A. Branda, A. Castro, M. Fenoll-Brunet, A. Gual, N. Mahy, et al.
Guía para la evaluación de competencias en Medicina.
Barcelona AQU Catalunya [Internet]., (2009), pp. 124
[18]
P.A. Palomino Moral, A. Frías Osuna, M.L. Grande Gascón, M.L. Hernández Padilla, R. Del Pino Casado.
El Espacio Europeo de Educación Superior y las competencias enfermeras.
Index Enferm., 14 (2005), pp. 50-53
[19]
J. Muñiz, E. Fonseca.
Construcción de instrumentos de medida para la evaluación universitaria.
Rev Investig en Educ., 5 (2008), pp. 13-25
[20]
P. Ruiz de Gauna, V. González Moro, J. Morán-Barrios.
Diez claves pedagógicas para promover buenas prácticas en la formación médica basada en competencias en el grado y en la especialización.
Educ Médica [Internet]., 16 (2015), pp. 34-42
[21]
M. Arribas.
Diseño y validación de cuestionarios.
Matronas Profesión [Internet]., 5 (2004), pp. 23-29
[22]
S. Pita, S. Pértegas.
La fiabilidad de las mediciones clínicas: el análsis de concordancia para variables numéricas.
Aten Primaria en la Red [Internet], (2004), pp. 1-11
[23]
E.T. Cortés-Reyes, J. Andrés Rubio-Romero, H. Gaitán-Duarte.
Métodos estadísticos de evaluación de la concordancia y la reproducibilidad de pruebas diagnósticas Statistical methods for evaluating diagnostic test agreement and reproducibility.
Rev Colomb Obstet Ginecol., 61 (2010), pp. 247-255
[24]
A.-L. Nieminen, B. Mannevaara, L. Fagerström.
Advanced practice nurses’ scope of practice: A qualitative study of advanced clinical competencies.
Scand J Caring Sci [Internet]., 25 (2011), pp. 661-670
[25]
C. Ossenberg, M. Dalton, A. Henderson.
Validation of the Australian Nursing Standards Assessment Tool (ANSAT): A pilot study.
Nurse Educ Today., 36 (2016), pp. 23-30
[26]
Gómez del Pulgar M, Beneit J, Pacheco E. «Escala ECOEnf». Instrumento para la evaluación de los objetivos-competencias que los estudiantes de grado en enfermería deben adquirir según la Orden CIN 2134/2008 de 19 de julio. Madrid: Registro de la Propiedad Intelectual, 2011; No M-2145/2011.
[27]
Gómez del Pulgar M, Beneit JV, Pacheco E. Nivel de logro mínimo exigible, en la «Escala ECOEnf», para los estudiantes de enfermería al finalizar el grado. Madrid: Registro de la Propiedad Intelectual, 2011; No M-2148/2011.
[28]
M. Gómez del Pulgar, E. Pacheco, M.A. González, P. Fernández, J.V. Beneit.
Diseño y validación De contenido de la escala «Ecoenf» para la evaluación de competencias enfermeras.
Index Enferm [Internet], 26 (2017), pp. 265-269
[29]
Frias-Navarro D. Alfa de Cronbach y consistencia interna de los ítems de un instrumento de medida. Univ Val [Internet]. 2006;(2003):1–3. Disponible en: https://www.uv.es/∼friasnav/AlfaCronbach.pdf
Copyright © 2018. Elsevier España, S.L.U.. Todos los derechos reservados
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos