metricas
covid
Buscar en
Enfermería Clínica
Toda la web
Inicio Enfermería Clínica Fiabilidad de la escala de Evaluación de Competencias Enfermeras en Salud Menta...
Información de la revista
Vol. 34. Núm. 4.
Páginas 293-301 (julio - agosto 2024)
Visitas
662
Vol. 34. Núm. 4.
Páginas 293-301 (julio - agosto 2024)
ORIGINAL
Acceso a texto completo
Fiabilidad de la escala de Evaluación de Competencias Enfermeras en Salud Mental: estudio piloto
Reliability of the Mental Health Nurse Competency Assessment Tool (ECOEnfSM): a pilot study
Visitas
662
Javier Sanz-Calvoa,
Autor para correspondencia
jsanz17@ucm.es

Autor para correspondencia.
, Luis Javier Rivera-Vicenteb,c, María del Carmen García-Carriónc, Mercedes Gómez del Pulgar García-Madridd
a Centro de Salud Mental Miraflores del Servicio de Psiquiatría y Salud Mental del Hospital Universitario Infanta Sofía, Madrid, España
b Servicio de Psiquiatría y Salud Mental del Hospital Clínico San Carlos, Madrid, España
c Departamento de Enfermería de la Facultad de Enfermería, Fisioterapia y Podología de la Universidad Complutense de Madrid, Madrid, España
d Departamento de Enfermería de la Facultad de Ciencias de la Salud de la Universidad Francisco de Vitoria, Madrid, España
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (5)
Tabla 1. Resumen de las características sociodemográficas de la muestra
Tabla 2. Fiabilidad de las Unidades de Competencia de las subescalas de la escala ECOEnfSM
Tabla 3. Correlación de los ítems con su Unidad de Competencia (escala ECOEnfSM)
Tabla 4. Correlación de las Unidades de Competencia de las subescalas de ECOEnfSM
Mostrar másMostrar menos
Material adicional (1)
Resumen
Objetivo

Evaluar la fiabilidad de la escala de Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM) para la evaluación de los enfermeros internos residentes (EIR) de Salud Mental en su práctica clínica.

Método

Estudio piloto, observacional, descriptivo y transversal, dirigido hacia el EIR de Salud Mental cursando la Formación Sanitaria Especializada (FSE) en España que haya completado su programa formativo. Los datos fueron recogidos por tutores generales y colaboradores de las Unidades Docentes Multiprofesionales (UDM) de Salud Mental. Se utilizó la escala de ECOEnfSM, compuesta por tres subescalas y ocho Unidades de Competencia (UC). Se realizó un análisis de fiabilidad y validez (α de Cronbach y correlación Spearman [r]).

Resultados

Las subescalas de evaluación de rotación obtuvieron una fiabilidad excelente (∝ > 0,90) con niveles de correlación altos y muy altos (r > 0,6) entre todas sus UC con niveles altamente significativos (p <0,01). La subescala de evaluación anual obtuvo una fiabilidad buena (∝ > 0,80) con niveles medios y muy altos de correlación (r > 0,4) altamente significativos (p <0,01). Todas las UC obtuvieron una consistencia de buena a excelente (∝ > 0,80). El criterio «Visita domiciliaria» sufrió gran disparidad en sus datos, ya que existen pocas UDM que la desarrollen por completo.

Conclusiones

La escala ECOEnfSM obtuvo una fiabilidad muy alta en EIR de Salud Mental durante su programa de residencia en España. La escala ECOEnfSM se considera la única herramienta objetiva en España para evaluar las competencias profesionales de esta población.

Palabras clave:
Competencia clínica
Competencia profesional
Enfermería psiquiátrica
Educación basada en competencias
Evaluación en enfermería
Estudio de validación
Abstract
Aim

To evaluate the reliability of the ECOEnfSM scale as a tool to assess the professional competencies of Mental Health Nurse Practitioners (MHNP) in their clinical practice.

Method

A pilot study, observational, descriptive and cross-sectional, focuses on MHNP who have completed their Specialized Health Training Program (SHTP) in Spain. The data were collected by general and collaborators mentors of the Multiprofessional Teaching Units (MTUs). The Mental Health Nursing Competency Assessment Tool (ECOEnfSM) was used, which consists of three subscales and eight Competence Units (CU). A reliability and validity analysis were conducted (Cronbach's alpha and Spearman's correlation coefficient).

Results

The Rotation Assessment subscales showed excellent reliability (r > 0.90) with high and very high correlations (r > 0.6) in all UCs with high levels of significance (p <0.01). The Annual Assessment subscale showed good reliability (r > 0.80) with a medium and very high correlation (r > 0.4) with high levels of significance (p <0.01). All UCs showed a good to excellent consistency (r > 0.80). The “Home Visits” assessment criterion showed heterogeneity of data due to there are few MTUs that fully develop it.

Conclusion

The ECOEnfSM scale showed very high reliability in MHNP during their training program in Spain. The ECOEnfSM is considered the only objective tool in Spain to assess the professional competencies in this population.

Keywords:
Clinical Competence
Professional Competence
Psychiatric Nursing
Competency-Based Education
Nursing Assessment
Validation Study
Texto completo

¿Qué se conoce?

En España, la evaluación de las formaciones sanitarias especializadas no diferencia entre profesiones ni especialidades. Solo encontramos una escala de evaluación de competencias específica de la Enfermería de Salud Mental, pero su uso no está extendido.

¿Qué aporta?

Una herramienta validada y específica para la Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM) adaptada a su práctica clínica para realizar una evaluación continua y anual según las directrices oficiales de evaluación españolas.

Introducción

La enfermera especialista en salud mental constituye la base de los cuidados hacia el enfermo mental. Se define como «el profesional sanitario que proporciona una atención especializada en salud mental mediante la prestación de cuidados de enfermería»1.

Su formación ha experimentado durante la historia fuertes altibajos condicionados por aspectos culturales y políticos, pasando de la Enfermera Psiquiátrica a la Enfermera Especializada en Salud Mental en España. La forma de adquirir esta titulación también ha evolucionado, de la misma forma que la evaluación de las competencias profesionales a desarrollar2.

Existe documentación oficial sobre las competencias profesionales que debe adquirir una enfermera especialista en salud mental a través de su programa formativo, donde se detallan criterios y actividades a cumplir, así como la cadencia de la evaluación (Orden SPI/1356/2011)1.

No obstante, la figura encargada de la evaluación del enfermero interno residente (EIR) no dispone de una evaluación unificada, utilizando diferentes criterios según las Unidades Docentes Multidisciplinares (UDM) de Salud Mental de España.

Tan solo pueden contar con directrices básicas para realizar evaluaciones competenciales aportadas por el Ministerio de Sanidad. Sin embargo, estos documentos oficiales están incompletos, son demasiado genéricos, dejan lugar a la subjetividad del evaluador y, sobre todo, van dirigidos por igual a todas las disciplinas profesionales que se incluyen en la Formación Sanitaria Especializada (FSE): biología, enfermería, farmacia, física, medicina, psicología o química3.

Debido a esta gran limitación, Rivera desarrolla una escala que permite evaluar estas competencias profesionales adquiridas por los EIR de Salud Mental, llamada escala de Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM)4.

Actualmente, existen numerosos estudios que miden las competencias profesionales, pero están centrados en estudiantes de Enfermería Psiquiátrica5,6. Hartley et al. se centran en el desarrollo de programas formativos dirigidos a enfermeras que trabajan en psiquiatría, quienes mejoran sus conocimientos y actitudes7. Sin embargo, resulta difícil encontrar evidencia en la población de las enfermeras de salud mental.

Por otra parte, las nuevas tecnologías han favorecido nuevas formas de adquisición de competencias. Piot et al. y otros recopilan estudios centrados en el aprendizaje con simulaciones de alta fidelidad, realidad virtual, maniquíes o simulaciones de voz, los cuales mejoran los conocimientos, habilidades y actitudes de enfermeras y estudiantes de psiquiatría8–10. No obstante, este avance va en detrimento del aprendizaje experiencial a través de la práctica clínica.

Dickens et al. y Hawsawi et al. destacan estudios para la adquisición de competencias de las enfermeras de salud mental en áreas como la salud física (obesidad, diabetes, tóxicos, sexual, etc.), la recuperación, el suicidio o los tratamientos farmacológicos. Estos programas favorecen el aprendizaje, pero se centran en temas muy concretos de la práctica clínica, no abarcan la totalidad de las funciones de una enfermera de salud mental y son a menudo breves11–13.

Piot et al. defienden que es necesaria una estandarización de los criterios de calidad educativos y la estructuración de los planes de estudio8. Por otra parte, Immonen et al. defienden como necesario utilizar instrumentos fiables y válidos, ya que los tutores subrayan la importancia de tener unos criterios de evaluación claros y una mayor formación sobre la evaluación5.

Existen otras escalas de evaluación centradas en estudiantes de enfermería y en Enfermería Pediátrica o Médico-Quirúrgica14–17, pero se destaca la escala ECOEnfSM como la única herramienta específica capaz de evaluar a la Enfermería de Salud Mental en su práctica clínica de forma completa, objetiva, estandarizada y basada en los documentos oficiales 1,3,4.

Sin embargo, actualmente su uso no se ha extendido por los hospitales y UDM de Salud Mental en España, por lo que la escala ECOEnfSM no se ha validado en la práctica clínica. De aquí deriva el objetivo del presente estudio, que fue evaluar la fiabilidad de la escala ECOEnfSM como herramienta de evaluación de competencias profesionales de los EIR de Salud Mental en su práctica clínica.

MétodoDiseño

Estudio piloto, observacional, descriptivo y transversal.

Población y ámbito

EIR cursando la FSE de Enfermería de Salud Mental en una de las Unidades Docentes Multiprofesionales (UDM) de Salud Mental en España.

Solo se admitieron aquellos residentes que cumplieron completamente con el programa formativo de residencia de dos años. No existieron más criterios de exclusión.

Variables

Se utilizó la escala de ECOEnfSM, que evalúa las competencias profesionales de la Enfermería Especializada en Salud Mental durante su FSE. Es una escala heteroadministrada, validada (índice de validez de contenido=0,96, α Cronbach=0,968) y desarrollada por Rivera4, basándose en la escala de Evaluación de Competencias Enfermeras (ECOEnf), donde se evalúan las competencias de los graduados en Enfermería17.

Está compuesta por tres subescalas (evaluación rotación genérica, evaluación rotación en CSM y evaluación anual) y ocho rúbricas o Unidades de Competencia (UC). Cada UC está compuesta por criterios de evaluación y descriptores de nivel (nivel básico, intermedio y avanzado). La escala ECOEnfSM cuenta en total con 62 criterios de evaluación y 186 descriptores de nivel (material suplementario 1).

Se subdivide en tres subescalas:

  • Evaluación rotación: se trata de una evaluación tras haber completado la formación práctica de cada uno de los dispositivos asistenciales o rotaciones de la FSE. Se subdivide en rotaciones genéricas y rotación en Centro de Salud Mental (CSM). Según el programa de la Enfermera Especialista en Salud Mental1, el itinerario formativo y su duración deben seguir las siguientes directrices:

    Dispositivo asistencial o rotación  Duración 
    Primer año
    Unidades de Rehabilitación de Larga Estancia  2 meses 
    Unidad de Hospitalización de Agudos  6 meses 
    Otras unidades: Adicciones, Hospital de Día, Unidad de Psicosis Refractaria, Unidad de Patología Dual, Unidad de Trastornos de la Conducta Alimentaria, Unidad de Trastornos Psicosomáticos  3 meses 
    Segundo año
    Unidad de Media estanciaProgramas de Rehabilitación Comunitaria  4 meses 
    Centro de Salud Mental  5 meses 
    Programas o Servicios de Salud Mental Infanto Juvenil  2 meses 
    • Evaluación rotación genérica: se evalúan todas las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) excepto los criterios de evaluación de «Visita domiciliaria», junto con una UC transversal (UC8-comunicación y relación interpersonal).

    • Evaluación rotación en CSM: se evalúan todas las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) incluyendo los criterios de evaluación de «Visita domiciliaria», junto con una UC transversal (UC8-comunicación y relación interpersonal).

  • Evaluación anual: evaluación realizada al año de FSE tras haber completado todas las evaluaciones de rotatorio de ese mismo año. Se evalúan el resto de UC transversales (UC5-investigación, UC6-gestión clínica y UC7-docencia).

La superación de los criterios de evaluación dependerá del año de residencia del EIR de Salud Mental (material suplementario 2). La evaluación final oscila entre 0 y 10 puntos (número de criterios superados/total criterios de la UC x 10), siempre que se hayan aprobado el número mínimo e imprescindible de criterios de evaluación. Posteriormente, se aplican los porcentajes de ponderación (material suplementario 3).

Recogida de datos

Los datos fueron recogidos por los tutores generales de la residencia y los tutores colaboradores de cada rotación asistencial de los EIR de Salud Mental de cada UDM de Salud Mental de España a través de la página web desarrollada ad hoc18. Se realizaron diversas reuniones, comunicaciones en actos científicos, difusión por mensajería y publicidad en redes sociales para contactar con los tutores participantes. Una vez contactados, se les asignó un «Código de Tutor» personal para acceder al registro en la página web y diligenciar las rúbricas de evaluación, asegurando de esta manera una recogida de datos veraz. Se realizó un muestreo no probabilístico de conveniencia.

Las evaluaciones se realizaron al finalizar cada rotatorio y de forma anual. El proceso de recogida de datos abarcó desde octubre de 2022 hasta abril de 2024. Se obtuvieron un total de 64 evaluaciones realizadas.

Se recogieron datos hasta demostrar la fiabilidad de la escala, según un estudio con la escala ECOEnf de Gómez del Pulgar et al., donde necesitó 66 participantes para responder el mismo objetivo19.

Análisis de datos

Se utilizó IBM® Statistical Pakage for the Social Sciences (SPSS) v.23.0 (Statistics Inc, Chicago, IL, EE. UU.) para un análisis de fiabilidad (consistencia interna) mediante el estadístico α de Cronbach para medir la fiabilidad intraobservador. Según George et al., en 200320: excelente a α entre 0,9 a 0,95, bueno a α > 0,8, aceptable a α > 0,7, cuestionable a α > 0,6, pobre a α > 0,5 e inaceptable a α <0,5; y un análisis correlacional no paramétrico mediante el coeficiente rho de Spearman (r) para medir la validez y correlación entre los criterios de evaluación y la UC así como entre estas, según Kuckartz et al.21: puntuaciones > 0,7 se consideran de correlación muy alta, > 0,5 correlación alta, > 0,3 correlación media, > 0,1 poca correlación y <0,1 no hay correlación.

Resultados

Se obtuvieron un total de 64 evaluaciones realizadas, de las cuales 67,2% fueron evaluaciones de rotatorio (n=43) y el 32,8% evaluaciones anuales (n=21). Dentro de las evaluaciones de rotatorio (n=43), 12 fueron específicas de CSM y el resto fueron rotaciones genéricas. Las evaluaciones fueron llevadas a cabo por 17 tutores y se evaluaron a 39 EIR (tabla 1).

Tabla 1.

Resumen de las características sociodemográficas de la muestra

n=39  M (DE) 
Edad  27,3 (4,8) 
n=39  n (%) 
Sexo
Femenino  37 (94,8) 
Masculino  2 (5,2) 
Comunidad autónoma
Madrid  38 (97,4) 
Otras  1 (2,6) 
Unidad Docente Multiprofesional de Salud Mental
Hospital General Universitario Gregorio Marañón  8 (20,5) 
Instituto Psiquiátrico José Germain  7 (18,0) 
Hospital Clínico San Carlos  6 (15,4) 
Hospital Universitario de Fuenlabrada  5 (12,8) 
Hospital Universitario Doce de Octubre  4 (10,2) 
Hospital Universitario Infanta Cristina  3 (7,7) 
Otros  6 (15,4) 
Año de residencia
EIR 1° año  25 (64,1) 
EIR 2° año  14 (35,9) 

EIR: enfermeros internos residentes; M(DE): media (desviación estándar).

Se mostró una consistencia interna de la escala ECOEnfSM de buena a excelente en todas sus UC (∝ > 0,80) con un intervalo de confianza (IC) de 95% (tabla 2).

Tabla 2.

Fiabilidad de las Unidades de Competencia de las subescalas de la escala ECOEnfSM

  α de Cronbach  α de Cronbach estandarizado  CCI IC 95%  CCI valor p 
Evaluación de rotación genérica (n=43)
UC1  0,89  0,90  0,838 – 0,936  <0,000* 
UC2  0,88  0,88  0,822 – 0,931  <0,000* 
UC3  0,87  0,87  0,800 – 0,922  <0,000* 
UC4  0,89  0,89  0,833 – 0,934  <0,000* 
UC8  0,92  0,92  0,880 – 0,952  <0,000* 
TOTAL  0,93  0,94  0,899 – 0,961  <0,000* 
Evaluación de rotación en Centro de Salud Mental (CSM) (n=21)
UC1  0,93  0,93  0,848 – 0,976  <0,000* 
UC2  0,87  0,86  0,706 – 0,955  <0,000* 
UC3  0,89  0,89  0,756 – 0,963  <0,000* 
UC4  0,95  0,95  0,898 – 0,984  <0,000* 
UC8  0,91  0,91  0,806 – 0,970  <0,000* 
TOTAL  0,90  0,90  0,762 – 0,966  <0,000* 
Evaluación anual (n=21)
UC5  0,93  0,94  0,875 – 0,968  <0,000* 
UC6  0,91  0,91  0,843 – 0,960  <0,000* 
UC7  0,90  0,90  0,812 – 0,952  <0,000* 
TOTAL  0,84  0,87  0,666 – 0,929  <0,000* 
*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; CCI IC95%: intervalo de confianza del 95% del coeficiente de correlación intraclase; CCI valor p: nivel de significación del coeficiente de correlación intraclase; CDM: Centro de Salud Mental; UC: Unidad de Competencia.

Las subescalas de evaluación de rotación genérica y evaluación en CSM obtuvieron una fiabilidad excelente (∝ > 0,90) y la subescala de evaluación anual buena (∝ > 0,80) (tabla 2).

Al realizar la prueba de Shapiro-Wilk, las UC no se asemejaban a una distribución normal (estadístico de la prueba de normalidad de Shapiro-Wilk [Z]=0,59-0,83, p <0,05), por lo que se usó la r (tabla 3).

Tabla 3.

Correlación de los ítems con su Unidad de Competencia (escala ECOEnfSM)

  Rho de Spearman  valor p 
UC1 – valoración y diagnóstico (n=43)
Entrevista clínica  0,59  ≤ 0,001* 
Identificación de factores de crisis  0,50  0,001* 
Valoración por patrones de salud mental  0,41  0,007* 
Diagnóstico enfermero  0,49  0,001* 
Grupo de apoyo  0,27  0,083 
Recursos sociosanitarios  0,38  0,013* 
Transculturalidad  0,47  0,001* 
Tratamientos biológicos  0,40  0,008* 
Visita domiciliaria (n=12)  0,34  0,276 
UC2 – planificación (n=43)
Planificación de cuidados  0,42  0,005* 
Adecuación del plan  0,57  ≤ 0,001* 
Utilización de protocolos  0,29  0,056 
Planificación de riesgos  0,42  0,006* 
Taxonomías enfermeras  0,28  0,072 
Planificación de recursos  0,36  0,019* 
Visita domiciliaria (n=12)  0,37  0,242 
UC3 – intervención (n=43)
Intervención individual  0,56  ≤ 0,001* 
Intervención familiar  0,71  ≤ 0,001* 
Intervención grupal  0,57  ≤ 0,001* 
Intervención en crisis  0,44  0,003* 
Tratamientos biológicos  0,39  0,009* 
Visita domiciliaria (n=12)  0,48  0,114 
Derivación al alta  0,67  ≤ 0,001* 
UC4 – evaluación (n=43)
Intervención individual  0,55  ≤ 0,001* 
Intervención familiar  0,50  0,001* 
Intervención grupal  0,34  0,026 
Intervención en crisis  0,59  ≤ 0,001* 
Cuidados de enfermería en salud mental  0,32  0,035* 
Tratamientos biológicos  0,50  0,001* 
Visita domiciliaria (n=12)  0,74  0,006* 
Evaluación de programas y protocolos  0,59  ≤ 0,001* 
UC5 – investigación (n=21)
Actitud observadora y reflexiva  0,38  0,085 
Actitud de aprendizaje y mejora  0,48  0,027 
Cuestionar la realidad  0,20  0,380 
Desarrollar protocolos  0,02  0,915 
Trabajos científicos  0,79  0,734 
La pregunta de investigación  0,59  0,801 
Búsqueda de información  0,32  0,152 
Divulgación de resultados  0,39  0,082 
UC6 – gestión clínica (n=21)
Gestión por procesos  0,16  0,481 
Liderazgo  0,05  0,822 
Mejora de la calidad (actividad asistencial)  -0,14  0,542 
Mejora de la calidad (servicios de Salud Mental)  0,14  0,533 
Medida de calidad  0,12  0,616 
Sistemas de información  0,10  0,657 
Políticas sanitarias  0,31  0,177 
UC7 – docencia (n=21)
Actitud reflexiva sobre la importancia legal y ética  0,69  0,001* 
Evaluar necesidades de intervenciones de EPS  0,62  0,003* 
Planificación de las intervenciones  0,28  0,226 
Realizar intervenciones individuales y grupales  0,58  0,006* 
Programas de EPS  0,52  0,014* 
Autoaprendizaje  0,45  0,038* 
Actitud de mejora continua  0,66  0,001* 
Actividades docentes  0,67  0,001* 
UC8 – comunicación y relación interpersonal (n=43)
Escucha activa  0,54  ≤ 0,001* 
Expresión verbal  0,54  ≤ 0,001* 
Material de apoyo a la comunicación y RI  0,60  ≤ 0,001* 
Relación interpersonal  0,67  ≤ 0,001* 
Contexto multicultural  0,55  ≤ 0,001* 
Resolución de conflictos (pacientes, familia y equipo)  0,36  0,018* 
Manejo de TICS  0,50  0,001* 
Relación interprofesional  0,40  0,008* 
*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; EPS: educación para la salud; IC: intervalo de confianza; RI: relación interpersonal; TICS: Tecnologías de la Información y la Comunicación; UC: Unidad de Competencia.

La UC1 (valoración y diagnóstico) obtuvo niveles de correlación media-alta para todos los criterios (p <0,01) excepto para el criterio «Grupos de apoyo» que obtuvo una correlación baja (r=0,27, p=0,08) y el criterio de «Visita domiciliaria» con correlación media, pero sin significación (r=0,34, p=0,27).

La UC2 (planificación) obtuvo una fuerza de correlación media-alta para todos los criterios de forma significativa (p <0,05) excepto con «Utilización de protocolos» (r=0,29, p=0,05), «Taxonomías enfermeras» (r=0,28, p=0,07) y «Visita domiciliaria» (r=0,37, p=0,24).

La UC3 (intervención) obtuvo una correlación media-muy alta para todos los ítems (p <0,01) excepto para «Visita domiciliaria» (r=0,48, p=0,11).

La UC4 (evaluación) obtuvo una correlación media-muy alta para todos los ítems.

La UC5 (investigación) obtuvo una correlación entre la ausencia y la correlación muy alta, siendo datos no significativos (p > 0,05).

Se obtuvieron ausencia, poca correlación o correlación inversa (p > 0,05) en los criterios de evaluación de la UC6 (gestión clínica).

La UC7 (docencia) obtuvo correlaciones medias-altas para todos sus ítems (p <0,05), excepto para «Planificación de las intervenciones» donde destaca una correlación débil (r=0,28, p > 0,22).

La UC8 (comunicación y relación interpersonal) obtuvo una correlación media-alta en todos sus criterios (p <0,01).

La subescala de evaluación de rotación (genérica y CSM) obtuvo niveles de correlación altos y muy altos (r > 0,6), al igual que la subescala de evaluación anual con niveles medios y muy altos (r > 0,4, p <0,01) entre todas sus UC con niveles altamente significativos (p <0,01), según muestra la tabla 4.

Tabla 4.

Correlación de las Unidades de Competencia de las subescalas de ECOEnfSM

        Rho de Spearman
Evaluación de rotación (n=43) 
  UC1  UC2  UC3  UC4  UC8 
UC1  0,89*  0,80*  0,77*  0,78* 
UC2  0,66*  0,68*  0,84* 
UC3  0,82*  0,77* 
UC4  0,80* 
UC8 
Evaluación anual (n=21) 
  UC5  UC6  UC7     
UC5  0,79*  0,71*     
UC6  0,47*     
UC7     
*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; IC: intervalo de confianza; UC: Unidad de Competencia.

Discusión

Los datos del estudio indican unos altos niveles de fiabilidad, con una consistencia interna de buena a excelente (r > 0,80) en todas las subescalas y UC en la práctica clínica de los EIR en Salud Mental.

Rivera4 demostró la fiabilidad de la escala ECOEnfSM con una validación de contenido por grupo de expertos en Enfermería de Salud Mental de la Oficina Regional de Coordinación de Salud Mental y Adicciones, basándose en el programa formativo de la especialidad de Enfermería de Salud Mental1; y con una consistencia interna muy alta (índice de validez de contenido=0,96, α=0,968)4.

La escala ECOEnfSM se basa en la escala ECOEnf, que también demostró altos niveles de consistencia interna (índice de validez de contenido=0,85, α=0,986)16, concordancia intraobservador (r=0,98) e interobservador (r=0,66) y correlación de sus ítems (r > 0,50, p > 0,05) para evaluar las competencias enfermeras de los graduados en enfermería en población universitaria16,17,19.

Las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) se correlacionaron muy bien. Sin embargo, no ocurrió lo mismo con las UC transversales, ya que, aunque demostraron una correlación aceptable, obtuvieron datos dispares entre sus ítems, destacando la uc de investigación (UC5) por tener una gran variabilidad (correlaciones muy altas o ausencia de correlación) y, sobre todo, la UC de gestión clínica (UC6) con niveles inversos, nulos o pobres de correlación.

Estos datos concuerdan con la experiencia clínica donde encontramos UDM de Salud Mental con un alto interés en formar al EIR en materia de investigación y otras que lo consideran un simple trámite para aprobar la FSE. Por otra parte, parece obvio, según los resultados, que las competencias en gestión no son competencias que se desarrollen actualmente en los programas formativos, quizá por falta de tiempo, por falta de interés en los EIR o las UDM, por priorizar en las competencias asistenciales o por la complejidad de las funciones gestoras.

La subescala de evaluación de rotación obtuvo buenos niveles de correlación entre sus UC, ya que son actitudes, habilidades y conocimientos muy frecuentemente desarrollados en todas las UDM y fáciles de evaluar.

Sin embargo, la subescala de evaluación anual obtuvo menor correlación entre sus UC por tratarse de competencias menos desarrolladas o consideradas menos importantes, debido a que no se utilizan a menudo en la práctica clínica diaria. El tamaño muestral de la evaluación anual reflejó este hecho, ya que se consiguió menos participación que en el resto.

De hecho, se pueden explicar datos tan dispares como correlaciones bajas o ausencia de correlaciones, e incluso correlaciones inversas en sus UC (UC5-investigación, UC6-gestión clínica), debido a una menor representatividad, gran variabilidad entre los hospitales y difícil evaluación. No obstante, la UC7-docencia y UC8-comunicación y relación interpersonal fueron competencias transversales con excelentes datos.

Rivera destacó también las UC transversales como aquellas con menor nivel de fiabilidad, aunque consideradas como excelentes en su estudio, en relación con las UC específicas4.

De la misma manera, el criterio de evaluación de «Visita domiciliaria» sufrió baja representatividad y disparidad en sus datos, ya que existen pocas rotaciones asistenciales en el actual programa formativo con atención comunitaria, donde prevalece una atención hospitalaria (unidades de hospitalización y residenciales, hospitales de día, etc.), pocas UDM que prioricen o tengan esta cartera de servicios desarrollada por completo y/o rotaciones breves (< 2 meses) donde no hay tiempo a desarrollar competencias en visita a domicilio. Asimismo, encontramos niveles de correlación muy altos (r=0,74, p <0,01) y muy bajos (r=0,34, p=0,27) a la vez en este criterio en las diferentes UC. Los investigadores se comprometen a revisar estas correlaciones débiles como proceso de mejora continua, posiblemente debidos a una muestra insuficiente19.

A nivel internacional, se encuentran numerosas herramientas de evaluación de competencias, aunque muchas desarrolladas ad hoc por los investigadores para responder su objetivo de investigación, pero sin haber pasado por procesos de validación rigurorosos12,22.

Otros autores utilizan herramientas validadas evaluando competencias muy concretas como los conocimientos y actitudes, siendo difícil encontrar evaluación de otras competencias más específicas. Además, suelen ser temáticas de cuidados clásicos de la Enfermera de Salud Mental como el manejo de la salud física (Physical Health Attitude Scale for Mental Health Nurses [PHASe]23) o las contenciones (Attitudes towards Containment Measures Questionnaire [ACMQ]24)11,12, sin tener en cuenta otras competencias más complejas, novedosas y vitales para esta población, como la necesidad de investigación, las actitudes o la comunicación interpersonal o interprofesional recogidas en el programa formativo de la Enfermera de Salud Mental1.

Dickens et al. utilizan herramientas para evaluar estas competencias enfermeras en salud mental en patologías concretas como los trastornos límite de personalidad (Personality Disorders Knowledge, Attitudes and Skills Questionnaire [PD-KASQ]25, Attitude to Personality Disorder Questionnaire [APDQ]26) o los trastornos psicóticos11,12. No obstante, solo Rivera ofrece una herramienta de evaluación de competencias en el cuidado de todos los trastornos tratados por la enfermera de Salud Mental4.

Sheikhbahaeddinzadeh et al. analizan la composición y propiedades psicométricas de herramientas de evaluación de competencias en Enfermeras Psiquiátricas27: Psychiatric Nursing Performance Appraisal Instrument (PsychNPAI)28, Clinical competency in mental health nursing students29, Clinical Competency of Mental Health Nursing (CCMHN)30, Case management competence scale31, Mental Health Objective Structured Clinical Examination (MHOSCE)32 y Questionnaire to assess nursing competencies for the care of people with psychiatric disabilities in a hospital environment33.

Sin embargo, estas herramientas estaban centradas en enfermeras que trabajan en psiquiatría o estudiantes de Enfermería de Salud Mental, pero no se encontró ninguna centrada en las competencias clínicas de la Enfermera Psiquiátrica posgraduada27.

Por tanto, la escala ECOEnfSM destaca por ser la única rúbrica objetiva y completa para evaluar al EIR de Salud Mental, siendo imprescindible para el desarrollo profesional y como base teórica del conocimiento en enfermería. Además, permite evidenciar las competencias desarrolladas en el programa formativo1, así como justificar la superación o suspensión de la FSE frente a organismos oficiales como el Ministerio de Sanidad en España.

Entre las limitaciones de esta investigación, destaca ser un estudio piloto, la falta de estabilidad de los datos al no contar con un test-retest debido las dificultades de la práctica clínica y la posible necesidad de realizar una formación previa de la rúbrica dirigida a los tutores como evaluadores del EIR de Salud Mental.

Se plantean propuestas de mejora como aumentar el tamaño muestral e incluir otros estadísticos que midan validez o fiabilidad. Se proponen la realización de estudios de concordancia con dos evaluadores y/o de estudios para evaluar la validez de criterio comparando con la nota final de la actual evaluación del Ministerio de Sanidad3.

Según Gómez del Pulgar et al.: «la evaluación de competencias es un concepto global y no debe basarse en un único instrumento; la subjetividad de la misma se puede disminuir combinando instrumentos y métodos». La escala ECOEnfSM contribuye así a una evaluación continua y objetiva19.

Como conclusión, se señala que la escala ECOEnfSM obtuvo una fiabilidad muy alta en EIR en Salud Mental en España, considerándose la única herramienta válida y objetiva para evaluar las competencias profesionales de esta población hasta el momento.

Consideraciones éticas

Se solicitó la expresa autorización de los residentes y tutores encargados de evaluar a los EIR de las UDM de Salud Mental previamente a realizar la evaluación, firmando de esta manera el consentimiento informado. Los datos recogidos se trataron con carácter anónimo y confidencial. Para ello, se asignó a cada participante un registro alfanumérico y se anonimizaron los datos personales, siendo imposible que los profesionales que realizaron el estudio pudieran identificar a los participantes o asociarlos con los resultados obtenidos. Este estudio ha sido aceptado por el Comité Ético de Investigación Clínica (CEIC) del Hospital Clínico San Carlos (n° 22/289-E).

Financiación

Este trabajo no ha recibido ningún tipo de financiación.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Agradecimientos

A todas y todos los participantes del estudio: tutores, residentes, compañeros y amigos. Especialmente a la Asociación de Enfermería de Salud Mental y a la Comisión Consultiva de Cuidados de la Oficina Regional de Salud Mental y Adicciones de la Comunidad de Madrid.

Bibliografía
[1]
Orden SPI/1356/2011, de 11 de mayo, por la que se aprueba y publica el programa formativo de la especialidad de Enfermería de Salud Mental. Boletín Oficial del Estado, número 123. [consultado 17 May 2024].Disponible en: https://www.boe.es/buscar/doc.php?id=BOE-A-2011-9081
[2]
A.M. de Almeida Souza, M.Á. Cuevas-Budhart, F.P. Raya, M.A. González Jurado, M. Gómez del Pulgar García-Madrid.
The implementation of nursing specialties in Spain, 2005-2018: a documental study.
Clin Nurse Spec., 34 (2020), pp. 75-84
[3]
Resolución de 21 de marzo de 2018, de la Dirección General de Ordenación Profesional, por la que se aprueban las directrices básicas que deben contener los documentos acreditativos de las evaluaciones de los especialistas en formación. Boletín Oficial del Estado, número 95. [consultado 17 May 2024]. Disponible en: https://www.boe.es/buscar/doc.php?id=BOE-A-2018-5385
[4]
L.J. Rivera Vicente.
Evaluación de competencias del enfermero especialista en Salud Mental, utilizando la escala ECOEnf [Tesis] [Internet].
Universidad Complutense de Madrid, (2021),
[5]
K. Immonen, A. Oikarainen, M. Tomietto, M. Kääriäinen, A.M. Tuomikoski, B.M. Kaučič, et al.
Assessment of nursing students’ competence in clinical practice: A systematic review of reviews.
Int J Nurs Stud., 100 (2019), pp. 103414
[6]
N.G. AlOtaibi, A. Alshowkan, N. Kamel, A.M. El-Ashry, N.S. AlSaleh, E.S. Abd Elhay.
Assessing perceptions about critical thinking, motivation learning strategies in online psychiatric and mental health nursing education among Egyptian and Saudi undergraduate nursing students.
BMC Nurs., 22 (2023), pp. 112113
[7]
H. Hartley, J.D. Smith, A. Vandyk.
Systematic Review of Continuing Education Interventions for Licensed Nurses Working in Psychiatry.
J Contin Educ Nurs., 50 (2019), pp. 233-240
[8]
M.A. Piot, A. Dechartres, C. Attoe, M. Romeo, F. Jollant, G. Billon, et al.
Effectiveness of simulation in psychiatry for nursing students, nurses and nurse practitioners: A systematic review and meta-analysis.
J Adv Nurs., 78 (2022), pp. 332-347
[9]
C. La Cerra, A. Dante, V. Caponnetto, I. Franconi, E. Gaxhja, C. Petrucci, et al.
Effects of high-fidelity simulation based on life-threatening clinical condition scenarios on learning outcomes of undergraduate and postgraduate nursing students: A systematic review and meta-analysis.
BMJ Open., 9 (2019),
[10]
L.I. Mayor Silva, R. Caballero de la Calle, M.A. Cuevas-Budhart, J.O. Martin Martin, J.M. Blanco Rodriguez, M. Gómez del Pulgar García-Madrid.
Development of Communication Skills Through Virtual Reality on Nursing School Students: Clinical Trials.
Comput Informatics Nurs., 41 (2023), pp. 24-30
[11]
G.L. Dickens, M. Schoultz, N. Hallett.
Mental health nurses’ measured attitudes to people and practice: Systematic review of UK empirical research 2000-2019.
J Psychiatr Ment Health Nurs., 29 (2022), pp. 788-812
[12]
G.L. Dickens, R. Ion, C. Waters, E. Atlantis, B. Everett.
Mental health nurses’ attitudes, experience, and knowledge regarding routine physical healthcare: systematic, integrative review of studies involving 7,549 nurses working in mental health settings.
[13]
T. Hawsawi, J. Stein-Parbury, F. Orr, M. Roche, K. Gill.
Exploring recovery-focused educational programmes for advancing mental health nursing: An integrative systematic literature review.
Int J Ment Health Nurs., 30 (2021), pp. 1310-1341
[14]
A.M. Pedraza Anguera.
Evaluación de competencias del enfermero especialista en enfermería pediátrica utilizando la escala ECOEnf.
Universidad Complutense de Madrid, (2013),
[15]
M. Rivero Martinez.
Evaluación de competencias del enfermero especialista de cuidados médico-quirurgicos, utilizando la escala ECOenf [Tesis] [Internet]..
Universidad Complutense de Madrid, (2016),
[16]
M. Gómez del Pulgar García-Madrid, E. Pacheco del Cerro, M.A. González Jurado, M.P. Fernández Fernández, J.V. Beneit Montesinos.
Diseño y validación de contenido de la escala ‘ECOEnf’ para la evaluación de competencias enfermeras.
Index Enferm., 26 (2017), pp. 265-269
[17]
M. Gómez del Pulgar García-Madrid.
Evaluación de Competencias en el Espacio Europeo de Educación Superior: un instrumento para el Grado de Enfermería [Tesis] [Internet].
Universidad Complutense de Madrid, (2011),
[18]
Sanz Calvo J, Barreiro Mata C, Barrajón Engenios R. ecoenfsm.es: Evaluación EIR Salud Mental [Internet]; 2022. [consultado 17 May 2024]. Disponible en: https://www.ecoenfsm.es/
[19]
M. Gómez del Pulgar García-Madrid, S. Hernández-Iglesias, A. Crespo Cañizares, A.M. Pérez Martín, M.A. González Jurado, J.V. Beneit Montesinos.
Fiabilidad de una escala para la evaluación de competencias enfermeras: estudio de concordancia.
Educ Méd., 20 (2019), pp. 221-230
[20]
D. Frías-Navarro.
Apuntes de consistencia interna de las puntuaciones de un instrumento de medida [Internet].
Universidad de Valencia, (2022), pp. 22
[21]
U. Kuckartz, S. Rädiker, T. Ebert, J. Schehl.
Estadísticas: una introducción accesible.
2ª ed., Publicación Springer, (2013), pp. 213
[22]
S. Hemingway, J. Stephenson, F. Trotter, A. Clifton, P. Holdich.
Increasing the health literacy of learning disability and mental health nurses in physical care skills: A pre and post-test evaluation of a workshop on diabetes care.
Nurse Educ Pract., 15 (2015), pp. 30-37
[23]
D. Robson, M. Haddad.
Mental health nurses’ attitudes towards the physical health care of people with severe and enduring mental illness: The development of a measurement tool.
Int J Nurs Stud., 49 (2012), pp. 72-83
[24]
L. Bowers, J. Alexander, A. Simpson, C. Ryan, P. Carr-Walker.
Cultures of psychiatry and the professional socialization process: the case of containment methods for disturbed patients.
Nurse Educ Today., 24 (2004), pp. 435-442
[25]
W. Bolton, J. Feigenbaum, A. Jones, C. Woodward.
Development of the PD-KASQ (Personality Disorder –Knowledge Attitudes and Skills Questionnaire).
Oscar Hill Service, Camden and Islington NHS Foundation Trust, (2010),
[26]
L. Bowers, T. Allan.
The Attitude To Personality Disorder Questionnaire: Psychometric Properties and Results.
J Pers Disord., 20 (2006), pp. 281-293
[27]
E. Sheikhbahaeddinzadeh, T. Ashktorab, A. Ebadi.
Psychometric properties of clinical competency assessment instruments for psychiatric nurses: A systematic review of literature.
J Educ Health Promot., 11 (2022), pp. 396
[28]
K.N. Bondy, K. Jenkins, L. Seymour, R. Lancaster, J. Ishee.
The development and testing of a competency-focused psychiatric nursing clinical evaluation instrument.
Arch Psychiatr Nurs., 11 (1997), pp. 66-73
[29]
J. Mohtashami, M. Salsali, M. Pazargadi, H. Manoochehri, H. Alavi Majd.
Developing and Psychometric Properties Check List of Clinical Competency in Mental Health Nursing Students.
Iran J Psychiatry Nurs, 2 (2014), pp. 46-57
[30]
S. Moskoei, J. Mohtashami, M. Ghalenoeei, M. Nasiri, M.Z. Tafreshi.
Development and psychometric properties rating scale of «clinical competency evaluation in mental health nurses»: Exploratory factor analysis.
Electron Physician., 9 (2017), pp. 4155-4161
[31]
S.C. Chen, S.K. Lee, J.R. Rong, C.C. Wu, W.I. Liu.
The Development and Psychometric Testing on Psychiatric Nurses of a Nurse Case Management Competence Scale in Taiwan.
J Nurs Res., 26 (2018), pp. 72-79
[32]
C. Stockmann, D.A. Diaz, D. Murphy, K. Dever, M. Marchini, J. Huffman-Frazee, et al.
Development of a Mental Health Objective Structured Clinical Examination (OSCE): A Pilot Study.
Simul Gaming., 50 (2019), pp. 448-460
[33]
D. Feng, H. Li, L. Meng, G. Zhong.
Development of a Questionnaire to Assess Nursing Competencies for the Care of People with Psychiatric Disabilities in a Hospital Environment.
Psychiatr Q., 89 (2018), pp. 699-706
Copyright © 2024. The Author(s)
Opciones de artículo
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos

Quizás le interese:
10.1016/j.enfcli.2024.04.002
No mostrar más