Buscar en
Revista de Psiquiatría y Salud Mental
Toda la web
Inicio Revista de Psiquiatría y Salud Mental Traducción y validación de la versión española de la escala Health of the Na...
Información de la revista
Vol. 11. Núm. 3.
Páginas 141-150 (Julio - Septiembre 2018)
Visitas
10194
Vol. 11. Núm. 3.
Páginas 141-150 (Julio - Septiembre 2018)
ORIGINAL
Acceso a texto completo
Traducción y validación de la versión española de la escala Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD)
Translation and validation of the Spanish version of the Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD)
Visitas
10194
Susanna Esteba-Castilloa,
Autor para correspondencia
susanna.esteba@ias.cat

Autor para correspondencia.
, David Torrents-Rodasa, Javier García-Albab, Núria Ribas-Vidala, Ramon Novell-Alsinaa
a Servicio Especializado en Salud Mental y Discapacidad Intelectual (SESM-DI), Parc Hospitalari Martí i Julià, Institut d’Assistència Sanitària, Salt, Girona, España
b Departamento de Psicología Evolutiva y de la Educación, Facultad de Educación, Universidad Complutense de Madrid, Madrid, España
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (1)
Tablas (3)
Tabla 1. Características básicas de la muestra (n=111)
Tabla 2. Estructura factorial de la versión en castellano de la escala HoNOS-LD
Tabla 3. Medianas y cuartiles (Q1 y Q3) de la puntuación HoNOS-LD en función del nivel de apoyos requerido para los participantes
Mostrar másMostrar menos
Resumen
Introducción

La escala Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD) fue creada para evaluar de forma breve el funcionamiento de las personas con trastorno de desarrollo intelectual y problemas de salud mental/trastornos de conducta. El objetivo del presente trabajo fue estudiar las evidencias sobre la validez de las puntuaciones obtenidas con la escala HoNOS-LD traducida al castellano.

Material y métodos

La muestra estaba formada por 111 participantes que fueron evaluados con la HoNOS-LD traducida al castellano y otros cuestionarios relacionados. Para estudiar la fiabilidad entre examinadores y la fiabilidad test-retest, 33 participantes fueron evaluados por 2 examinadores y reevaluados al cabo de 7 días.

Resultados

De acuerdo con criterios clínicos y conceptuales, y con el resultado del análisis paralelo, se seleccionó una solución factorial con único factor. La consistencia interna fue buena (coeficiente omega de 0,87). Las fiabilidades entre examinadores y test-retest fueron excelentes (coeficientes de correlación intraclase de 0,95 y 0,98, respectivamente). Las correlaciones entre secciones de la HoNOS-LD y los instrumentos relacionados fueron en el sentido esperado y altamente significativas (p<0,001), y la puntuación HoNOS-LD aumentaba con el nivel de apoyos necesario de los participantes, resultados que aportaron evidencia sobre la validez de asociación con otras variables externas.

Conclusiones

La versión en castellano de la HoNOS-LD representa un instrumento breve, válido y fiable, que permitirá la evaluación rutinaria del funcionamiento con distintas finalidades, incluyendo el diagnóstico y la intervención.

Palabras clave:
Trastorno del desarrollo intelectual
Trastornos mentales
Trastornos de conducta
Cuestionarios
Fiabilidad y validez
Abstract
Introduction

The Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD) is a brief instrument that assesses functioning in people with intellectual development disorder and mental health problems/behaviour disorders. The aim of the present study was to examine the evidence on the validity of the scores based on the Spanish version of the HoNOS-LD.

Material and methods

The study included 111 participants that were assessed by the Spanish version of the HoNOS-LD and other questionnaires that measured different variables related to the scale. Thirty-three participants were assessed by 2 examiners, and retested 7 days later, in order to study inter-examiner reliability and test-retest reliabilities.

Results

Based on clinical and conceptual criteria, and on the results of the parallel analysis, a factorial solution with one factor was selected. Internal consistency was good (Omega coefficient of 0.87). Inter-examiner and test-retest reliabilities were excellent (intraclass correlation coefficients of 0.95 and 0.98, respectively). Correlations between sections of the HoNOS-LD and the related instruments showed the expected direction, and were highly significant (P<.001), and the HoNOS-LD score increased with the intensity of the support required by the participants. These results showed evidence of the validity of association with other external variables.

Conclusions

The Spanish version of the HoNOS-LD is a brief, valid and reliable instrument, which will enable a routine assessment of functioning for different uses, including diagnosis and intervention.

Keywords:
Intellectual development disorder
Mental disorders
Behaviour disorders
Questionnaires
Reliability and validity
Texto completo
Introducción

Según los nuevos criterios diagnósticos del DSM-51, el trastorno de desarrollo intelectual (TDI) incluye limitaciones en el funcionamiento intelectual así como en el comportamiento adaptativo, y se inicia durante el periodo de desarrollo. Los estudios epidemiológicos indican que la prevalencia de los trastornos psiquiátricos y de conducta en las personas con TDI es igual o incluso superior que en la población general2.

El concepto de diagnóstico dual o comórbido implica que los clínicos deben disponer no solo de las habilidades clínicas suficientes, sino además de las pruebas psicopatológicas necesarias que permitan evaluar todo el rango de enfermedad mental y sus distintas manifestaciones en personas con TDI. Sin embargo, las investigaciones más relevantes sobre este fenómeno evidencian que hay una tendencia a infradiagnosticar los trastornos mentales en este colectivo. Existe una alta proporción de personas con TDI que aun presentando trastornos mentales no han recibido un diagnóstico psicopatológico adecuado; consecuentemente, no hay un tratamiento específico y la evolución del mismo suele comprometerse3. Este fenómeno se complica aún más en algunos casos, cuando ni siquiera hay un diagnóstico que justifique la discapacidad intelectual; por ejemplo, cuando el TDI es sindrómico. Un alto porcentaje de personas con TDI sindrómico presentará trastornos psiquiátricos y/o trastornos de la conducta, por lo que frente a la presencia de rasgos dismórficos en el contexto de discapacidad intelectual no filiada y alteraciones conductuales o psiquiátricas es recomendable la realización de un estudio genético4.

Estos errores en el diagnóstico pueden deberse a un problema conocido como ensombrecimiento diagnóstico (diagnostic overshadowing)5. Dicho término hace referencia a los casos en los que la presencia del TDI reduce la significación diagnóstica de un problema comportamental acompañante: los síntomas de la enfermedad mental están «ensombrecidos» en la población con TDI. Hay varios motivos que explican este fenómeno. En buena parte, esto se debe a la disminución de la capacidad para observar y describir la propia conducta y estado, como consecuencia de la afectación cognitiva y su semiología (capacidad de razonamiento limitada, problemas lingüísticos y comunicativos, etc.). Por otra parte, la presencia de déficits añadidos, tales como déficits sensoriales severos o perfiles del trastorno del espectro del autismo asociados al TDI6, impiden la expresión típica de las características del trastorno, induciendo a errores diagnósticos. Así, por ejemplo, la depresión tiende a manifestarse en forma de equivalentes conductuales como agresividad, chillidos y/o autolesiones7. Además, puede resultar difícil distinguir entre algunas manifestaciones asociadas a determinadas etapas del desarrollo cerebral madurativo (pensamientos mágicos o amigos invisibles) y trastornos del contenido del pensamiento en personas de edad cronológica avanzada pero con edades mentales claramente inferiores8. Finalmente, en la población sin discapacidad, los problemas de salud mental presentan una interferencia en las habilidades adaptativas más complejas que no van a ser observables en personas con TDI por el propio nivel de afectación cognitiva9. En consecuencia, la evaluación psicopatológica en el ámbito del TDI debe tener en cuenta todas estas peculiaridades.

De acuerdo con lo expuesto, el estudio de los cambios respecto del funcionamiento basal del individuo es fundamental para identificar la aparición de enfermedad mental en personas con TDI. Por ejemplo, en aquellas personas con necesidad de soporte extenso y poca o nula capacidad de comunicación, son evidentes las dificultades para comunicar su estado de ánimo, siendo necesario prestar especial atención a la aparición de cambios a nivel conductual (básicamente conductas desafiantes) y en la esfera biológica (alteraciones en el sueño y/o del apetito)7. La monitorización del funcionamiento también muestra su utilidad a la hora de evaluar el éxito o el fracaso tras una intervención. Una actuación eficaz no solo debe producir una remisión de los síntomas específicos del trastorno, sino que debe mejorar el funcionamiento del individuo en distintos ámbitos, incluyendo la salud general, las habilidades adaptativas o las relaciones sociales. Al igual que los aspectos clínicos, el funcionamiento debería ser medido de forma estandarizada, con instrumentos válidos y fiables. De este modo, se pueden obtener medidas longitudinales consistentes y sensibles a la aparición de cambios, además de estudiar la influencia de características individuales, tipos de intervención o adecuación de los servicios asistenciales.

La correcta evaluación del funcionamiento de las personas con TDI y problemas de salud mental no siempre ha recibido la atención merecida. Autores como Matson et al.10 constataron que la mayor parte de los estudios farmacológicos llevados a cabo en este colectivo raramente evaluaban los efectos de la medicación más allá de los síntomas propios del trastorno. Para hacer frente a esta carencia, Roy et al.11 adaptaron un instrumento de medida del funcionamiento en personas de la población general con problemas de salud mental (Health of the Nation Outcome Scales [HoNOS])12 para su uso en las personas con TDI. La nueva versión se llamó Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD)11.

Al igual que la versión original, la escala HoNOS-LD es un instrumento breve, que determina el funcionamiento general teniendo en cuenta distintos aspectos como conductas desafiantes, deterioro cognitivo y físico, síntomas psiquiátricos, habilidades adaptativas y relaciones sociales. Adicionalmente, y de acuerdo con los hallazgos de un estudio que utilizó la escala HoNOS original en personas con TDI mayores de 50 años13, la escala HoNOS-LD contempla de forma más específica las conductas desafiantes y las dificultades cognitivas y comunicativas. No existen escalas con las características de especificidad de la HoNOS-LD, ya que su diseño y contenido acaba siendo un compendio de los diversos aspectos relacionados con los problemas clínicos derivados no solo del propio TDI, sino también de las características del déficit cognitivo, de las alteraciones psiquiátricas y de los trastornos de conducta. La HoNOS-LD cubre en realidad áreas que miden de forma específica otras escalas. En este sentido, incluye ítems para valorar enfermedad mental, asemejándose en este aspecto al Psychiatric Assessment Schedule for Adults with Developmental Disabilities14, habilidades adaptativas, comparable a la Vineland Adaptive Behaviour Scales15, presencia de alteraciones conductuales, equiparable al Aberrant Behavior Checklist (ABC)16, o de funcionamiento social, como la Social Functioning Scale for the Mentally Handicapped17. En su estudio de validación, la escala HoNOS-LD se mostró sensible al cambio y obtuvo buenos indicadores psicométricos11. Tenneij et al.18 compararon las escalas HoNOS y HoNOS-LD (versiones holandesas) en una muestra de personas con TDI y problemas de salud mental y/o conductuales. Estos autores concluyeron que la escala HoNOS-LD era la más adecuada para evaluar personas con TDI, dado que presentaba unas propiedades psicométricas superiores y, a nivel cualitativo, los examinadores preferían las definiciones operacionales de los ítems de esa escala. Finalmente, este instrumento ha sido utilizado en un número importante de estudios para valorar la eficacia de intervenciones19–21, determinar la calidad de servicios asistenciales especializados en TDI22–24, o comparar personas en función de sus características clínicas25.

El objetivo general del presente estudio fue estudiar las evidencias sobre la validez de las puntuaciones obtenidas con la escala HoNOS-LD traducida al castellano, estudiando las propiedades psicométricas de sus puntuaciones en una muestra de personas con TDI y problemas de salud mental y/o trastorno de conducta. De forma más específica, se pretendía analizar la estructura interna de las puntuaciones obtenidas con el nuevo instrumento, evaluar su consistencia interna y sus fiabilidades test-retest y entre examinadores, así como estudiar su asociación con otras variables externas (puntuaciones de otros instrumentos utilizados para medir constructos relacionados - validación convergente- y nivel de apoyos que requerían los participantes - validación de criterio retrospectiva-). Se hipotetizó que la estructura interna de las puntuaciones obtenidas con la versión castellana de la escala HoNOS-LD sería parecida a la del instrumento original, y que estas puntuaciones presentarían unos buenos índices de consistencia interna, fiabilidad test-retest y fiabilidad entre examinadores. Además, las puntuaciones correlacionarían de forma significativa con las de otros instrumentos que miden constructos relacionados, y variarían significativamente en función del nivel de apoyos requeridos por los participantes.

Material y métodosParticipantes

Se realizó un muestreo de conveniencia no probabilístico entre los usuarios del Servicio Especializado en Salud Mental y Discapacidad Intelectual (SESM-DI) del Institut d’Assistència Sanitària (IAS) de Girona. Se incluyeron 111 adultos (≥18 años) de ambos sexos, con TDI y diagnóstico de trastorno psiquiátrico y/o trastorno de conducta. Para el diagnóstico de TDI se siguieron los criterios DSM-51, y para la clasificación de la enfermedad dual los del Diagnostic Criteria for Psychiatric Disorders for Use with Adults with Learning Disabilities26. La muestra comprendía distintos niveles de apoyos de acuerdo con las categorías establecidas en el DSM-5. Todos los participantes debían firmar el asentimiento o consentimiento informado (en función de si se trataba de personas con protección legal) y también era necesario el consentimiento informado del familiar o responsable que los representaba legalmente.

Se excluyeron aquellos participantes con alteraciones del sistema nervioso no relacionadas con el TDI (por ejemplo, traumatismo craneoencefálico, accidente cerebrovascular, tumor cerebral o esclerosis múltiple), abuso de tóxicos o presencia de enfermedades no tratadas asociadas a un déficit cognitivo (por ejemplo, hipotiroidismo, deficiencia de vitamina B12 o diabetes mellitus).

Procedimiento

Se realizó un estudio de validación mediante un diseño observacional transversal. En primer lugar, se realizó una traducción y posterior retrotraducción de la escala por 2 traductores independientes, relacionados con el campo de la psicopatología y pertenecientes al SESM-DI (IAS, Girona) y al Departamento de Psicología Evolutiva y de la Educación (Facultad de Educación, Universidad Complutense de Madrid). Para ello se tuvo en cuenta el listado para el control de calidad de la traducción-adaptación de instrumentos psicométricos27. Una vez obtenida la versión en castellano se solicitó su revisión a un experto en psicopatología e investigación con amplia experiencia en la valoración clínica, perteneciente al SESM-DI (IAS, Girona). Posteriormente, se realizaron pruebas sobre el funcionamiento de la versión traducida de la escala, siendo aplicada por varios profesionales a 10 pacientes con el fin de confirmar la pertinencia de la traducción. Se pudo observar que la mayor parte de los ítems funcionaba adecuadamente; solo fue necesario realizar una sola modificación de tipo gramatical. Así, el proceso de traducción cumplió las directrices marcadas por la Comisión Internacional de Tests28.

La recogida de datos se hizo en 2 sesiones de una duración aproximada de 45min. Se recogieron los datos de la escala HoNOS-LD y de otros instrumentos con la finalidad de llevar a cabo la validación convergente (véase el apartado Instrumentos). Para estudiar la fiabilidad entre examinadores, 33 participantes fueron evaluados por el examinador principal y un segundo examinador, ambos especializados en la valoración psicopatológica de personas con TDI. Además, estos 33 participantes fueron evaluados en las mismas condiciones otra vez al cabo de 7 días, para obtener datos sobre la fiabilidad test-retest. Todas las evaluaciones fueron realizadas por psicólogos especializados en personas con TDI pertenecientes al SESM-DI, durante las primeras horas de la mañana y en condiciones adecuadas.

Se informó del estudio a los posibles participantes y se obtuvo el consentimiento/asentimiento informado de aquellos que formaron la muestra final. Los participantes no recibieron ningún tipo de incentivo por colaborar en el estudio. Una vez informados, la mayor parte de los pacientes y familiares aceptaron a participar, solo 3 decidieron no participar. El historial clínico y todos los cuestionarios contestados por los participantes iban codificados para garantizar su anonimato, cumpliendo la normativa al respecto sobre la Ley Protección de Datos. El desarrollo del estudio estuvo supervisado en todo momento por la investigadora principal garantizando que se cumplieran los principios enunciados en la Declaración de Helsinki. Su protocolo fue aprobado por el Comité de Ética de Investigación Clínica del IAS.

InstrumentosHealth of the Nation Outcome Scales for People with Learning Disabilities11

Consta de 18 ítems que se agrupan en distintas secciones: a) conductas desafiantes (ítems 1-3); b) cognición (ítems 4-7); c) problemas clínicos (ítems 8-13), y d) habilidades adaptativas y relaciones sociales (ítems 14-18). El profesional en salud mental realiza la evaluación en relación con el funcionamiento observado durante el último mes mediante la ayuda de un informador. Cada ítem se puntúa de 0 a 4: «0» significa ausencia de problemas de funcionamiento, mientras que «4» implica mayor gravedad en estos problemas. La puntuación de la escala varía entre 0 y 72 (a mayor puntuación, peor funcionamiento). Es importante señalar que la escala no pretende evaluar el «potencial» de funcionamiento, sino el nivel de funcionamiento real, teniendo en cuenta el impacto de los apoyos que recibe el individuo.

Aberrant Behavior Checklist16

Escala formada por un total de 58 ítems correspondientes a 5 subescalas: agitación, letargia y aislamiento social, conductas estereotipadas, hiperactividad y locuacidad (índices de consistencia interna de 0,92, 0,95, 0,92, 0,94 y 0,85, respectivamente). En el ámbito clínico se utiliza para evaluar conductas desafiantes y los cambios que se producen en estas como resultado de una intervención. La mayoría de los estudios sobre los efectos de tratamientos ha demostrado que es una escala sensible a los cambios conductuales29.

Kaufman Brief Intelligence Test30

Prueba de inteligencia formada por 2 subescalas, una valora inteligencia cristalizada (vocabulario, consistencia interna=0,93, fiabilidad test-retest=0,98), y la otra valora pensamiento fluido (matrices, consistencia interna=0,94, fiabilidad test-retest=0,97). También proporciona un índice de inteligencia global (consistencia interna=0,94, fiabilidad test-retest=0,98). Su puntuación suelo estándar de 40 es una de las más bajas en las pruebas breves para determinar el coeficiente de inteligencia.

Mini Psychiatric Assessment Schedule for Adults with Developmental Disabilities14,31

Instrumento de cribado que evalúa la presencia y gravedad de síntomas psiquiátricos en personas con TDI con necesidad de apoyos limitados o intermitentes y con lenguaje verbal. Proporciona puntuaciones para 7 categorías de trastornos mentales. La superación de un determinado punto de corte implica la posible presencia de un trastorno y aconseja la realización de una evaluación clínica más detallada. Los índices del coeficiente de correlación intraclase (CCI) para las puntuaciones totales y para los índices de definición oscilaron entre 0,82 y 0,84. La fiabilidad entre diagnósticos fue de 0,62.

Diagnostic Assessment for the Severely Handicapped-II32

Herramienta de cribado que evalúa psicopatología en adultos con TDI con necesidades de apoyo extenso o generalizado. Se divide en 13 subescalas que valoran frecuencia, duración y niveles de gravedad de distintos trastornos psiquiátricos. La consistencia interna osciló entre 0,20 y 0,84 para las 13 subescalas.

Adaptive Behavior Scale-Residential and Community, second edition33

Escala utilizada para valorar el comportamiento adaptativo. En una primera parte se evalúan habilidades necesarias para lograr independencia personal y responsabilidad en la vida diaria (consistencia interna=0,91). En una segunda parte se evalúan habilidades sociales (consistencia interna=0,80). Las habilidades de la primera parte se distribuyen en 10 dominios y 21 subdominios, y las de la segunda se agrupan en 8 dominios. Una vez se ha administrado la escala, se marcan las habilidades de cada persona en cada dominio y se compara su desempeño con el de su grupo normativo.

Análisis de datos

Las variables demográficas de la muestra y las puntaciones de los instrumentos se analizaron mediante frecuencias y porcentajes o cuartiles (dado que las variables no presentaban distribuciones normales), según la naturaleza categórica o cuantitativa de estas. La estructura interna de las puntuaciones de la escala HoNOS-LD se estudió mediante un análisis factorial exploratorio por mínimos cuadrados ordinarios. Dada la naturaleza ordinal de los ítems, el análisis se basó en una matriz de correlaciones policóricas34. Previamente, se inspeccionaron visualmente las distribuciones de las puntuaciones de cada uno de los ítems y se calcularon sus índices de asimetría y curtosis. La selección del número de factores a retener se basó en criterios teóricos y en el resultado de un análisis paralelo35. La consistencia interna de las puntuaciones se evaluó mediante el coeficiente omega, que es el adecuado para analizar variables basadas en escalas de respuesta tipo Likert36. La fiabilidad entre examinadores y la test-retest se calcularon mediante CCI. La validación convergente se llevó a cabo mediante una serie de correlaciones de Spearman entre las puntuaciones de las distintas secciones de la escala HoNOS-LD y las puntuaciones de los otros instrumentos utilizados para medir constructos relacionados. Desde un punto de vista clínico, las puntuaciones de las subescalas de los instrumentos utilizados son más informativas que las puntuaciones totales. A pesar de ello, las puntaciones totales cuantifican de forma general los distintos constructos subyacentes, y por ese motivo se utilizaron estas para realizar las correlaciones. En concreto, las puntuaciones de las secciones del HoNOS-LD tales como: a) conductas desafiantes; b) cognición; c) problemas clínicos, y d) habilidades adaptativas y relaciones sociales se correlacionaron con las puntuaciones totales de las escalas ABC, Kaufman Brief Intelligence Test, Mini Psychiatric Assessment Schedule for Adults with Developmental Disabilities /Diagnostic Assessment for the Severely Handicapped y Adaptive Behavior Scale-Residential and Community, second edition, respectivamente. La validación de criterio se analizó mediante la prueba no paramétrica de Kruskal-Wallis, con el nivel de apoyos necesario para la categorización del TDI (limitado, intermitente, extenso y generalizado) como variable independiente y la puntuación HoNOS-LD como variable dependiente. El nivel de significación estadística bilateral utilizado en todas las pruebas fue de 0,05 (excepto cuando se realizaron múltiples comparaciones y el nivel de significación estadística se ajustó mediante la corrección de Bonferroni) y el tamaño del efecto se calculó mediante el coeficiente de correlación de Pearson. El conjunto de datos del estudio no presentó ningún valor perdido. Los análisis se llevaron a cabo mediante el programa SPSS 19 (SPSS Inc., Chicago, IL, EE. UU.). La estructura factorial y la consistencia interna de las puntuaciones se analizaron mediante el programa FACTOR (Lorenzo-Seva)37.

ResultadosDescripción básica de la muestra y puntuaciones de las escalas

En la tabla 1 se presentan las variables demográficas y los cuartiles de las puntuaciones globales de las herramientas utilizadas en este estudio.

Tabla 1.

Características básicas de la muestra (n=111)

  Mediana (Q1, Q3)/n (%) 
Edad en añosa  43,72 (41,25-46,18) 
Sexo
Hombre  67 (60,4) 
Mujer  44 (39,6) 
Competencia curricular adquirida
Iletrados  73 (65,8) 
Previa a lectoescritura  37 (33,3) 
Previa a primaria  1 (0,9) 
Nivel requerido de apoyos   
Limitado  31 (27,9) 
Intermitente  31 (27,9) 
Extenso  17 (15,3) 
Generalizado  32 (28,9) 
Puntación HoNOS-LD  24,00 (13,00, 37,00) 
ABC  25,00 (15,00, 37,00) 
K-BIT  43,00 (20,00, 59,00) 
Mini PAS-ADD (n=61)  13,00 (9,00, 17,00) 
DASH-II (n=50)  36,00 (27,00, 47,00) 
ABS-RC:2  111,00 (110,00, 136,00) 
a

La variable edad presentaba una distribución normal y, por tanto, se muestra como media (intervalo de confianza al 95%).

Análisis de la estructura interna

Algunos ítems de la escala HoNOS-LD presentaban puntuaciones con distribuciones leptocúrticas y asimétricas hacia la derecha. En esos ítems la mayoría de los participantes había seleccionado las opciones de respuesta más bajas de la escala ordinal (equivalentes a pocos problemas de funcionamiento). El test de esfericidad de Bartlett –χ2 (153)=1.009,70, p<0,001– indicó que la correlación entre las puntuaciones de los ítems era suficientemente grande, y el índice Kaiser-Meyer-Olkin (0,86), que había un buen grado de relación conjunta entre las variables. Con base en criterios teóricos y en el resultado del análisis paralelo, se extrajo un único factor que, con un autovalor de 6,95, explicaba el 38,6% de la varianza. La tabla 2 muestra la solución factorial obtenida. Dos tercios de los ítems tenían pesos factoriales por encima del criterio de 0,3038. Los ítems 1 (problemas de conducta dirigida a otras personas) y 8 (problemas asociados a alucinaciones o delirios) presentaron pesos factoriales especialmente bajos (0,15 y −0,06, respectivamente). Sin embargo, atendiendo a la importancia de evaluar estos aspectos a la hora de determinar el funcionamiento en personas con TDI y problemas de salud mental, se optó por mantener estos 2 ítems. Finalmente, el valor de la raíz media cuadrática residual fue de 0,16, por encima del criterio propuesto por Kelley39 (en este caso, 0,10), y el índice GFI fue de 0,96, por debajo del criterio de 0,9540. Con base en estos valores, el ajuste del modelo factorial no se puede considerar bueno.

Tabla 2.

Estructura factorial de la versión en castellano de la escala HoNOS-LD

Ítems HoNOS-LD  Factor único 
1. Problemas de conducta dirigida a otras personas (heteroagresiones)  0,15 
2. Problemas de conducta dirigida a sí mismo (autoagresiones)  0,53 
3. Otros problemas mentales y conductuales  0,23 
4. Atención y concentración  0,79 
5. Memoria y orientación  0,90 
6. Comunicación (comprensión)  0,88 
7. Comunicación (expresión)  0,90 
8. Problemas asociados a alucinaciones o delirios  −0,06 
9. Problemas asociados a cambios de humor  0,25 
10. Trastornos del sueño  0,27 
11. Problemas con la comida y la bebida  0,27 
12. Problemas físicos  0,39 
13. Epilepsia  0,35 
14. Actividades de la vida diaria en el hogar  0,78 
15. Actividades de la vida diaria fuera del hogar  0,83 
16. Autocuidado  0,78 
17. Problemas relacionales  0,57 
18. Profesión y actividades  0,67 

En negrita se indican los pesos factoriales superiores a 0,30.

Fiabilidad

El coeficiente omega fue de 0,87, indicando una buena consistencia interna36. El CCI entre las puntuaciones obtenidas por los 2 examinadores fue de 0,95 (intervalo de confianza del 95% 0,89-0,97). El CCI entre las puntuaciones obtenidas en el test y el retest fue de 0,98 (intervalo de confianza del 95% 0,96-0,99). Estos valores indican una fiabilidad entre examinadores y una fiabilidad test-retest excelentes.

Validez de relación con otras variables externas

La figura 1 muestra que las puntuaciones de las secciones de la escala HoNOS-LD correlacionaron en el sentido esperado con las puntuaciones de los otros instrumentos que miden constructos relacionados. La tabla 3 muestra los cuartiles de la puntuación HoNOS-LD en función del nivel de apoyos necesario de los participantes. Dado que una mayor puntuación implica un peor funcionamiento, se esperaba que la puntuación aumentara con el nivel de apoyos. La prueba Kruskal-Wallis –H (3)=76,23, p<001– y las comparaciones entre pares de grupos mediante la prueba U de Mann-Whitney confirmaron la hipótesis: Us<57,00, ps<001, rs<−0,56. La única comparación de medias no significativa fue la que implicaba a los participantes con nivel de apoyos limitados y con nivel de apoyos intermitentes: U=371,00, p=0,12, r=−0,20 (tabla 3).

Figura 1.

Gráficos de dispersión que muestran las correlaciones entre las puntuaciones de las secciones de la escala HoNOS-LD y las puntuaciones de los instrumentos relacionados.

ρ: coeficiente de correlación de Spearman. Todas las correlaciones fueron estadísticamente significativas con un valor p<0,001.

(0,22MB).
Tabla 3.

Medianas y cuartiles (Q1 y Q3) de la puntuación HoNOS-LD en función del nivel de apoyos requerido para los participantes

  Mediana (Q1, Q3) 
   
Limitado (n=31)  13,00 (9,00, 20,00) 
Intermitente (n=31)  16,00 (12,00, 21,00) 
Extenso (n=17)  31,00 (25,00, 34,00) 
Generalizado (n=32)  40,00 (37,00, 44,25) 
Discusión

El objetivo del presente trabajo fue encontrar evidencias de validez de las puntuaciones obtenidas con la escala HoNOS-LD traducida al castellano, utilizando una muestra de personas con TDI y problemas de salud mental y/o trastorno de conducta. La mediana de la puntuación HoNOS-LD de la muestra de este estudio (24,00) es superior a las puntuaciones medias obtenidas por Roy et al.11 (18,26 y 18,55 para cada uno de los 2 examinadores) y Tenneij et al.18 (12,27 y 13,19 para profesionales de enfermería y psicología/psiquiatría, respectivamente). Hay que tener en cuenta que en la presente investigación la muestra estaba formada por un mayor porcentaje de personas con necesidades de apoyo extenso y generalizado si se compara con el estudio de Roy et al. (44,2 versus 26,5%, respectivamente). Respecto al trabajo de Tenneij et al., los autores excluían al colectivo con más necesidades de soporte y solo tenían en cuenta una muestra con un nivel de apoyo limitado-intermitente. Si solo se tienen en cuenta las medianas de las puntuaciones de los participantes con niveles de apoyos limitados e intermitentes de la presente muestra (13,00 y 16,00, respectivamente), las medianas/medias de los estudios son similares.

En relación con el análisis de la estructura interna, hay que tener en cuenta que la HoNOS-LD se concibe como una escala que mide el funcionamiento en personas con TDI y problemas de salud mental/trastornos de conducta, siendo este determinado por variables de diversa índole que se pretenden medir con cada uno de los ítems. Por tanto, conceptualmente cada ítem sería una medida parcial pero «necesaria» del constructo funcionamiento general. En ese sentido se quieren señalar varias cuestiones. En primer lugar, se optó por llevar a cabo un análisis factorial porque, a diferencia del análisis de componentes principales, distingue entre varianza común entre los ítems (aquella explicada por los factores) y varianza de error. Se considera que este tipo de análisis es el más adecuado en el ámbito de la psicometría, donde las variables analizadas a menudo tienen un cierto error de medida. Además, a pesar de partir de una hipótesis clara sobre el número de factores subyacente a las puntuaciones de la escala (en este caso uno), se tuvo en cuenta que cada uno de los ítems no constituía una medida factorialmente pura. Por ese motivo, se optó por un análisis factorial exploratorio en lugar de uno confirmatorio41. En segundo lugar, a pesar de ser conscientes de la importancia de evaluar la estructura interna de las puntuaciones de un instrumento psicométrico en el proceso de hallar evidencias de su validez, es importante señalar que en el estudio de creación de la escala HoNOS-LD original no se llevó a cabo ningún análisis para determinar la validez factorial, ya que la selección de los ítems se basó exclusivamente en criterios clínicos11. En este sentido, a pesar de que el ajuste del modelo no fuera satisfactorio de acuerdo con la raíz media cuadrática residual y el índice GFI, se consideró que era importante tener en cuenta los mismos aspectos del funcionamiento de las personas con TDI que se contemplaron en la versión original. Por este motivo, se optó por mantener algunos ítems que mostraron pesos factoriales bajos, pero que son relevantes desde un punto de vista clínico. Además, es interesante señalar que la semiología de los ítems con menores pesos factoriales estaba relacionada con problemas de tipo clínico. Esto podría estar asociado al hecho de que en el presente estudio todos los participantes recibían atención en un servicio especializado en salud mental para personas con TDI y que, por tanto, se presupone que estas personas presentaban un buen control de los síntomas clínicos. La importancia de estos aspectos se vería mejor reflejada en personas con TDI que no recibieran una atención adecuada a sus problemas de salud mental/trastornos de conducta.

La consistencia interna de la escala fue buena, con un coeficiente omega de 0,87. Este valor es comparable con las alfas de Cronbach indicadas por Tenneij et al.18, que fueron de 0,89 y 0,74, según los examinadores fueran profesionales de enfermería o de psicología/psiquiatría, respectivamente. La fiabilidad entre examinadores fue excelente, con un CCI de 0,95. Este valor es superior a los indicados por Roy et al.11 (correlaciones de Pearson de 0,93 y 0,76 para los momentos de evaluación 1 y 2, respectivamente) y por Tenneij et al. (CCI de 0,72). Estas diferencias pueden deberse a que en la presente investigación solo 2 psicólogos (ambos formados en el ámbito del TDI) participaron en el estudio de la fiabilidad interexaminador, mientras que en el resto los investigadores eran mayor número y de diversa formación. Este estudio es el primero en aportar datos sobre la fiabilidad test-retest de la escala HoNOS-LD que, con un CCI de 0,98, fue excelente.

Cada una de las secciones de la escala HoNOS-LD correlacionó en el sentido esperado y de modo altamente significativo (p<0,001) con el resto de los instrumentos. Esto indica que, a pesar de su brevedad, la escala HoNOS-LD constituye una medida adecuada de distintos aspectos del funcionamiento de las personas con TDI y problemas de salud mental/trastornos de conducta. Estos aspectos incluyen conductas desafiantes, cognición, problemas clínicos, habilidades adaptativas y relaciones sociales42. Los resultados muestran una correlación de 0,55 entre las puntuaciones de la sección A de la escala HoNOS-LD (ítems 1-3) y de la escala ABC. Roy et al.11 también utilizaron el ABC, pero en ese caso su calificación se correlacionó con la puntuación total de la escala HoNOS-LD, obteniéndose correlaciones entre 0,66 y 0,76 (dependiendo de los examinadores y el momento de la evaluación). Por otra parte, se observa cómo la puntuación del HoNOS-LD aumenta con el nivel de apoyos necesarios de los participantes. Esto aporta información adicional sobre la validez de relación de la puntuación HoNOS-LD con otras variables, dado que una mayor severidad del TDI implica un peor funcionamiento. En la misma línea, Tenneij et al.18 mostraron que los individuos con TDI que estaban institucionalizados en grandes complejos residenciales cerrados (los que presentaban un mayor número de trastornos de conducta) presentaban un peor funcionamiento que aquellos que vivían en unidades residenciales abiertas, o aquellos que se desenvolvían en entornos normalizados.

La brevedad de la escala HoNOS-LD permite su aplicación de forma rutinaria y la creación de un registro longitudinal. Además, la escala evalúa por separado los aspectos que conjuntamente definen el funcionamiento general de un individuo, de modo que indica los ámbitos específicos en los que aparece el deterioro y puede dar indicios de la etiología de los problemas de salud mental. Esto representa una ventaja respecto a otras escalas utilizadas con la misma finalidad, como la Global Assessment of Functioning Scale43, que no realiza esta distinción. Frente a la sospecha de un trastorno psiquiátrico, será necesario complementar la información obtenida a través del HoNOS-LD con la que proporcionan otros instrumentos adaptados a la población con TDI, como la entrevista completa del Psychiatric Assessment Schedule for Adults with Developmental Disabilities, basada en los criterios CIE-1014. Además, es importante tener en cuenta los niveles previos de funcionamiento cognitivo a través de distintas escalas de evaluación neuropsicológica (Test Barcelona para personas con Discapacidad Intelectual44 o CAMDEX-DS45), así como las habilidades adaptativas, con escalas como el Adaptive Behavior Scale-Residential and Community, second edition33 o el Sistema para la Evaluación de la Conducta Adaptativa46.

La escala HoNOS-LD permite evaluar los beneficios de una intervención más allá de sus efectos en los síntomas específicos de un trastorno. Esto es importante para valorar si la mejora se ha producido también en los distintos ámbitos de funcionamiento del individuo. En este sentido, la versión inglesa de la escala ya ha sido utilizada en varios estudios que evaluaban la eficacia de una intervención, incluyendo el apoyo conductual positivo20, la activación conductual para la depresión21 o el apoyo al duelo19. Obviamente, junto con la escala HoNOS-LD hay que utilizar instrumentos que evalúen de forma específica los cambios producidos en los síntomas, como es el caso del ABC para los problemas de conducta16. Además, la escala HoNOS-LD ha sido utilizada con la finalidad de evaluar la calidad de los servicios especializados en TDI en un número considerable de investigaciones22–24.

Hay que tener en cuenta algunas limitaciones de este estudio. En primer lugar, un mayor tamaño de la muestra hubiera sido aconsejable para el análisis de la estructura interna de las puntuaciones41. Por otra parte, la participación de traductores nativos especializados en la psicopatología del TDI hubiera proporcionado una mayor sensibilidad a la traducción realizada; no obstante, los traductores de la escala presentaban niveles idóneos del idioma original que permitieran garantizar la traducción y retrotraducción llevadas a cabo. Finalmente, se podría haber incluido alguna escala de deseabilidad social, como la Escala de Deseabilidad Social de Marlowe y Crowne adaptada al castellano por Ferrando et al.47, ya que proporcionan ciertas ventajas cuando se valoran ciertos reactivos de la personalidad. No obstante, cabe señalar que este tipo de escalas (con preguntas como «antes de votar me informo detalladamente de la capacidad de los candidatos» o «a veces trato de vengarme en lugar de perdonar y olvidar lo que me han hecho») no son administrables a la población con TDI, no solo por la complejidad de sus estructuras semánticas, sino por el despliegue cognitivo que implican sus respuestas. De igual manera, se podrían haber incluido autoinformes; no obstante, por las razones anteriormente expuestas, se desaconseja la utilización y aplicación de estos a personas con TDI.

En síntesis, los resultados obtenidos indican que la versión en castellano de la escala HoNOS-LD representa un instrumento breve, válido y fiable para evaluar los cambios en el funcionamiento general de las personas con TDI y problemas de salud mental. Su aplicación rutinaria puede mejorar la calidad de la asistencia que se da a este colectivo, ayudando a la identificación de problemas de salud mental y de sus causas, así como de las consecuencias de estos problemas, contribuyendo a la evaluación de la eficacia de las intervenciones.

Responsabilidades éticasProtección de personas y animales

Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.

Confidencialidad de los datos

Los autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores han obtenido el consentimiento informado de los pacientes y/o sujetos referidos en el artículo. Este documento obra en poder del autor de correspondencia.

Financiación

Este trabajo fue financiado mediante el proyecto «Estudi de les necessitats de tractament psiquiàtric i psicològic en usuaris que resideixen als dispositius de l’ICASS (2007-2009)» del Departament d’Acció Social i Ciutadania (Generalitat de Catalunya).

Conflicto de intereses

Los autores declaran la ausencia de conflicto de intereses.

Bibliografía
[1]
American Psychiatric Association.
Diagnostic and Statistical Manual of Mental Disorders Fift Edition (DSM-5).
American Psychiatric Publishing, (2013),
[2]
N. Bailey.
Prevalence of psychiatric disorders in adults with moderate to profound learning disabilities.
Advances in Mental Health and Learning Disabilities., 1 (2007), pp. 36-44
[3]
M. Osugo, S.A. Cooper.
Interventions for adults with mild intellectual disabilities and mental ill-health: A systematic review.
J Intellect Disabil Res., 60 (2016), pp. 615-622
[4]
M.J. Rodado, I. Manchon Trives, B. Lledo Bosch, F. Galan Sanchez.
[X tetrasomy (48,XXXX karyotype) in a girl with altered behavior].
Rev Psiquiatr Salud Ment., 3 (2010), pp. 102-105
[Spanish]
[5]
S. Reiss, J. Szyzsko.
Diagnostic overshadowing and professional experience with mentally retarded persons.
Am J Ment Defic., 87 (1983), pp. 396-402
[6]
J. Merchan-Naranjo, L. Boada, A. del Rey-Mejias, M. Mayoral, C. Llorente, C. Arango, et al.
Executive function is affected in autism spectrum disorder, but does not correlate with intelligence.
Rev Psiquiatr Salud Ment., 9 (2016), pp. 39-50
[7]
A. Al-Sheikh, J. O’Hara.
Psychiatric and mental state assessment in learning disabilities.
Advances in Mental Health and Learning Disabilities., 2 (2008), pp. 21-28
[8]
A. Levitas, V. Silka.
Mental health clinical assessment of persons with mental retardation and developmental disabilities: History.
Mental Health Aspects of Developmental Disabilities., 4 (2001), pp. 31-42
[9]
H. Costello, N. Bouras.
Assessment of mental health problems in people with intellectual disabilities.
Isr J Psychiatry Relat Sci., 43 (2006), pp. 241-251
[10]
J.L. Matson, J.W. Bamburg, E.A. Mayville, J. Pinkston, J. Bielecki, D. Kuhn, et al.
Psychopharmacology and mental retardation: A 10 year review (1990-1999).
Res Dev Disabil., 21 (2000), pp. 263-296
[11]
A. Roy, H. Matthews, P. Clifford, V. Fowler, D.M. Martin.
Health of the Nation Outcome Scales for People with Learning Disabilities (HoNOS-LD): Glossary for HoNOS-LD score sheet.
Br J Psychiatry., 180 (2002), pp. 67-70
[12]
J.K. Wing, A.S. Beevor, R.H. Curtis, S.B. Park, S. Hadden, A. Burns.
Health of the Nation Outcome Scales (HoNOS). Research and development.
Br J Psychiatry., 172 (1998), pp. 11-18
[13]
O. Ashaye, G. Mathew, M. Dhadphale.
A comparison of older longstay psychiatric and learning disability inpatients using the Health of the Nation Outcome Scales.
Int J Geriatr Psychiatry., 12 (1997), pp. 548-552
[14]
S.C. Moss, H. Prosser, D.P. Goldberg.
Validity of the schizophrenia diagnosis of the Psychiatric Assessment Schedule for Adults with Developmental Disability (PAS-ADD).
Br J Psychiatry., 168 (1996), pp. 359-367
[15]
Sparrow SS, Balla DA, Cicchetti DV. Vineland adaptive behavior scales. Circle Pines, MN: American Guidance Service; 1984.
[16]
M.G. Aman, N.N. Singh, A.W. Stewart, C.J. Field.
The Aberrant Behavior Checklist: A behavior rating scale for the assessment of treatment effects.
Am J Ment Defic., 89 (1985), pp. 485-491
[17]
D.W. Kraijer, G.N. Kema.
SRZ, Sociale Redzaamheidsschaal voor Zwakzinnigen. Handleiding (Social Functioning Scale for the Mentally Retarded).
5th ed., Swets & Zeitlinger, (1994),
[18]
N. Tenneij, R. Didden, E. Veltkamp, H.M. Koot.
Reliability and validity of the HoNOS-LD and HoNOS in a sample of individuals with mild to borderline intellectual disability and severe emotional and behavior disorders.
J Ment Health Res Intellect Disabil., 2 (2009), pp. 188-200
[19]
S. Dowling, J. Hubert, S. White, S. Hollins.
Bereaved adults with intellectual disabilities: A combined randomized controlled trial and qualitative study of two community-based interventions.
J Intellect Disabil Res., 50 (2006), pp. 277-287
[20]
D. Gray, M. Smith, G. Nethell, D. Allen, K. Lowe.
Positive behavioural support as a clinical model within acute assessment and treatment services.
IJPBS., 3 (2013), pp. 40-46
[21]
A. Jahoda, C.A. Melville, C. Pert, S.A. Cooper, H. Lynn, C. Williams, et al.
A feasibility study of behavioral activation for depressive symptoms in adults with intellectual disabilities.
J Intellect Disabil Res., 59 (2015), pp. 1010-1021
[22]
J. Devapriam, R. Alexander, R. Gumber, J. Pither, S. Gangadharan.
Impact of a care pathway-based approach on outcomes in a specialist intellectual disability inpatient unit.
J Intellect Disabil., 18 (2014), pp. 211-220
[23]
I. Hall, C. Parkes, S. Samuels, A. Hassiotis.
Working across boundaries: Clinical outcomes for an integrated mental health service for people with intellectual disabilities.
J Intellect Disabil Res., 50 (2006), pp. 598-607
[24]
C. Richings, R. Cook, A. Roy.
Service evaluation of an integrated assessment and treatment service for people with intellectual disability with behavioural and mental health problems.
J Intellect Disabil., 15 (2011), pp. 7-19
[25]
L. Underwood, J. McCarthy, E. Tsakanikos, P. Howlin, N. Bouras, T.K.J. Craig.
Health and social functioning of adults with intellectual disability and autism.
J Policy Pract Intellect Disabil., 9 (2012), pp. 147-150
[26]
Royal College of Psychiatrists.
DC-LD: Diagnostic criteria for psychiatric disorders for use with adults with learning disabilities/mental retardation.
Royal College of Psychiatrists, (2001),
[27]
R.K. Hambleton, A.L. Zenisky.
Translating and adapting tests for cross-cultural assessments.
Cross-cultural research methods in psychology, pp. 46-70
[28]
J. Muniz, P. Elosua, R.K. Hambleton.
Directrices para la traducción y adaptación de los tests: segunda edición.
Psicothema., 25 (2013), pp. 151-157
[29]
M.G. Aman.
Aberrant behavior checklist: Current identity and future developments.
Clin Exp Pharmacol., 2 (2012), pp. e114
[30]
A.S. Kaufman, N.L. Kaufman.
K-BIT. Test breve de inteligencia de Kaufman.
TEA, (1997),
[31]
R.G. González-Gordon, L. Salvador-Carulla, C. Romero, F. González-Saiz, D. Romero.
Feasibility, reliability and validity of the Spanish version of Psychiatric Assessment Schedule for Adults with Developmental Disability: A structred psychiatric interview for intellectual disability.
J Intellect Disabil Res., 46 (2002), pp. 209-217
[32]
J.L. Matson.
The Diagnostic Assessment of the Severely Handicapped-Revised (DASH-II).
Disability Consultants, LLC, (1995),
[33]
K. Nihira, H. Leland, N. Lambert.
Adaptive Behavior Scale-Residential and Community, second edition: Examination booklet.
PRO-ED, (1993),
[34]
D.B. Flora, P.J. Curran.
An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data.
Psychol Methods., 9 (2004), pp. 466-491
[35]
M.E. Timmerman, U. Lorenzo-Seva.
Dimensionality assessment of ordered polytomous items with parallel analysis.
Psychol Methods., 16 (2011), pp. 209-220
[36]
P. Elosua, B.D. Zumbo.
Coeficientes de fiabilidad para escalas de respuesta categórica ordenada.
Psicothema., 20 (2008), pp. 896-901
[37]
U. Lorenzo-Seva, P.J. Ferrando.
FACTOR: A computer program to fit the exploratory factor analysis model.
Behav Res Methods., 38 (2006), pp. 88-91
[38]
R.P. McDonald.
Factor analysis and related methods.
LEA, (1985),
[39]
T.L. Kelley.
Harvard University Press, (1935),
[40]
M.A. Ruiz, A. Pardo, R. San Martín.
Modelos de ecuaciones estructurales.
Papeles del Psicólogo., 31 (2010), pp. 34-45
[41]
P.J. Ferrando, C. Anguiano-Carrasco.
El análisis factorial como técnica de investigación en psicología.
Papeles del Psicólogo., 31 (2010), pp. 18-33
[42]
I. Paula-Perez.
Differential diagnosis between obsessive compulsive disorder and restrictive and repetitive behavioural patterns, activities and interests in autism spectrum disorders.
Rev Psiquiatr Salud Ment., 6 (2013), pp. 178-186
[43]
P. Oliver, S. Cooray, P. Tyrer, D. Cicchetti.
Use of the Global Assessment of Function scale in learning disability.
Br J Psychiatry Suppl., 44 (2003), pp. S32-S35
[44]
S. Esteba-Castillo.
Neuropsicología del trastorno del desarrollo intelectual con y sin origen genético [tesis doctoral].
Universitat Autònoma de Barcelona, (2015),
[45]
S. Esteba-Castillo, A. Dalmau-Bueno, N. Ribas-Vidal, M. Vilà-Alsina, R. Novell-Alsina, J. García-Alba.
[Adaptation and validation of CAMDEX-DS (Cambridge Examination for Mental Disorders of Older People with Down's Syndrome and others with intellectual disabilities) in Spanish population with intellectual disabilities].
Rev Neurol., 57 (2013), pp. 337-346
[Spanish]
[46]
O. Harrison, T. Oakland.
Adaptive Behavior Assessment System® - Second Edition.
Western Psychological Services, (2003),
[47]
P. Ferrando, E. Chico.
Adaptación y análisis psicométrico de la escala de deseabilidad social de Marlowe y Crowne.
Psicothema., 12 (2000), pp. 383-438
Copyright © 2016. SEP y SEPB
Opciones de artículo
Herramientas
es en pt

¿Es usted profesional sanitario apto para prescribir o dispensar medicamentos?

Are you a health professional able to prescribe or dispense drugs?

Você é um profissional de saúde habilitado a prescrever ou dispensar medicamentos