Buscar en
Boletín Médico del Hospital Infantil de México
Toda la web
Inicio Boletín Médico del Hospital Infantil de México Diseño de un modelo de supervisión para la aplicación de la prueba de Evaluac...
Información de la revista
Vol. 72. Núm. 6.
Evaluación del desarrollo infantil en México
Páginas 385-396 (Noviembre - Diciembre 2015)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
4700
Vol. 72. Núm. 6.
Evaluación del desarrollo infantil en México
Páginas 385-396 (Noviembre - Diciembre 2015)
Artículo de investigación
Open Access
Diseño de un modelo de supervisión para la aplicación de la prueba de Evaluación del Desarrollo Infantil en las unidades de atención primaria en México
Design of a supervision model for administration of the Child Development Evaluation Test at primary care facilities in Mexico
Visitas
4700
Miguel Ángel Villasís-Keevera, Antonio Rizzoli-Córdobab,
Autor para correspondencia
, Ismael Delgado-Ginebrab, Blanca Berenice Mares-Serratosc, Liliana Martell-Valdezd, Olivia Sánchez-Velázqueze, Hortensia Reyes-Moralesf, Gabriel O'Shea-Cuevasg, Daniel Aceves-Villagránh, Joaquín Carrasco-Mendozah, Fátima Adriana Antillón-Ocampoh, Víctor Manuel Villagrán-Muñozi, Elizabeth Halley-Castilloi, César Iván Baqueiro-Hernándezb, Mariel Pizarro-Castellanosb, Itzamara Jacqueline Martain-Pérezj, Josuha Alexander Palma-Taveraj, Guillermo Vargas-Lópezb, Onofre Muñoz-Hernándezd
a Unidad de Investigación en Epidemiología Clínica, Unidad Médica de Alta Especialidad Hospital de Pediatría, Centro Médico Nacional Siglo XXI, Instituto Mexicano del Seguro Social, México D.F., México
b Unidad de Investigación en Neurodesarrollo, Hospital Infantil de México Federico Gómez, México D.F., México
c Estrategia de Desarrollo Infantil del Componente Salud del Programa Prospera en el Estado de Guanajuato, Guanajuato, Guanajuato, México
d Estrategia de Desarrollo Infantil del Componente Salud del Programa Prospera en el Estado de Coahuila, Saltillo, Coahuila, México
e Estrategia de Desarrollo Infantil del Componente Salud del Programa Prospera en el Estado de Tabasco, Villahermosa, Tabasco, México
f Dirección de Investigación, Hospital Infantil de México Federico Gómez, México D.F., México
g Comisión Nacional de Protección Social en Salud, Secretaría de Salud, México D.F., México
h Dirección General de PROSPERA Programa de Inclusión Social, Comisión Nacional de Protección Social en Salud, México D.F., México
i Dirección General Adjunta de Seguro Médico Siglo XXI, Comisión Nacional de Protección Social en Salud, México D.F., México
j Facultad Mexicana de Medicina, Universidad La Salle, México D.F., México
Ver más
Este artículo ha recibido

Under a Creative Commons license
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Figuras (6)
Mostrar másMostrar menos
Tablas (3)
Tabla 1. Descripción de los grupos de edad y criterios de calificación de la versión modificada de la prueba EDI
Tabla 2. Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de sombra
Tabla 3. Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de consistencia
Mostrar másMostrar menos
Resumen
Introducción

La prueba Evaluación del Desarrollo Infantil (EDI), diseñada y validada en México, se ha aplicado en las unidades de atención primaria del país. Los resultados han sido heterogéneos entre los estados en que se aplicaron las pruebas, a pesar de haber utilizado un modelo de capacitación estandarizado con la misma metodología para la aplicación. El objetivo de este trabajo fue evaluar un modelo de supervisión que permita identificar la calidad de la aplicación de la prueba EDI a nivel poblacional.

Métodos

Se realizó un estudio en la atención primaria tres estados del país para evaluar la aplicación de la prueba EDI por observación directa (estudio de sombra), y verificar la concordancia del resultado a través aplicar la prueba una vez más (estudio de consistencia).

Resultados

Se realizaron 380 estudios de sombra a 51 psicólogos. Al comparar el resultado global, se observó una concordancia del 86.1% con el supervisor (n=327): el 94.5% por resultado verde, el 73.2% por amarillo y el 80.0% por rojo. Se aplicó la prueba nuevamente en 302 casos, con una concordancia del 88.1% (n=266): el 96.8% por resultado verde, el 71.7% por amarillo y el 81.8% por rojo. No se encontraron diferencias significativas por grupo.

Conclusiones

Tanto el estudio de sombra como el de consistencia fueron adecuados para evaluar la calidad de la aplicación de la prueba, y pueden ser de utilidad para supervisar la aplicación de la prueba EDI en atención primaria. La decisión de uno u otro sistema depende de la disponibilidad de supervisores.

Palabras clave:
Prueba EDI
Prueba de tamiz
Desarrollo infantil
Supervisión
Atención primaria
Abstract
Background

The Child Development Evaluation (CDE) test designed and validated in Mexico has been used as a screening tool for developmental problems in primary care facilities across Mexico. Heterogeneous results were found among those states where these were applied, despite using the same standardized training model for application. The objective was to evaluate a supervision model for quality of application of the CDE test at primary care facilities.

Methods

A study was carried out in primary care facilities from three Mexican states to evaluate concordance of the results between supervisor and primary care personnel who administered the test using two different methods: direct observation (shadow study) or reapplication of the CDE test (consistency study).

Results

There were 380 shadow studies applied to 51 psychologists. General concordance of the shadow study was 86.1% according to the supervisor: green 94.5%, yellow 73.2% and red 80.0%. There were 302 re-test evaluations with a concordance of 88.1% (n=266): green 96.8%, yellow 71.7% and red 81.8%. There were no differences between CDE test subgroups by age.

Conclusions

Both shadow and re-test study were adequate for the evaluation of the quality of the administration of the CDE Test and may be useful as a model of supervision in primary care facilities. The decision of which test to use relies on the availability of supervisors.

Keywords:
CDE Test
Screening tool
Child development
Supervision
Primary care
Texto completo
1Introducción

El modelo Promoción y Atención del Desarrollo Infantil (PRADI), de la Estrategia de Desarrollo Infantil, se diseñó para alinear y fortalecer acciones que contribuyeran a la vigilancia, atención y promoción del desarrollo óptimo de los niños menores de 5 años beneficiarios del programa PROSPERA (antes Oportunidades), quienes viven en condiciones de alta marginación1. Uno de sus componentes es el de Detección y Atención Oportuna2, cuyo objetivo es identificar y atender oportunamente a los niños y niñas con problemas del desarrollo3. Para cumplir con lo anterior, se diseñó y validó la prueba Evaluación del Desarrollo Infantil (EDI)4, una herramienta de tamiz para la detección oportuna de problemas en el desarrollo en niños de un mes hasta a 59 meses de edad5. Después de analizar la evidencia disponible6–8, un panel nacional de expertos concluyó que la prueba EDI era el instrumento de tamiz para la detección de problemas de desarrollo más adecuado para la población menor de 5 años en México9.

La prueba EDI está organizada en 14 instrumentos divididos por grupos de edad, dados los cambios del desarrollo conforme avanza la edad. Cada uno de estos instrumentos tiene 26 a 35 ítems agrupados en cinco ejes: a) factores de riesgo biológico; b) señales de alerta; c) áreas del desarrollo (motor fino, motor grueso, lenguaje, social y conocimiento); d) señales de alarma; y e) exploración neurológica. Cada ítem puede evaluarse mediante la observación directa del niño o mediante preguntas dirigidas a los padres o cuidadores10. Cada ítem se califica de manera individual con solo dos respuestas posibles: Sí o No. A partir de las respuestas, se obtienen los resultados para cada uno de los cinco ejes, y con base en estos se establece el resultado global de la prueba: a) desarrollo normal (verde); b) rezago en el desarrollo (amarillo); y c) riesgo de retraso (rojo). En la tabla 1 se describen los grupos de edad y los criterios de calificación para cada grupo.

Tabla 1.

Descripción de los grupos de edad y criterios de calificación de la versión modificada de la prueba EDI

Prueba  Grupo de edad
(meses) 
Criterios de calificación
    Riesgo de retraso
(rojo) 
Rezago en el desarrollo
(amarillo) 
Desarrollo normal
(verde) 
-Una o más áreas del desarrollo en rojo o
-Uno o más ítems del eje de exploración neurológica en rojo 
-Dos o más señales de alerta en amarillo o
-Dos o más factores de riesgo biológico en amarillo o
-Una o más señales de alerta en amarillo más uno o más factores de riesgo biológico en amarillo 
-Todas las áreas del desarrollo y exploración neurológica en verde
-La presencia de un solo factor de riesgo biológico o una señal de alerta aislada se considera en esta categoría 
-Una o más áreas del desarrollo en rojo o
-Dos o más áreas del desarrollo en amarillo o
-Una o más señales de alarma en rojo o
-Uno o más ítems de la evaluación neurológica en rojo
-Un área de desarrollo en amarillo o
-Dos o más señales de alerta en amarillo o
-Dos o más factores de riesgo biológico en amarillo o
-Una o más señales de alerta en amarillo más uno o más factores de riesgo biológico en amarillo
-Todas las áreas del desarrollo y exploración neurológica en verde
-La presencia de un solo factor de riesgo biológico o una señal de alerta aislada se considera en esta categoría
5-6  -Una o más áreas del desarrollo en rojo y/o
-Una o más señales de alarma en rojo y/o
-Uno o más ítems de la evaluación neurológica en rojo
-Una o más áreas del desarrollo en amarillo-Todas las áreas del desarrollo, señales de alarma e ítems del eje de exploración neurológica en verde
-La presencia de uno o más factores de riesgo biológico o señales de alerta no modifica la calificación global
7-9 
10-12 
13-15 
16-18 
10  19-24 
11  25-30 
12  31-36 
13  37-48 
14  49-60 

EDI: Evaluación del Desarrollo Infantil (ref. 4).

Para la correcta aplicación de la prueba EDI se diseñó un manual4, en el que se describe la forma de aplicación de cada uno de los 14 instrumentos. En forma breve, al aplicarla se deben seguir los siguientes pasos:

  • 1.

    Selección del lugar y condiciones adecuadas para la aplicación de la prueba11.

  • 2.

    El evaluador debe preguntar la fecha de nacimiento del niño para calcular la edad y seleccionar uno de los 14 instrumentos o formatos del grupo de edad que le corresponde, así como elegir el material apropiado para llevar a cabo la administración de la prueba.

  • 3.

    Cuando el niño es ≤ 2 años y si nació antes de las 37 semanas de gestación (SDG), es necesario corregir la edad, calculando el número de semanas que la faltaron para haber sido de término (tomando como estándar 40 SDG)4. El no realizar este cálculo conlleva a la evaluación de ítems de una edad mayor a la real, por lo que el niño se clasificaría mal, dado que se utiliza un instrumento que no corresponde a su edad.

  • 4.

    Al aplicar la prueba EDI, se requiere que el evaluador lleve a cabo dos actividades principales: de observación del niño y de interrogatorio a los padres o cuidadores, de acuerdo con lo especificado para cada ítem. No se requiere seguir el orden de como aparecen en el instrumento, siempre y cuando se apliquen todos y de forma adecuada.

  • 5.

    El evaluador debe calificar cada ítem y eje.

  • 6.

    Al final de la aplicación, el evaluador debe otorgar una calificación global (verde, amarillo o rojo) por niño, tomando en cuenta lo obtenido en cada eje.

Para la implementación de la aplicación de EDI en las unidades de primer nivel a nivel nacional, se diseñó un modelo de capacitación y estandarización de dos días de duración, para la adquisición de conocimientos y habilidades necesarias que debe poseer el personal de salud, ya sean de psicología, medicina, enfermería o nutriología, a fin de que los resultados sean certeros4,10,11. Después de diferentes procesos de capacitación, se inició la aplicación de EDI en 26 estados de la República Mexicana. Para el año 2013, se evaluaron 137,224 niños y niñas. Sin embargo, a pesar de la capacitación12, se detectaron resultados heterogéneos en cuanto a la frecuencia de problemas del desarrollo: la variación de casos en verde era del 41 al 100%; de casos en amarillo del 3 al 32%; y de casos en rojo del 1 al 37%13. Si bien esta situación podría explicarse por diferentes aspectos, la principal preocupación fue la relacionada con la correcta aplicación de la EDI, por lo cual se consideró necesario comprobar que el personal de salud estaba realizando apropiadamente las evaluaciones. Por lo anterior, el objetivo de este estudio fue evaluar la calidad de la aplicación de la prueba EDI en las unidades de atención primaria. Como objetivo secundario, determinar si esta forma de evaluación podría implementarse como un modelo de supervisión para asegurar que los resultados de la prueba EDI fueran confiables.

2Método

Se realizó un estudio para evaluar la calidad de la aplicación de la prueba EDI por personal de atención primaria en tres estados de la República Mexicana: Coahuila, Guanajuato y Tabasco. La calidad de las evaluaciones se determinó al comparar los resultados obtenidos en la aplicación de EDI entre el personal de salud operativo y un grupo de expertos, quienes se denominaron supervisores.

2.1Población de estudio

El personal operativo que se evaluó fueron psicólogos contratados para la aplicación de la prueba EDI, como parte de la Estrategia de Desarrollo Infantil del Programa PROSPERA, que hubieran recibido la capacitación en la prueba EDI11. Los psicólogos deberían estar aplicando de manera rutinaria la prueba EDI a los niños<5 años beneficiarios del PROSPERA como parte del control del niño sano, en unidades de primer nivel de atención, durante el periodo de noviembre a diciembre de 2013.

2.2Estandarización de los supervisores

La evaluación del desempeño del personal operativo en la aplicación de EDI la realizó un grupo de seis supervisores (cinco médicos generales y una psicóloga), quienes residían en alguna de las tres entidades federativas donde se hizo el estudio. Se consideró que cada supervisor podría evaluar entre seis y ocho psicólogos. Ya en las unidades de salud, los supervisores realizaron exclusivamente actividades relacionadas con la evaluación del desempeño de los psicólogos.

Para estandarizar a los supervisores, fue necesario llevar a cabo un proceso de educación que se realizó en el Hospital Infantil de México Federico Gómez (HIMFG) con una duración de tres días, en el que se realizaron las siguientes actividades:

  • a.

    Se les impartió la capacitación para la aplicación de la prueba EDI12

  • b.

    Se comprobó la competencia de los supervisores para realizar apropiadamente la evaluación en las 14 categorías de edad contempladas de EDI

  • c.

    Antes del inicio del estudio, se determinó la consistencia entre los supervisores. En el análisis de los resultados, la concordancia inter-observador observada fue>90%

  • d.

    Se proporcionaron las instrucciones necesarias para utilizar los instrumentos en las unidades de salud donde recolectaron la información para el trabajo, verificando su correcto llenado

2.3Evaluación del desempeño del personal operativo

El desempeño del personal operativo se evaluó mediante la concordancia de los resultados de la prueba EDI aplicada por ellos, con los obtenidos por el supervisor (considerado como el valor real o estándar). La concordancia se estableció mediante los siguientes dos procesos:

  • Estudio de sombra

    Se llevó a cabo mediante la observación directa del personal operativo, en tiempo real, durante la administración de la prueba EDI. De acuerdo con las actividades que el personal operativo realizó durante la evaluación del niño(a), el supervisor llenó una lista de cotejo, diseñada exprofeso. Al mismo tiempo que el personal operativo lo realizó, el supervisor también utilizó la prueba EDI para evaluar a cada niño(a), calificando los ítems y llenando la prueba de forma independiente, procurando no distraer la atención del niño evaluado. El supervisor no intervino al momento de la aplicación de la prueba ni para corregir ni para emitir alguna opinión al personal operativo. Al finalizar la evaluación de cada niño, el supervisor comparó la calificación que había asignado a cada ítem con las asignadas por el personal operativo. En caso de encontrar diferencias, se registraron en una cédula los ítems donde se detectó discordancia.

  • Estudio de consistencia

    Para esta fase se tomaron en cuenta las evaluaciones EDI realizadas previamente por el personal operativo. De manera aleatoria se seleccionaron los niños que habían sido evaluados en las dos semanas previas a la visita del supervisor a la unidad de salud. A estos niños se les aplicó nuevamente la prueba EDI por parte del supervisor. En el momento de la nueva aplicación de EDI, el personal operativo no estuvo presente ni informó al supervisor del resultado obtenido del niño. El supervisor acudió a los domicilios o bien los citó en la unidad para la nueva aplicación. Tras aplicar la prueba, el supervisor comparó su calificación asignada por cada ítem con las registradas por el personal operativo, que se encontraban en el expediente clínico de cada niño. En caso de encontrar diferencias en uno o más ítems, se registró dónde hubo discordancia en una cédula de verificación.

2.4Confiablidad de las evaluaciones

Para determinar que los supervisores efectuaran adecuadamente las actividades encomendadas durante las visitas a las unidades de salud, un grupo de la coordinación general del estudio procedió a verificar el cumplimiento de los supervisores. Esta actividad se llevó a cabo en tres momentos, directamente en cada uno de los tres estados de la República Mexicana donde se hizo el estudio: a) al inicio del trabajo de campo, con la finalidad de presentar al personal con las autoridades y responsables estatales; b) a la mitad de la recolección de la información, con la finalidad de validar la información entregada; y c) al finalizar la recolección de la información.

2.5Variables del estudio

Se registró la entidad federativa en la que se realizaron las pruebas y se asignó un número de identificación único para cada operador y otro para el supervisor. Para cada niño se registró la calificación global en la prueba EDI (verde, amarillo o rojo), tanto la emitida por el personal operativo como la del supervisor. Además, se registraron los ítems en los que hubo discordancia.

2.6Análisis estadístico

Las variables cualitativas se presentaron como frecuencias y porcentajes. Para evaluar las diferencias entre estas variables, se utilizó la prueba χ2 y se calculó el intervalo de confianza del 95% (IC95%). Para evaluar la correlación de los resultados para la variable categórica se utilizó la correlación de Spearman y la tau B de Kendall. Se consideró significación estadística un valor de p<0.05 a dos colas. Los diferentes análisis se realizaron utilizando el paquete SPSS versión 20.0 (IBM).

2.7Consideraciones éticas

El estudio fue aprobado por las comisiones de Ética, Bioseguridad e Investigación del HIMFG como parte del proyecto HIM/2013/063. Se notificó a cada evaluador que se le aplicaría la evaluación de calidad de la aplicación de la prueba EDI y que, a partir de los resultados obtenidos y en caso de identificarse áreas donde hubiera discrepancia en los resultados, se le generarían recomendaciones para mejorar la calidad de la aplicación de EDI. La información fue codificada con un número único de participante por entidad, con el fin de no manejar datos personales. La aplicación de la prueba EDI es uno de los componentes de la consulta del control del niño sano en las unidades de salud14. Para el presente estudio no se registró ningún dato de identificación de pacientes; solamente el grupo de edad y el resultado en los ítems de la prueba. A cada familiar o cuidador primario que acudió con el menor se le solicitó el consentimiento verbal para que el supervisor estuviera presente durante la aplicación de la prueba, o para la aplicación de nueva cuenta de la prueba EDI.

3Resultados3.1Estudio de sombra

Se incluyeron 51 psicólogos como personal operativo: 25 en Guanajuato (49.0%), 18 en Tabasco (35.3%) y ocho en Coahuila (16.0%). En total, se realizaron 380 estudios de sombra: el 52.4% en Guanajuato (n=199), el 28.2% en Coahuila (n=107) y el 19.4% en Tabasco (n=74). Los supervisores estuvieron presentes con los psicólogos de 1-33 ocasiones mientras aplicaban la prueba EDI. Tomando en cuenta los 14 grupos de edad para la prueba EDI, hubo desde 12 hasta 51 niños por cada grupo.

Al comparar el resultado global entre el psicólogo y el supervisor (fig. 1), se observó una concordancia del 86.1% (n=327). La distribución del resultado global en la prueba EDI aplicada por los supervisores fue la siguiente: verde el 57.1% (n=217), amarillo el 32.4% (n=123) y rojo el 10.5% (n=40). La concordancia para estas mismas clasificaciones con el evaluador fueron del 94.5, 73.2 y 80.0%, respectivamente (tabla 2).

Figura 1.

Concordancia entre supervisor y personal operativo en clasificación global en estudio de sombra.

(0,11MB).
Tabla 2.

Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de sombra

EDI: Evaluación del Desarrollo Infantil.

Al analizar por grupo de edad, se detectó que hubo discordancia en cada uno de los 14 grupos de edad (fig. 2A). Desde el punto de vista porcentual (fig. 2B), los grupos con mayor frecuencia de discordancia (o error en la aplicación por parte del personal operativo) fueron de la siguiente manera: grupo 3 (33.3%), grupo 11 (20.7%), grupo 13 (19.5%), grupo 9 (18.8%), grupo 8 (17.4%), grupo 7 (17.2%) y grupo 14 (15.4%). No se encontraron diferencias estadísticamente significativas en la frecuencia de discordancia entre grupos.

Figura 2.

Concordancia en el resultado de la aplicación de la prueba EDI entre supervisor y personal operativo en el estudio de sombra por grupo de edad. A) Distribución de la concordancia tomando el total de aplicaciones de la prueba EDI en que se realizó estudio de sombra (frecuencia absoluta). B) Distribución considerando el porcentaje de concordancia en los estudios de sombra (frecuencia relativa).

(0,45MB).

Al considerar de forma individual la concordancia para cada uno los ítems de la prueba en las 380 evaluaciones de sombra, se encontró una discordancia por ítem del 1.6% (n=6) en dos ítems; del 1.3% (n=5) en un ítem; del 1.1% (n=4) en cinco ítems; del 0.8% (n=3) en cinco ítems; del 0.5% (n=2) en 15 ítems; y del 0.3% (n = 1) en 33 ítems.

En el análisis del desempeño de la aplicación de la prueba de manera individual en el personal operativo (n=51), se determinó una amplia variabilidad. Del total, el 54.9% (n=28) obtuvo una concordancia del 100% con los supervisores; únicamente uno (2.0%) obtuvo una concordancia del 0%. Este resultado fue asociado con que este personal solo aplicó una prueba (fig. 3A). En el 43.1% restante, la concordancia fue variable (fig. 3B).

Figura 3.

Concordancia en el resultado de la aplicación de la prueba EDI en el estudio de sombra considerando individualmente al personal operativo. A) Concordancia en las pruebas aplicadas por cada personal operativo que el supervisor evaluó a través del estudio de sombra (frecuencia absoluta). B) Porcentaje de concordancia para el total de pruebas aplicadas por el personal operativo supervisadas a través del estudio de sombra (frecuencia relativa).

(0,77MB).
3.2Evaluación de la consistencia en el resultado de la prueba (re-aplicación)

Se realizaron 302 aplicaciones de la prueba EDI por parte de los supervisores a niños que ya habían sido clasificados previamente por el personal operativo. Del total, 148 fueron en Coahuila (49.0%), 81 en Guanajuato (26.8%) y 73 en Tabasco (24.2%). De acuerdo con los 14 grupos de edad para la prueba EDI, hubo desde 13 hasta 42 niños evaluados por cada grupo. Estos 302 niños fueron evaluados por 49 psicólogos (personal operativo) diferentes; 24 del estado de Guanajuato, 18 de Tabasco y ocho del estado de Coahuila.

Al comparar el resultado global entre el supervisor y personal operativo (fig. 4), se observó una concordancia del 88.1% (n=266). De 302 niños evaluados, el resultado global de la prueba EDI por parte de los supervisores fue del 62.3% en verde (n=188), del 30.5% en amarillo (n=92) y del 7.2% en rojo (n=22); la concordancia para estas mismas clasificaciones con el evaluador fueron del 96.8, 71.7 y 81.8%, respectivamente (tabla 3). Se observó que la concordancia de los resultados verde y rojo fue un poco mayor que en el estudio de sombra, pero disminuyó el 1.5%.en el caso de los resultados en amarillo.

Figura 4.

Concordancia entre supervisor y personal operativo en clasificación global en el estudio de consistencia.

(0,12MB).
Tabla 3.

Concordancia de la calificación global en la prueba EDI entre supervisores y personal operativo en el estudio de consistencia

EDI: Evaluación del Desarrollo Infantil.

Al analizar por grupo de edad, hubo discordancia en cada uno de los 14 grupos de edad (fig. 5A). Desde el punto de vista porcentual (fig. 5B) los grupos con mayor frecuencia de discordancia fueron el grupo 7 (35.0%), grupo 13 (19.0%), grupo 11 (16.7%), grupo 9 (15.8%), grupo 8 (17.4%), grupo 7 (17.2%) y grupo 12 (14.8%). No se encontraron diferencias estadísticamente significativas en la frecuencia de resultados discordantes entre grupos.

Figura 5.

Concordancia en el resultado de la aplicación de la prueba EDI entre supervisor y personal operativo en el estudio de consistencia por grupo de edad. A) Distribución de la concordancia tomando el total de aplicaciones de la prueba EDI en que se realizó estudio de consistencia (frecuencia absoluta). B) Distribución considerando el porcentaje de concordancia en los estudios de consistencia (frecuencia relativa).

(0,45MB).

Al considerar de forma individual la concordancia para cada uno los ítems de la prueba en las 302 evaluaciones de consistencia, se encontró una discordancia por ítem del 1.3% (n=4) en un ítem; del 1.0% (n=3) en dos ítems; del 0.6% (n=2) en siete ítems; y del 0.3% (n = 1) en 48 ítems.

En el análisis comparativo entre calificación asignada por los supervisores y la asignada de manera individual por el personal operativo (n=49) se encontró, al igual que en el estudio de sombra, una amplia variabilidad. En algunos se encontró una concordancia perfecta en la calificación de todas las pruebas. Sin embargo, en otros no se detectó alguna prueba con el mismo resultado que el supervisor. De los 49 psicólogos, el 53.1% (n=26) obtuvo una concordancia del 100% y el 8.2% (n=4) una concordancia del 0% asociada con que aplicaron menos de cuatro pruebas cada uno (fig. 6). En el 38.7% restante, la concordancia fue variable y probablemente estuvo asociada con el número de pruebas aplicadas.

Figura 6.

Concordancia en el resultado de la aplicación de la prueba EDI en el estudio de consistencia considerando individualmente al personal operativo. A) Concordancia en las pruebas aplicadas por cada personal operativo que el supervisor evaluó a través del estudio de consistencia (frecuencia absoluta). B) Porcentaje de concordancia para el total de pruebas aplicadas por el personal operativo supervisadas a través del estudio de consistencia (frecuencia relativa).

(0,76MB).
4Discusión

El presente estudio permitió evaluar, mediante una supervisión estandarizada, la confiabilidad de los resultados tras la aplicación de la prueba EDI por parte del personal operativo en las entidades federativas donde se ha puesto en marcha el programa para la detección de problemas del desarrollo en niños<5 años. Encontrar una concordancia global del resultado en el 86.1% en el estudio de sombra y del 88.1% en el de consistencia permite establecer, en términos generales, que la capacitación otorgada al personal operativo parece ser adecuada. Sin embargo, los resultados mostraron que parece no ser suficiente la capacitación para la correcta aplicación de la prueba EDI. Lo anterior es más evidente al observar que un poco más del 50% del personal operativo haya tenido una concordancia con el supervisor en el 100% de las pruebas.

De esta forma, los resultados de este estudio indican la necesidad de establecer un programa de supervisión permanente a quienes aplican EDI en las distintas unidades de salud del país. Esta supervisión permitirá identificar, de manera individual, al personal que requiera de mayor capacitación, para que sus evaluaciones sean válidas. La correcta clasificación de los niños en verde, amarillo o rojo tras la aplicación de EDI supone que el personal operativo debe dar indicaciones diferenciadas para cada niño evaluado. El hecho de que no haya una buena clasificación pone en riesgo, de manera particular, a los niños que necesitan acciones encaminadas a mejorar su desarrollo.

En este estudio se pusieron a prueba dos tipos de supervisión: el estudio de sombra y la aplicación de nuevo (en momentos diferentes) de la prueba EDI. Al analizar los resultados, se comprobó que ambos métodos permiten identificar variaciones, por lo que cualquiera de ambos métodos parece apropiado para supervisar al personal operativo, a fin de garantizar que los niños evaluados dispongan de resultados confiables. La elección de uno u otro método dependerá de la disponibilidad de quienes realizan la supervisión del personal operativo en las unidades de salud al momento que se realizan las pruebas EDI. Así, parece más conveniente el estudio de sombra puesto que el supervisor puede detectar variaciones en el momento de la aplicación de EDI y, al término de la evaluación, dar indicaciones o retroalimentación para que el personal operativo mejore su desempeño. En los casos cuando el supervisor acuda a la unidad de salud y no haya algún niño que evaluar por parte del personal operativo, entonces el supervisor podrá acudir a los domicilios para aplicar EDI a niños previamente evaluados.

Otro punto a comentar es que las diferencias en la concordancia entre los grupos de edad de la prueba EDI pueden estar asociadas con la variación en el número de pruebas aplicadas en cada grupo por parte del personal operativo. Para disminuir estas variaciones, se requeriría de homogeneizar el número de pruebas para cada grupo de edad, así como el número de pruebas aplicadas y supervisadas. Como se muestra en la figura 3A, la evaluación de la aplicación por el estudio de sombra en cinco ocasiones podría identificar las áreas de oportunidad; y en el caso de estudio de consistencia, a partir de tres evaluaciones (fig. 6B).

El análisis individual de los ítems mostró un bajo porcentaje de discordancia en el total de estudios realizados tanto para el estudio de sombra (0.3 a 1.6%) como para el de consistencia (0.3 a 1.3%). Esto corrobora la claridad de la explicación de los ítems tanto en la capacitación como en los materiales de aplicación, por lo que no se requeriría un ajuste individual a los mismos. La supervisión permitirá identificar los errores en el personal operativo y dar las recomendaciones pertinentes para mejorar la calidad de la aplicación.

En conclusión, se puede afirmar que el presente estudio permitió determinar que es necesaria la implementación de un modelo de supervisión para el personal operativo que aplica EDI, a fin de garantizar que los niños evaluados con esta prueba dispongan de resultados confiables. Esta supervisión facilitará la capacitación diferenciada en aspectos particulares en la prueba EDI.

Responsabilidades éticasProtección de personas y animales

Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.

Confidencialidad de los datos

Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores declaran que en este artículo no aparecen datos de pacientes.

Financiamiento

El estudio se llevó a cabo con financiamiento proveniente del Convenio CPSS/ART.1°/023/2013, realizado entre el Hospital Infantil de México Federico Gómez y la Comisión Nacional de Protección Social en Salud (CNPSS).

Conflicto de interés

Los autores declaran no tener ningún conflicto de intereses.

Agradecimientos

Mónica Espinoza Aranda y Ángela María González García (Coahuila); Norberto Murillo Álvarez, Mario Abraham Ruíz Ruíz y Rosa Estela Martínez Rodríguez (Guanajuato); Mara Guadalupe Torres Ruíz y Luis Ricardo Palmer Serrano (Tabasco); Ana Alicia Jiménez Burgos, Marta Lia Pirola, Jessica Guadarrama Orozco, Guillermo Buenrostro Márquez, Elías Hernández Ramírez, Rocío del Carmen Córdoba García, Socorro De la Torre García, Miriam Orán Bautista (Hospital Infantil de México Federico Gómez); Esther Valadez Correa (Comisión Nacional de Protección Social en Salud); Paula Angélica Hernández Olmos y Hugo Erick Zertuche Guerrero (Coordinación Nacional de PROSPERA Programa de Inclusión Social); y a José Alberto García Aranda.

Referencias
[1]
G. O'Shea-Cuevas, A. Rizzoli-Córdoba, D. Aceves-Villagrán, V.M. Villagrán-Muñoz, J. Carrasco-Mendoza, E. Halley-Castillo, et al.
Sistema de Protección Social en Salud para la detección y atención oportuna de problemas en el desarrollo infantil en México.
Bol Med Hosp Infant Mex., 72 (2015), pp. 429-437
[2]
A. Rizzoli-Córdoba, G. O'Shea-Cuevas, D. Aceves-Villagrán, B. Mares-Serratos, L. Martell-Valdez, V. Vélez-Andrade.
Evaluación del Desarrollo Infantil en México.
Los Invisibles—Las niñas y los niños de 0 a 6 años—., pp. 117-132
[3]
Council on Children with Disabilities; Section on Developmental Behavioral Pediatrics; Bright Futures Steering Committee; Medical Home Initiatives for Children with Special Needs Project Advisory Committee.
Identifying infants and young children with developmental disorders in the medical home: an algorithm for developmental surveillance and screening, 118 (2006), pp. 405-420
[4]
Comisión Nacional de Protección Social en Salud.
Manual para la Aplicación de la Prueba Evaluación del Desarrollo Infantil EDI.
Secretaría de Salud, (2013), pp. 100
[5]
R. Myers, A. Martínez, M.A. Delgado, J.L. Fernández, A. Martínez.
Desarrollo Infantil Temprano en México. Diagnóstico y recomendaciones.
División de Protección Social y Salud, Banco Interamericano de Desarrollo, (2013),
[6]
B. Romo-Pardo, S. Liendo-Vallejos, G. Vargas-López, A. Rizzoli-Córdoba, G. Buenrostro-Márquez.
Pruebas de tamizaje de neurodesarrollo global para niños menores de 5 años de edad validadas en Estados Unidos y Latinoamérica: revisión sistemática y análisis comparativo.
Bol Med Hosp Infant Mex., 69 (2012), pp. 450-462
[7]
A. Rizzoli-Córdoba, L. Schnaas-Arrieta, F. Ortega-Ríosvelasco, E. Rodríguez-Ortega, M.A. Villasís-Keever, D. Aceves-Villagrán, et al.
Child Development Evaluation Test analysis by field improves detection of developmental problems in children.
Bol Med Hosp Infant Mex., 71 (2014), pp. 154-162
[8]
A. Rizzoli-Córdoba, F. Ortega-Ríosvelasco, M.A. Villasís-Keever, M. Pizarro-Castellanos, G. Buenrostro-Márquez, D. Aceves-Villagrán, et al.
Reliability for detection of developmental problems using the semaphore from the Child Development Evaluation test: Is a yellow result different from a red result.
Bol Med Hosp Infant Mex., 71 (2014), pp. 277-285
[9]
Comisión Nacional de Protección Social en Salud.
Manual para la Evaluación de Menores de Cinco Años con Riesgo de Retraso en el Desarrollo.
Secretaría de Salud, (2013), pp. 88
[10]
Comisión Nacional de Protección Social en Salud.
Manual Complementario para la Aplicación de la Prueba Evaluación del Desarrollo Infantil EDI.
Secretaría de Salud, (2013), pp. 168
[11]
Comisión Nacional de Protección Social en Salud.
Manual para la Formación de Facilitadores en la Prueba Evaluación del Desarrollo Infantil EDI.
Secretaría de Salud, (2013), pp. 134
[12]
A. Rizzoli-Córdoba, I. Delgado-Ginebra, L.A. Cruz-Ortiz, C.I. Baqueiro-Hernández, I.J. Martain-Pérez, J.A. Palma-Tavera, et al.
Impacto de un modelo de capacitación en la atención primaria de la prueba Evaluación del Desarrollo Infantil.
Bol Med Hosp Infant Mex., 72 (2015), pp. 376-384
[13]
Dirección General del Programa PROSPERA.
Reporte anual de los resultados a nivel nacional de la prueba Evaluación del Desarrollo Infantil.
Comisión Nacional de Protección Social en Salud, (2013),
[14]
Centro Nacional para la Salud de la Infancia y la Adolescencia.
Desarrollo Infantil Temprano.
Lineamientos Técnicos, Secretaría de Salud, (2015),
Copyright © 2015. Hospital Infantil de México Federico Gómez
Opciones de artículo
Herramientas