Buscar en
Boletín Médico del Hospital Infantil de México
Toda la web
Inicio Boletín Médico del Hospital Infantil de México Análisis comparativo de pruebas de tamiz para la detección de problemas en el ...
Información de la revista
Vol. 72. Núm. 6.
Evaluación del desarrollo infantil en México
Páginas 364-375 (Noviembre - Diciembre 2015)
Compartir
Compartir
Descargar PDF
Más opciones de artículo
Visitas
9715
Vol. 72. Núm. 6.
Evaluación del desarrollo infantil en México
Páginas 364-375 (Noviembre - Diciembre 2015)
Artículo de revisión
Open Access
Análisis comparativo de pruebas de tamiz para la detección de problemas en el desarrollo diseñadas y validadas en México
Comparative analysis of child development screening tools designed and validated in Mexico
Visitas
9715
Rodrigo Orcajo-Castelána,d,e,
Autor para correspondencia
, Beatriz Sidonio-Aguayob, Jorge Augusto Alcacio-Mendozac, Giovana Lucía López-Díazc
a Unidad Médica de Alta Especialidad Hospital Regional de Psiquiatría Unidad Morelos, Instituto Mexicano del Seguro Social, México D.F., México
b Departamento de Rehabilitación Pediátrica, Hospital Infantil de México Federico Gómez, México D.F., México
c Facultad Mexicana de Medicina, Universidad La Salle, México D.F., México
d Principles and Practice of Clinical Research Course, Spaulding Rehabilitation Center, Massachusetts General Hospital, Harvard Medical School, Cambridge, Massachusetts, U.S.A.
e Centre For Global Mental Health, King's College London/London School Of Hygiene and Tropical Medicine, Londres, Reino Unido
Este artículo ha recibido

Under a Creative Commons license
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Tablas (5)
Tabla 1. Descripción general de las pruebas de tamiz comparadas en el estudio
Tabla 2. Comparación de las propiedades de las pruebas de tamiz reportadas en los estudios de validación
Tabla 3. Lista de cotejo STARD para evaluar calidad de reporte de estudios de precisión diagnóstica
Tabla 4. Cuestionario para evaluar riesgo de sesgos en estudios de precisión diagnóstica QUADAS
Tabla 5. Consenso de resultados de la aplicación de la herramienta de evaluación de riesgo de sesgo QUADAS-2
Mostrar másMostrar menos
Figuras (108)
Mostrar másMostrar menos
Resumen
Introducción

En los últimos años se han desarrollado varias pruebas de tamiz para el desarrollo infantil temprano (DIT) en menores de 5 años en México. El objetivo de esta revisión fue comparar la calidad del reporte de validación publicado y riesgo de sesgo entre diferentes pruebas desarrolladas y validadas en México.

Métodos

Se realizó una búsqueda en bases de datos, literatura gris y referencia cruzada documental. Se efectuó un análisis comparativo de la calidad del reporte (STARD) y el riesgo de sesgo (QUADAS y QUADAS-2).

Resultados

Se incluyeron las siguientes cinco pruebas: Valoración Neuroconductual del Desarrollo del Lactante (VANEDELA), Evaluación del Desarrollo Infantil (EDI), Prueba de Tamiz del Neurodesarrollo Infantil (PTNI), Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante (CVDL) e Indicadores de riesgo del Perfil de Conductas de Desarrollo (INDIPCD-R). Ninguna cumplió el 100% de los ítems de acuerdo con STARD. Las más completas en su descripción fueron VANEDELA y EDI. El área de procedimientos de muestreo fue en la que hubo menor cumplimiento (VANEDELA, PTNI, CVDL, INDIPCD-R). En QUADAS, todas las pruebas presentaron algún riesgo de sesgo. Las más importantes fueron la selección de la muestra y la elección del estándar de oro, que en dos estudios se identificó que no era el más adecuado (PTNI, INDIPCD-R).

Conclusiones

Las pruebas de tamiz mexicanas para el DIT varían en la calidad de reporte publicado y riesgo de sesgo. La de mejor calidad de reporte de validación es VANEDELA y la de menor riesgo de sesgo en los datos publicados es la prueba EDI.

Palabras clave:
Neurodesarrollo
Pruebas de tamiz
Riesgo de sesgo
Validación
México
Abstract
Background

In recent years a number of child development screening tools have been developed in Mexico; however, their properties have not been compared. The objective of this review was to compare the report quality and risk bias of the screening tools developed and validated in Mexico in their published versions.

Methods

A search was conducted in databases, gray literature and cross references. The resultant tests were compared and analyzed using STARD, QUADAS and QUADAS-2 criteria.

Results

“Valoración Neuroconductual del Desarrollo del Lactante” (VANEDELA), “Evaluación del Desarrollo Infantil or EDI” (CDE in English), “Prueba de Tamiz del Neurodesarrollo infantil” (PTNI), “Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante” (CVDL) and “Indicadores de riesgo del Perfil de Conductas de Desarrollo” (INDIPCD-R) were included for the comparison. No test fulfilled all STARD items. The most complete in their methodological description were VANEDELA and EDI. The areas lacking more data on the reports were recruiting and patient selection (VANEDELA, PTNI, CVDL, INDIPCD-R). In QUADAS evaluation, all had some risk bias, but some serious concerns of risk bias were raised by patient sampling and by the choice of gold standard in two tests (PTNI, INDIPCD-R).

Conclusions

Child development screening tests created and validated in Mexico have variable report quality and risk bias. The test with the best validation report quality is VANEDELA and the one with the lowest risk of bias is EDI.

Keywords:
Child development
Screening test
Bias risk
Validation
Mexico
Texto completo
1Introducción

La identificación temprana de las alteraciones en el desarrollo infantil es esencial para el bienestar de los niños y sus familias, pues permite que se proporcione un diagnóstico adecuado y una pronta intervención en aquellos que presenten alguna alteración1. Para quien las recibe, dichas intervenciones están asociadas con una mejor funcionalidad en la vida adulta en múltiples esferas2, además de que presentan una relación costo-beneficio muy alta3.

La comparación de las características clínicas de cada prueba es importante para auxiliar en la elección del instrumento más adecuado en la evaluación del desarrollo. Además, resulta importante comparar la calidad de reporte y el riesgo de sesgo de las mismas, puesto que los reportes de resultados de exámenes diagnóstico o de tamiz sesgados pueden dar como resultado la adopción generalizada de pruebas que produzcan una clasificación de riesgo imprecisa, y por tanto llevar al personal de salud a tomar decisiones de referencia, diagnóstico o tratamiento, incorrectas4.

En una revisión sistemática y análisis comparativo de la literatura, realizados en 2012 por Romo-Pardo y colaboradores, se encontraron 13 pruebas de tamiz creadas y validadas en América para la identificación oportuna de problemas en el desarrollo infantil, pero ninguna con datos publicados en revistas científicas para México (excepto Denver-II)4. En los últimos años se ha creado un número importante de pruebas de tamiz, algunas de las cuales ya se aplican a la población menor de 5 años en México, y cuya información sobre validación y propiedades no se encuentra publicada en revistas indizadas. Tampoco se ha realizado una comparación entre las mismas.

Con base en lo anterior, el objetivo del presente artículo fue comparar la calidad del reporte de validación publicado y el riesgo de sesgo entre las pruebas de tamiz desarrolladas y validadas en México.

2Métodos2.1Búsqueda y análisis

Dado que parte de la información sobre las pruebas de México no está disponible en motores de búsqueda de revistas científicas, durante octubre de 2015 se realizó una búsqueda exhaustiva de herramientas de escrutinio para el desarrollo infantil en menores de 5 años, desarrolladas y validadas en México, desde 1980 a la fecha. Se llevó a cabo una estrategia simple utilizando los términos “neurodesarrollo” o “desarrollo infantil” y “tamiz”, así como los términos “child development” y “screening”, en PubMed/MEDLINE, Scopus, Web Of Science, EMBASE, EBSCO, Google Scholar, LiLACS y SciELO limitando los resultados a pruebas realizadas en México.

Mediante las distintas búsquedas, la referencia cruzada documental y de preguntar a expertos en el tema, se identificaron siete pruebas de tamiz elaboradas en México para evaluar el neurodesarrollo. Con el nombre de las pruebas, se realizó una búsqueda exhaustiva de publicaciones que reportaran la validación de las mismas. Además de las fuentes consultadas previamente, se investigó en la literatura gris. Para el análisis, se incluyeron solamente aquellas pruebas en las cuales se encontró validación.

2.2Instrumentos utilizados para la evaluación de las pruebas2.2.1STARD

Los estándares para reportar la precisión diagnóstica (STARD, por sus siglas en inglés)5,6 fueron diseñados con el objetivo de mejorar la calidad de reporte en los estudios de precisión diagnóstica. Consisten en una lista de cotejo de 25 ítems y un diagrama de flujo que informa sobre el método de selección de los pacientes, el orden de realización de las pruebas y el número de pacientes que deben evaluarse mediante la prueba índice y la prueba de referencia. Evalúa que las publicaciones proporcionen información suficiente que permita detectar el sesgo potencial en un estudio y juzgar la potencial generalización y aplicabilidad de los resultados.

2.2.2QUADAS

La herramienta de calidad de la evaluación de los estudios de precisión diagnóstica en revisiones sistematizadas (QUADAS, por sus siglas en inglés)7 fue desarrollada para auxiliar en la evaluación del riesgo de sesgo de las publicaciones de precisión diagnóstica. Fue elaborada basándose en tres exámenes de pruebas existentes y un proceso con metodología Delphi con la participación de un grupo de nueve expertos. Consta de una lista de 14 ítems cualitativos que incluye las características de los pacientes, el estándar de referencia, el sesgo de progresión de la enfermedad, el sesgo de verificación, el sesgo de revisión, el sesgo de revisión clínica, el sesgo de incorporación, la prueba de ejecución y los resultados indeterminados. Estos ítems deben ser calificados mediante la respuesta “sí”, si se considera que el estudio analizado cuenta con las características descritas en cada ítem; “no”, si no cumple con las características; o “poco claro”, si el texto no contiene la información suficiente para establecer un juicio.

2.2.3QUADAS-2

El instrumento QUADAS-28 se diseñó con el objetivo de evaluar el riesgo de sesgo en los estudios de precisión diagnóstica. Consta de un cuestionario estructurado con preguntas abiertas agrupadas en cuatro dominios, que incluyen la selección de pacientes, la prueba índice, el estándar de referencia y el tiempo transcurrido entre la prueba índice y el estándar de referencia. La herramienta debe ser completada en cuatro fases: la primera pretende establecer la pregunta de revisión; la segunda, desarrollar una guía específica de revisión; posteriormente, evaluar el diagrama de flujo publicado o, en caso de no haber sido publicado, realizar uno con los datos proporcionados; y, finalmente, establecer un juicio de sesgo y aplicabilidad. Cada dominio se evalúa en términos del riesgo de sesgo y los tres primeros también son evaluados en términos de preocupaciones con respecto a la aplicabilidad. Para ayudar a establecer un juicio sobre el riesgo de sesgo, se incluyen preguntas de señalización. Esta herramienta permite realizar una presentación tabular para cada estudio evaluado, calificando cada ítem como bajo riesgo, alto riesgo o riesgo poco claro.

2.3Procedimiento de la evaluación

El análisis se efectuó en fases. En una primera fase, cada uno de los autores evaluó, por separado y de forma independiente, la calidad del reporte de validación, mediante el uso de la herramienta STARD6, y el riesgo de sesgo en estudios, mediante las herramientas QUADAS7 y QUADAS-28. Los resultados de dicha evaluación, incluyendo flujogramas y listas de cotejo, fueron recolectados utilizando los formatos desarrollados para cada instrumento. En una segunda fase, se compararon los formatos de evaluación de cada uno de los autores. Las discrepancias fueron resueltas por consenso. Se produjo una evaluación final que fue vaciada en los formatos antes mencionados y transformada para su presentación gráfica.

3Resultados3.1Identificación de las pruebas de tamiz

Se identificaron siete pruebas de tamiz de alteraciones en el neurodesarrollo creadas en México: la Escala de Desarrollo Integral del Niño9, la Evaluación del Neurodesarrollo del Neonato (EVANENE)10, la Valoración Neuroconductual del Desarrollo del Lactante (VANEDELA)11, Evaluación del Desarrollo Infantil (EDI)12, Prueba de Tamiz del Neurodesarrollo infantil (PTNI)13, Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante (CVDL)14 e Indicadores de riesgo del Perfil de Conductas de Desarrollo (INDIPCD-R)15.

Todos las publicaciones que se encontraron en los motores de búsqueda fueron relacionadas con la prueba EDI16–18, con excepción de una relacionada con NPED (Neuropediatric Development)19, la cual fue excluida ya que evaluaba un instrumento desarrollado en Cuba y no tenía un diseño de validación concurrente. El resto fue localizado en publicaciones científicas no indizadas ni indexadas (INDIPCD-R15, CVDL20), en páginas web (PTNI21), o como libros, manuales, protocolos institucionales de investigación o tesis de grado (EVANENE22, VANEDELA23, EDI16–18, PTNI21).

Tres contaban con artículos de validación publicados, una contaba con datos de la validación publicados en línea y otra como reporte de tesis. Finalmente, se incluyeron cinco pruebas para ser evaluadas. Se excluyeron de este estudio la Escala de Desarrollo Integral del Niño, por no encontrar datos sobre su validación, y EVANENE, por el mismo motivo, ya que se localizó solamente una tesis de validación de la misma pero como instrumento de tamiz de daño cerebral.

3.2Características generales de las pruebas evaluadas

Las características generales de las pruebas evaluadas se describen en la tabla 1. Se encontró una gran variedad de rango de edades evaluadas. EDI es la prueba que evalúa el rango de edad más amplio (1-59 meses). La mayoría de las pruebas utiliza la observación directa como modalidad de evaluación excepto EDI, que tiene una modalidad de evaluación mixta: observación directa/interrogatorio dirigido. Ninguna utiliza la modalidad exclusiva de interrogatorio a través del llenado de un cuestionario por los padres. Las áreas evaluadas muestran una gran variabilidad, aunque en general se ajustan a las áreas recomendadas por la literatura: motora, lenguaje, adaptativo o cognitivo, personal o social24,25.

Tabla 1.

Descripción general de las pruebas de tamiz comparadas en el estudio

Prueba  Rango de edad  Modalidad de evaluación  Aspectos evaluados  Sistema de calificación  Criterios de normalidad y anormalidad 
Valoración Neuroconductual del desarrollo del Lactante (VANEDELA)23  1-24m (evaluados en 6 grupos)  Observación directa  Conductas del desarrollo (alimentación, reflejos, postura antigravitatoria, motor grueso, motor fino, coordinación ojo-mano, percepción visual, percepción auditiva, lenguaje receptivo, lenguaje expresivo, cognoscitivo, emocional, social) Reacciones del desarrollo (reflejos)
Signos de alteración o alarma 
Cada pregunta en conductas del desarrollo y reacciones del desarrollo tiene tres posibles respuestas: sí, no o no aplica
Los signos de alteración o alarma tienen tres posibles respuestas: ausente, presente o no registrado
El resultado se expresa en normal, dudoso, anormal y no aplicable (criterio de validez si dos ítems son marcados como no aplicables) 
Se obtiene un puntaje a través de las 10 conductas solicitadas en los ítems por grupo de edad, estableciendo como normal si los hace todos, dudosos si hace 8-9 y anormal si hace menos de 7 
Prueba Evaluación del Desarrollo Infantil
(EDI)16 
1-59m (evaluados en 14 grupos)  Interrogado y observado  Áreas del desarrollo (motor fino, motor, grueso, lenguaje, social y conocimiento), factores de riesgo biológico, señales de alerta, señales de alarma y exploración neurológica  Cada pregunta tiene dos posibles respuestas: sí o no
El resultado está basado en un sistema de semáforo:
desarrollo normal (verde), rezago en el desarrollo (amarillo) y riesgo de retraso (rojo) 
Cuenta con criterios de calificación específicos para grupos de edad
(1m, 2-4m y 5-59m) 
Prueba de Tamiz para Evaluar en Neurodesarrollo Infantil (PTNI)21  11 a 49m (evaluados en 5 grupos)  Observación directa  Áreas del desarrollo (motor gruesa, motor fina, lenguaje, cognoscitiva, socio-afectiva, independencia)  Cada ítem tiene dos posibles respuestas: sí o no (se otorga un punto por cada respuesta afirmativa). El resultado se expresa en cuatro categorías: neurodesarrollo normal, retraso leve (riesgo leve), retraso moderado (riesgo moderado) y retraso grave (alto riesgo)  Se obtiene un puntaje a través de las 12 conductas solicitadas en los ítems por grupo de edad, estableciendo puntos de corte específicos para niños de 12 a 24m y otros para los de 36 a 48
Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante (CVDL)20  1 a 24m (evaluados en 13 grupos)  Interrogado  No se agrupan por áreas ni dominios  Los ítems están ordenados por complejidad del 1 al 64. La cartilla establece qué número de ítem debe realizar a cada edad determinada. El resultado se expresa de forma dicotómica en riesgo de retraso o desarrollo normal  Se evalúa que el niño realice las conductas indicadas por la cartilla y las del grupo etario anterior, para clasificarlo como desarrollo normal 
Indicadores de conductas de riesgo del Perfil de Conductas del Desarrollo
(INDIPCD-R)15 
0 a 4 a (evaluados en 6 grupos)  Interrogado  Áreas del desarrollo (sedestación, gateo, bipedestación, marcha, lenguaje expresivo, lenguaje receptivo, emocional/social, habilidad manual, cognición y praxis), antecedentes  Cada pregunta se califica usando una escala ordinal, dependiendo si una conducta se observa frecuentemente (75-100%), a veces (15-75%) o nunca (0-15%). El resultado se expresa en alteración del desarrollo leve, moderada o severa  Se obtiene un puntaje al sumar los indicadores de riesgo a la edad cronológica del niño. Este puntaje se compara con una escala normativa obtenida por DE: <1DE, leve; 1-2DE, alteración moderada; >2DE, alteración severa 

m: meses; a: años; DE: desviación estándar.

Solamente INDIPCD-R, EDI y VANEDELA presentan la evaluación de signos neurológicos. Los sistemas de calificación utilizados difieren ampliamente, pero están adecuadamente descritos. Lo mismo se puede afirmar de los criterios de anormalidad, con excepción de los del INDIPCD-R, cuya definición publicada resulta confusa ya que no es claro cómo se compara el puntaje obtenido con el del estándar de oro. Las propiedades de las pruebas de tamiz reportadas en los estudios de validación revisados se encuentran resumidas en la tabla 2.

Tabla 2.

Comparación de las propiedades de las pruebas de tamiz reportadas en los estudios de validación

Prueba
(año de publicación) 
Población estudiada  Estándar de oro y punto de corte para anormalidad  Sensibilidad  Especificidad  VPP  VPN 
VANEDELA
(2001)23
184 niños de una población urbana que acuden al laboratorio de seguimiento del neurodesarrollo en INP/UAM-XCTD<90 en el EEG o al menos un área del desarrollo evaluada en el EEG con un CDD<761m: 1.00  1m: 0.93  1m: 0.83  1m: 1.00 
4m: 0.88  4m: 0.75  4m: 0.91  4m: 0.69 
8m: 0.88  8m: 0.67  8m: 0.81  8m: 0.78 
12m: 0.96  12m: 0.45  12m: 0.69  12m: 0.90 
18m: 0.88  18m: 0.67  18m: 0.70  18m: 0.86 
24m: 0.88  24m: 0.78  24m: 0.78  24m: 0.88 
Versión modificada de EDI
(2013)16,18 
438 niños en tres estados del país (202 niños de 16-60m)  CTD<90 en el IDB-216  1-15m: 0.74
IC (0.65-0.82) 
1-15m: 0.60
IC (0.51-0.68) 
1-15m: 0.61
IC (0.53-0.70) 
1-15m: 0.72
IC (0.63-0.81) 
      16-60m: 0.89
IC (0.82-0.95) 
16-60m: 0.62
IC (0.53-0.71) 
16-60m: 0.68
IC (0.60-0.76) 
16-60m: 0.86
IC (0.78-0.94) 
      Total 0.81
IC (0.64-0.86) 
Total 0.61
IC (0.54-0.67) 
Total 0.65
IC (0.59-0.70) 
Total 0.78
IC (0.72-0.84) 
    CDD<80 en IDB-218  Motor 0.84
IC(0.74-0.90)
Comunicación 0.79
IC (0.71-0.85)
Personal social 0.86
IC(0.77-0.92)
Adaptativo 0.91
IC(0.76-0.96)
Cognitivo 0.83
IC(0.76-0.88) 
Motor 0.83
IC(0.87-0.90)
Comunicación 0.79
IC(0.74-0.83)
Personal social 0.85
IC(0.80-0.88)
Adaptativo 0.85
IC(0.81-0.88)
Cognitivo 0.88
IC(0.80-0.93) 
   
PTNI
(2013)21 
27,059 niños en comunidades rurales de México  Peso para la edad (puntaje Z ≤2)  12m: 0.78  24m: 0.73  12m: 0.41  24m: 0.52  12m: 0.18  24m: 0.22  12m: 0.92  24m: 0.91 
    Talla para la edad (puntaje Z ≤2)  12m: 0.71  24m: 0.62  12m: 0.44  24m: 0.58  12m: 0.60  24m: 0.71  12m: 0.56  24m: 0.48 
    Anemia (no especifica punto de corte)  12m: 0.65  24m: 0.60  12m: 0.65  24m: 0.60  12m: 0.44  24m: 0.28  12m: 0.60  24m: 0.78 
    Estimulación (no especifica punto de corte)  12m: 0.92  24m: 0.89  12m: 0.60  24m: 0.64  12m: 0.50  24m: 0.36  12m: 0.94  24m: 0.97 
    Todas las variables (no especifica punto de corte ni criterios de combinación)  12m: 0.88  24m: 0.86  12m: 0.77  24m: 0.79  12m: 0.85  24m: 0.74  12m: 0.83  24m: 0.91 
CVDL
(2014)20 
2,702 niños procedentes de zonas urbanas de tres estados del país  Resultado menor a -2 DE en cualquiera de las escalas de dos pruebas diagnósticas: Escala de Desarrollo de Bayley II o en la EEG, “diagnóstico normal o anormal del niño”  0.840.750.830.76
INDIPCD-R
(2015)15
145 niños provenientes de una clínica y dos CENDIPerfil de coeficientes del desarrollo o PCD-R (no menciona el punto de corte)Clínica 1.00
IC (0.96-1.00)
Clínica 0.69
IC (0.40-98.17)
Clínica 0.90
IC (0.80-1.00)
Clínica 1.00
IC (0.94-1.00)
CENDI 0.94
IC (0.82-1.00)
CENDI 0.84
IC (0.61-1.00)
CENDI 0.90
IC (0.74-1.00)
CENDI 0.91
IC (0.71-1.00)

VANEDELA: Valoración Neuroconductual del Desarrollo del Lactante; EDI: Evaluación del Desarrollo Infantil; PTNI: Prueba de Tamiz del Neurodesarrollo Infantil; CVDL: Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante; INDIPCD-R: Indicadores de riesgo del Perfil de Conductas de Desarrollo Revisado; VPP: valor predictivo positivo; VPN: valor predictivo negativo; m: meses; INP: Instituto Nacional de Pediatría; UAM-X: Universidad Autónoma Metropolitana plantel Xochimilco; DE: desviaciones estándar; IDB-2: Inventario de Desarrollo de Battelle 2ª. ed. en español; CTD: cociente toral de desarrollo; EEG: Examen evolutivo de Gessell; CDD: cociente de desarrollo del dominio; PCD-R: perfil de conductas del desarrollo; CENDI: centro de desarrollo infantil.

Los tamaños de muestra para realizar las validaciones variaron. El más amplio fue el reportado por la PTNI. La selección de la muestra también varió, ya que se encontraron dos pruebas que se validaron en poblaciones provenientes de instituciones de salud (VANEDELA e INDIPCD-R), dos que obtuvieron su muestra en poblaciones específicas (PTNI en rural y CVDL en urbana) y una que presentó una selección de muestra intencionadamente balanceada en cuanto a características demográficas y factores de riesgo biológico (EDI).

El estándar de oro utilizado en la validación también fue diferente para las diversas pruebas: tres pruebas utilizaron una prueba diagnóstica del neurodesarrollo, como el Examen Evolutivo de Gessell (EEG)26 o el Inventario de Desarrollo de Battelle-2 (IDB-2)27 (VANEDELA, EDI, CVDL). Una prueba utilizó la prueba diagnóstica de la cual deriva (PCD-R)28,29. Otra prueba utilizó como indicador proxy una serie de medidas de estado nutricional, anemia y crecimiento, a solas y como puntaje compuesto (PTNI).

Todas las pruebas reportaron valores de sensibilidad y especificidad así como valores predictivos positivos (VPP) y negativos (VPN) adecuados con lo recomendado por la literatura24, aunque hubo pruebas que presentaron una amplia variación, dependiendo del grupo de edad evaluado (VANEDELA) o del estándar de oro utilizado (PTNI). En algunos rangos de edad fueron demasiado bajos para ser utilizados. Tres pruebas no describieron intervalos de confianza de sus datos (VANEDELA, PTNI, CVDL).

3.3Resultados de la evaluación de la calidad del reporte

En la tabla 3 se muestra la lista de cotejo de la herramienta STARD. Ninguna de las pruebas cumplió con la totalidad de los ítems a reportar. Las más completas en su descripción de métodos fueron VANEDELA y EDI. Las áreas en las que se encontraron más pruebas con datos faltantes o incompletos fueron las referentes a la descripción del procedimiento de muestreo y selección de pacientes (VANEDELA, PTNI, CVDL, INDIPCD-R), los métodos mediante los cuales se describieron los datos faltantes y los casos que se perdieron al seguimiento (todas), la descripción de los participantes y el flujograma del estudio (PTNI, CVDL, INDIPCD-R, EDI) y los métodos establecidos para medir la reproducibilidad de la prueba (INDIPCD-R).

Tabla 3.

Lista de cotejo STARD para evaluar calidad de reporte de estudios de precisión diagnóstica

Lista de cotejo del instrumento STARDVANEDELA23  EDI16  PTNI21  CVDL20  INDIPCD-R15 
Sección y tema  Ítem  Descripción del ítem  Sí/incompleto/no; número de página (p)
Título/resumen/palabra clave  Identificar el artículo como estudio de precisión diagnóstico  Sí; p. 1  Sí; p. 196  No  Incompleto  Sí; p. 135 
Introducción  Mencionar explícitamente las preguntas de investigación o los objetivos del estudio  Sí; p. 91  Sí; p. 197  No  Sí, p. 25  Sí; p. 138 
Métodos
ParticipantesPoblación del estudio, criterios de inclusión y exclusión  Sí; pp. 91, 92  Sí; p. 197  Incompleto;
p. 44 
Incompleto;
p. 26 
Incompleto;
p. 139 
Reclutamiento de pacientes: ¿qué criterio se utilizó para su selección?  Sí; pp. 92, 97  Incompleto;
p. 197 
Sí; p. 44  No; p. 26  Sí; p. 138 
Muestreo: procedimientos  Sí; pp. 92, 97  Incompleto;
p. 197 
Incompleto;
p. 44 
Incompleto;
p. 26 
Sí; p. 138 
Momento de recolección de datos: ¿fue planeado antes o después del estudio?  Sí; pp. 92, 97  Incompleto;
p. 197 
No  Incompleto;
p. 26 
No se menciona 
PruebasEl estándar de la prueba y su racional  Sí; pp. 29-93  Sí; p. 197  Sí; p. 40  Sí; p. 26  Incompleto; p. 138 
Especificaciones técnicas de material y métodos involucrados  Sí; pp. 29-97  Sí; p. 197  Sí; pp. 46-48  Sí; p. 26  Sí; p. 139 
Definición y explicación para las unidades utilizadas, puntos de corte, resultados de test índice y estándares de referencia  Sí; pp. 29-95  Sí; pp. 198, 201  Incompleto; pp. 41, 42  Sí; p. 26  Sí; pp. 138, 139 
10  Número, entrenamiento y pericia de las personas ejecutando e interpretando las pruebas de referencia y normales  Incompleto;
p. 95 
Sí; p. 197  Incompleto;
p. 43 
Incompleto;
p. 26 
Incompleto;
p. 139 
11  Mencionar si hubo un procedimiento ciego para evaluar las pruebas  No  Sí; p. 197  No  No hubo;
p. 26 
No hubo;
p. 139 
Estadísticos12  Métodos estadísticos para calcular o comparar medidas de precisión  Incompleto;
pp. 95-101 
Sí; p. 197  No  No; p. 26  Sí; pp. 139-140 
13  Métodos para calcular la reproducibilidad de las pruebas  No  Incompleto;
p. 197 
Incompleto;
p. 59 
Incompleto;
p. 26 
No 
Resultados
Participantes14  ¿Cuándo fue realizado el estudio? ¿Se mencionan las fechas de inicio del reclutamiento?  Sí; p. 97  No; p. 197  Incompleto;
p. 44 
No; pp. 26, 27  No 
15  Características demográficas de la población: edad, sexo, espectro de síntomas presentados  Sí; pp. 98, 99  Sí; pp. 198, 200  Incompleto;
pp. 45, 46 
No; pp. 26, 27  Sí; p. 140 
16  Número de pacientes que cumplían con criterios de inclusión, que fueron evaluados por ambos test, referencia e índice, con flujograma  Incompleto;
p. 100 
No  No se refiere  No; p. 26  Incompleto;
pp. 138, 139 
17  Intervalo de tiempo entre la aplicación del test índice y el estándar de referencia  Sí; p. 92  Sí; p. 197  No se refiere  Sí; p. 26  No 
18  Distribución de severidad del padecimiento  Incompleto;
pp. 98, 99 
Sí; pp. 197, 198  No se refiere  No; p. 26  Sí; p. 141 
19  Una tabulación cruzada entre los resultados del test índice y el estándar  Sí; pp. 100-133  Sí; p. 202  Sí; pp. 50, 51  Sí; pp. 26, 27  Sí, p. 142 
20  Eventos adversos de aplicación del test de referencia o índice  No aplica  No aplica  No aplica  No  No aplica 
21  Estimados de precisión diagnóstica y medidas de incertidumbre  Incompleto  Sí  Incompleto;
pp. 51, 52 
Incompleto  Sí; p. 142 
22  Forma de manejar/clasificar resultados indeterminados, datos faltantes, distribución del test índice  Incompleto;
p. 98 
Incompleto  No  No  Incompleto;
p. 139 
23  Estimados de la variabilidad de la precisión diagnóstica entre subgrupos de participantes, centros de evaluación y evaluadores  No aplica  Sí; p. 203  No  No  Sí; p. 142 
24  Estimados de la reproducibilidad del test  No  Incompleto;
p. 197 
Sí  Incompleto  No 
Discusión  25  Discusión sobre los resultados del estudio  Sí; p. 143  Sí; p. 207  No  Sí  Sí; pp. 142-144 

STARD: Standards for Reporting of Diagnostic Accuracy; VANEDELA: Valoración Neuroconductual del Desarrollo del Lactante; EDI: Evaluación del Desarrollo Infantil; PTNI: Prueba de Tamiz del Neurodesarrollo Infantil; CVDL: Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante; INDIPCD-R: Indicadores de riesgo del Perfil de Conductas de Desarrollo Revisado.

3.4Resultados de la evaluación del riesgo de sesgo

La tabla 4 muestra los resultados de la aplicación de la herramienta de evaluación de riesgo de sesgo QUADAS. Ninguna prueba cumplió al 100% los criterios evaluados. Solo una prueba evaluó un espectro de pacientes representativo de la población (EDI). Ninguna reportó manejo de resultados no interpretados, abandono del estudio u otras pérdidas de casos. Los resultados de la evaluación QUADAS-2 se muestran el tabla 5 y son una valoración cualitativa final que representa el consenso de la opinión de los autores sobre qué tanto riesgo de sesgo presenta cada una de las pruebas. Debido a la validación mediante el estándar de oro proxy, la PTNI presenta un alto riesgo de sesgo con respecto a su estándar de referencia (peso para la edad, talla para la edad, anemia y estimulación temprana que no es independiente a la prueba). La INDIPCD-R presenta un alto riesgo de sesgo de su prueba índice y estándar de oro ya que se valida contra sí misma. Al tratarse de muestras por conveniencia, sin ningún tipo de ajuste, todas las pruebas presentan un alto riesgo de sesgo con respecto a la selección de sus pacientes. La que menos riesgo tuvo fue EDI ya que, intencionalmente, balanceó los grupos evaluados.

Tabla 4.

Cuestionario para evaluar riesgo de sesgos en estudios de precisión diagnóstica QUADAS

Ítem  VANEDELA23  EDI16  PTNI21  CVDL20  INDIPCD-R15 
¿El espectro de pacientes evaluados fue representativo de aquellos que recibirán la prueba en la práctica? 
 
 
 
 
 
¿Los criterios de selección están claramente definidos? 
 
 
 
 
 
¿Es muy probable que el estándar de referencia clasifique la condición blanco adecuadamente? 
 
 
 
 
 
¿El intervalo de tiempo entre la aplicación de las dos pruebas es suficientemente corto como para afirmar que la condición no cambió? 
 
 
 
 
 
¿Toda la muestra recibió evaluación confirmatoria o solamente una submuestra de la misma? 
 
 
 
 
 
¿Fue la muestra evaluada con la misma prueba diagnóstica, independientemente del resultado en la prueba índice? 
 
 
 
 
 
¿La prueba índice es independiente de la prueba de referencia? 
 
 
 
 
 
¿La ejecución de la prueba índice fue descrita con suficiente detalle como para ser replicada? 
 
 
 
 
 
¿La ejecución de la prueba de referencia fue descrita con suficiente detalle como para ser replicada? 
 
 
 
 
 
¿Fueron los resultados del test de referencia interpretados sin conocimiento del resultado del test índice? 
 
 
 
 
 
¿Fueron los resultados del test índice interpretados sin conocimiento del resultado del test de referencia? 
 
 
 
 
 
¿Existía la misma información clínica disponible para interpretar el test índice que en la práctica clínica común? 
 
 
 
 
 
¿Se reportaron resultados intermedios/no interpretados? 
 
 
 
 
 
¿Se explican las pérdidas de casos? 
 
 
 
 
 

VANEDELA: Valoración Neuroconductual del Desarrollo del Lactante; EDI: Evaluación del Desarrollo Infantil; PTNI: Prueba de Tamiz del Neurodesarrollo Infantil; CVDL: Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante; INDIPCD-R: Indicadores de riesgo del Perfil de Conductas de Desarrollo Revisado.

Tabla 5.

Consenso de resultados de la aplicación de la herramienta de evaluación de riesgo de sesgo QUADAS-2

Estudio  Riesgo de sesgoPreocupaciones sobre aplicabilidad
  Selección de pacientes  Prueba índice  Estándar de referencia  Diagrama de flujo y secuencia del estudio  Selección de pacientes  Prueba índice  Estándar de referencia 
VANEDELA23 
 
 
 
 
 
 
 
EDI16 
 
 
 
 
 
 
 
PTNI21 
 
 
 
 
 
 
 
CVDL20 
 
 
 
 
 
 
 
INDIPCD-R15 
 
 
 
 
 
 
 

Bajo Riesgo
Alto Riesgo
Riesgo poco claro

VANEDELA: Valoración Neuroconductual del Desarrollo del Lactante; EDI: Evaluación del Desarrollo Infantil; PTNI: Prueba de Tamiz del Neurodesarrollo Infantil; CVDL: Cartillas de Vigilancia para identificar alteraciones en el Desarrollo del Lactante; INDIPCD-R: Indicadores de riesgo del Perfil de Conductas de Desarrollo Revisado.

4Discusión

En previas revisiones4 y reportes14,15 es repetitivo el comentario sobre las escasas o nulas menciones de pruebas mexicanas en la literatura, así como la dificultad de encontrar las validaciones de pruebas latinoamericanas. El escaso número de resultados obtenido al realizar búsquedas sencillas limitando los resultados a México podría explicarse por dos factores: el primero sería el bajo nivel de visibilidad de las revistas latinoamericanas, ya que muchas no se encuentran indexadas e indizadas, y por tanto no aparecen en los motores de búsqueda30. El segundo, por una mezcla entre un probable “temor” a las publicaciones internacionales y un efecto de “malinchismo” hacia las nacionales31, que dificulta la decisión de iniciar el laborioso proceso de transformación de textos de tesis de grado en artículos científicos32.

Como no existe una prueba de tamiz del desarrollo ideal, se puede decir que las características generales de las pruebas las hacen adecuadas para su uso en México. Antes de considerar los aspectos de la calidad de validación, la decisión de utilizar una sobre otra debe considerar su flexibilidad de uso24. En este sentido, el rango de edades evaluadas, la variedad en modalidades de evaluación y la sencillez del sistema visual de calificación por “semáforo” favorecen a la prueba EDI.

Ningún estudio se encuentra libre de fallas en la calidad de su reporte. El más completo fue el reporte de VANEDELA, muy amplio y completo al ser una tesis de 180 páginas. Si bien se encuentran casi todos los datos requeridos por STARD para valorar la confiabilidad de los datos reportados, hay aspectos metodológicos que limitan su validez externa, como el tamaño de muestra pequeño de cada uno de los grupos etarios evaluados y el proceso de reclutamiento de la muestra, que fue por conveniencia en una población urbana proveniente de ambientes clínico-hospitalarios. Otros reportes de validación, como el del INDIPCD-R, omiten datos importantes para poder evaluar su validez, lo que dificulta su evaluación objetiva. Una posible solución a este fenómeno podría ser el extender el uso de las herramientas de evaluación utilizadas en este artículo como una lista de cotejo guía para garantizar que los escritos científicos estén completos antes de publicarse33.

No existe publicación científica que esté libre de sesgos; sin embargo, existen procedimientos para reducirlos. Los resultados de las dos evaluaciones finales (QUADAS y QUADAS-2) muestran que, si bien los datos de sensibilidad y especificidad son, a grosso modo, similares entre las pruebas comparadas, la validez de estos datos está comprometida en distintos grados. Algunas de las publicaciones evaluadas omiten datos básicos, como las medidas de dispersión de datos o precisión de la medición, y otras comprometen el procedimiento de validación concurrente al comparar la prueba contra sí misma o una medición proxy. Otras pruebas, como VANEDELA, también presentan alto riesgo de sesgo por lo pequeño de la muestra.

De manera similar a lo concluido en revisiones comparativas de pruebas de tamiz del desarrollo realizadas en otras partes del mundo34, se encontró que de entre las pruebas para tamiz del neurodesarrollo creadas en México no hay ninguna que sea perfecta. La más flexible en su aplicación y con menor riesgo de sesgo en sus resultados de validación fue la prueba EDI.

Las pruebas de tamiz del neurodesarrollo, creadas y validadas en México, son, en general, adecuadas para su uso, aunque presentan calidades de reporte de publicación y riesgo de sesgo variables, y ninguna es perfecta. La prueba con mejor calidad de reporte de validación es VANEDELA, seguida de EDI, y la de menor riesgo de sesgo en los datos publicados es la prueba EDI. Se requerirá de un estudio comparativo entre las pruebas de tamiz contra el estándar de oro para poder establecer cuál de ellas es la que tiene las mejores propiedades.

Financiamiento

Este trabajo no contó con financiamiento alguno.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Agradecimientos

Se agradece al Lic. Josué Laguna Hernández de la Sección de Archivo Histórico, Biblioteca Dr. Ramón Villarreal Pérez, Universidad Autónoma Metropolitana-plantel Xochimilco, por el apoyo brindado en la localización de una de las tesis evaluadas en este estudio.

Referencias
[1]
Council on Children with Disabilities; Section on Developmental Behavioral Pediatrics; Bright Futures Steering Committee; Medical Home Initiatives for Children with Special Needs Project Advisory Committee.
Identifying infants and young children with developmental disorders in the medical home: an algorithm for developmental surveillance and screening.
Pediatrics., 118 (2006), pp. 405-420
[2]
S. Hamilton.
Screening for developmental delay: reliable, easy-to-use tools.
J Fam Pract., 55 (2006), pp. 415-422
[3]
F.P. Glascoe, E.M. Foster, M.L. Wolraich.
An economic analysis of developmental detection methods.
Pediatrics., 99 (1997), pp. 830-837
[4]
B. Romo-Pardo, S. Liendo-Vallejos, G. Rizzoli-Córdoba, A. Vargas-López, G. Buenrostro-Márquez.
Global neurodevelopmental screening tests for children under 5 years of age in the United States and Latin America: systematic review and comparative analysis.
Bol Med Hosp Infant Mex., 69 (2012), pp. 450-462
[5]
P.M. Bossuyt, J.B. Reitsma, D.E. Bruns, C.A. Gatsonis, P.P. Glasziou, L.M. Irwig, et al.
Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative.
BMJ., 326 (2003), pp. 41-44
[6]
P. Bossuyt, J.B. Reitsma, D.E. Bruns, C.A. Gatsonis, P.P. Glasziou, L.M. Irwig, et al.
The STARD statement for reporting studies of diagnostic accuracy: explanation and elaboration.
Clin Chem., 49 (2003), pp. 7-18
[7]
P.F. Whiting, A.W.S. Rutjes, J.B. Reitsma, P.M. Bossuyt, J. Kleijmen.
The development of QUADAS: a tool for the quality assessment of studies of diagnostic accuracy included in systematic reviews.
BMC Med Res Methodol., 3 (2003), pp. 25
[8]
P.F. Whiting, A.W.S. Rutjes, M.E. Westwood, S. Mallett, J.J. Deeks, J.B. Reitsma, et al.
QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies.
Ann Intern Med., 155 (2011), pp. 529-536
[9]
L.C. Atkin, T. Supervielle, R. Sawyer, P. Cantón.
Paso a paso: cómo evaluar el crecimiento y desarrollo de los niños.
UNICEF, Editorial Pax, (1987),
[10]
Alvarado-Ruiz GA, Sánchez-Pérez MC, Mandujano-Valdés MA. EVANENE. Evaluación del Neurodesarrollo del Neonato. México D.F.: Universidad Autónoma Metropolitana Unidad Xochimilco; 2013.
[11]
M.C. Sánchez-Pérez, H. Benavides-González, M. Mandujano-Valdés, I.R. Rivera-González, R.I. Martínez-Vázquez, G.A. Alvarado-Ruiz.
Valoración Neuroconductual del Desarrollo del Lactante (VANEDELA).
Universidad Autónoma Metropolitana, (2007),
[12]
Comisión Nacional de Protección Social en Salud. Manual para la Aplicación de la Prueba Evaluación del Desarrollo Infantil EDI. México, D.F.: Secretaría de Salud; 2013. 100p. Disponible en: http://www.himfg.edu.mx/descargas/documentos/EDI/ManualparalaPruebadeEvaluaciondelDesarrolloInfantil-EDI.pdf
[13]
Ávila-Curiel CA, Álvarez-Izazaga MA, Lopez-Arce Coria AM, Medina-Carranza BE. Prueba de Tamiz del Neurodesarrollo Infantil. México, 2008. Instituto Nacional de Ciencias Médicas y Nutrición Salvador Zubirán. No. de registro 03-2008-120312060800.
[14]
R. Rivera.
Vigilancia del desarrollo en el primer nivel de atención.
Vigilancia del desarrollo integral del niño., pp. 9-15
[15]
C. Bolaños, M.M. Mina-Lara, G. Ramos-Ortega.
Indicadores de riesgo del Perfil de Conductas de Desarrollo como instrumento para la detección temprana de retrasos y alteraciones en el desarrollo.
Acta Pediatr Mex., 36 (2015), pp. 135-146
[16]
A. Rizzoli-Córdoba, L. Schnass-Arrieta, S. Liendo-Vallejos, G. Buenrostro-Márquez, B. Romo-Pardo, J. Carreón-García, et al.
Validación de un instrumento para la detección oportuna de problemas del desarrollo en menores de 5 años en México.
Bol Med Hosp Inf Mex., 70 (2013), pp. 195-208
[17]
A. Rizzoli-Córdoba, F. Ortega-Ríosvelasco, M.A. Villasís-Keever, M. Pizarro-Castellanos, G. Buenrostro-Márquez, D. Aceves-Villagrán, et al.
Reliability for detection of developmental problems using the semaphore from the Child Development Evaluation test: Is a yellow result different from a red result.
Bol Med Hosp Infant Mex., 71 (2014), pp. 277-285
[18]
A. Rizzoli-Córdoba, L. Schnaas-Arrieta, F. Ortega-Ríosvelasco, E. Rodríguez-Ortega, M.A. Villasís-Keever, D. Aceves-Villagrán, et al.
Child Development Evaluation Test analysis by field improves detection of developmental problems in children.
Bol Med Hosp Infant Mex., 71 (2014), pp. 154-162
[19]
F. Guadarrama-Celaya, G.A. Otero-Ojeda, F.B. Pliego-Rivero, M.R. Porcayo-Mercado, J. Ricardo-Garcell, M.C. Perez-Ábalo.
Screening of neurodevelopmental delays in four communities of Mexico and Cuba.
Public Health Nurs., 29 (2012), pp. 105-115
[20]
R. Rivera-González, Y. Villanueva-Romero, L. Amaro-López, C. Sánchez-Pérez, M. Figueroa-Olea, K.M. Soler-Limón.
Validez concurrente de las cartillas vigilancia para identificar alteraciones en el desarrollo del lactante.
Ciencias Clínicas., 15 (2014), pp. 22-29
[21]
Ávila-Curiel A, Álvarez-Izazaga MA, Reidl-Martinez L, López-Arce AM. Vigilancia Epidemiológica del Neurodesarrollo Infantil en Comunidades Marginales de México. Capitulo III Elaboración de la prueba de tamiz del neurodesarrollo infantil (PTNI). Disponible en: http://www.nutricionenmexico.org.mx/encuestas/neuro%20web.pdf
[22]
Palma-Reyes CR. Valor diagnóstico de dos instrumentos clínicos en la detección de daño cerebral perinatal en prematuros. Informe preliminar (Tesis de Licenciatura). Universidad Autónoma de Querétaro. Querétaro, Querétaro, México; 2014.
[23]
Martínez-Vázquez RI. Evaluación de la sensibilidad y especificidad del instrumento de detección: Valoración Neuroconductual del Desarrollo del Lactante. (VANEDELA) (Tesis de Maestría). Universidad Autónoma Metropolitana-Xochimilco. México D.F., México; 2001.
[24]
D. Rydz, M.I. Shevell, A. Majnemer, M. Oskoui.
Developmental screening.
J Child Neurol., 20 (2005), pp. 4-21
[25]
M. Shevell, A. Majnemer, R.W. Platt, R. Webster, R. Birnbaum.
Developmental and functional outcomes in children with global developmental delay or developmental language impairment.
Dev Med Child Neurol., 47 (2005), pp. 678-683
[26]
R.S. Ball.
The Gesell developmental schedules: Arnold Gesell (1880–1961).
J Abnorm Child Psych., 5 (1977), pp. 233-239
[27]
J. Newborg.
Development and standardization.
Battelle Developmental Inventory., pp. 95-148
[28]
C. Bolaños.
Manual del Perfil de Conductas de Desarrollo Revisado.
Instituto de Terapia Ocupacional, (2005),
[29]
C. Bolaños.
Estudio de validación del perfil de conductas de desarrollo (PCD) como instrumento para evaluar el nivel de desarrollo de los niños de 0-4 años.
Bol Med Hosp Infant Mex., 60 (2003), pp. 79-89
[30]
M. Romero-Torres, L.A. Acosta-Moreno, M.A. Tejada-Gómez.
Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia.
Rev Esp Document Cient., 36 (2013), pp. e003
[31]
R. Cicero-Sabido.
¿Por qué los autores mexicanos no envían trabajos importantes a las revistas médicas mexicanas? Un comentario breve.
Gac Med Mex., 142 (2006), pp. 128-129
[32]
L. Gross Portney, M.P. Watkins.
Reporting the results of clinical research.
Foundations of Clinical Research. Applications to Practice, Pearson Prentice Hall, (2008), pp. 879-900
[33]
C. Cook, J. Cleland, P. Huijbregts.
Creation and critique of studies of diagnostic accuracy: use of the STARD and QUADAS methodological quality assessment tools.
J Man Manip Ther., 15 (2007), pp. 93-102
[34]
Bedford H, Walton S, Ahn J; Policy Research Unit in the Health of Children, Young People and Families; Centre for Paediatric Epidemiology and Biostatistics, UCL Institute of Child Health. Measures of Child Development: A Review. London: University College London (UCL); 2013. 103p. Disponible en: https://www.ucl.ac.uk/cpru/documents/review_of_measures_of_child_development
Copyright © 2015. Hospital Infantil de México Federico Gómez
Opciones de artículo
Herramientas