Estimaciones recientes indican que del 12% al 16% de los niños estadounidenses presentan trastornos del desarrollo o del comportamiento1. La American Academy of Pediatrics ha observado que estos problemas suelen ser atendidos por pediatras y otros profesionales de la atención primaria, pero que sólo el 57% de los niños de 10 a 35 meses de edad ha recibido una evaluación, formal o informal, del desarrollo2. Muchos pediatras explican de forma rutinaria la asistencia preventiva a los padres, aunque a menudo sólo sobre determinados temas3. Cada vez es mayor el interés por las medidas del desarrollo para controlar y mejorar la calidad de la asistencia pediátrica4.
Las encuestas a los pacientes se utilizan de forma creciente para evaluar determinados aspectos de la asistencia sanitaria5-7. En 1995, la Agency for Healthcare Research and Quality (AHRQ) inició el proyecto Consumer Assessments of Healthcare Providers and Systems (CAHPS). Los objetivos del proyecto CAHPS son el desarrollo y la evaluación de protocolos de encuesta para recoger evaluaciones fiables y válidas del consumidor de los planes y la asistencia sanitaria. En la actualidad, las encuestas CAHPS se utilizan en todo el territorio estadounidense8-16. Incluyen una versión para evaluar la asistencia pediátrica ambulatoria, utilizada por los planes comerciales de salud y las agencias de Medicaid10. Las encuestas CAHPS de la asistencia ambulatoria fueron avaladas oficialmente por el National Quality Forum (NQF) en 2007. En ese momento, el NQF observó que la encuesta CAHPS sobre la atención primaria infantil por grupos de médicos podría mejorar con la inclusión de preguntas acerca de la asistencia preventiva y del desarrollo. Para cubrir esta necesidad desarrollamos y estudiamos preguntas y protocolos de encuesta que pudieran ser utilizados para evaluar la asistencia preventiva y del desarrollo ofrecida por los pediatras.
MÉTODOS
Desarrollo del cuestionario
Para desarrollar las nuevas preguntas seguimos un protocolo similar al utilizado en el desarrollo de otras encuestas CAHPS13,14,17. Incluyó grupos de debate, el estudio cognitivo de las preguntas del borrador de la encuesta, el estudio piloto telefónico de las preguntas, la traducción de las preguntas al español y el estudio de campo de la encuesta.
Para identificar los temas relacionados con la supervisión del desarrollo y la asistencia preventiva y desarrollar preguntas relacionadas, solicitamos sugerencias a un grupo asesor de 10 miembros, que incluyó a representantes del American Board of Pediatrics; la Child and Adolescent Health Measurement Initiative; el Center for Healthier Children, Families and Communities de la University of Californa, Los Ángeles; la Harvard Medical School; el Children's Hospital de Cincinnati; el University of Rochester Medical Center, y la Commonwealth Fund. También revisamos la bibliografía y los instrumentos de revisión existentes, como la Promoting Healthy Development Survey18. Todos los demás puntos de la versión del instrumento para la prueba de campo se basaron en la CAHPS Clinican and Group Survey, Child Primary Care, versión 1.0. El instrumento CAHPS original para evaluar la asistencia pediátrica19 fue diseñado para niños menores de 18 años de edad y se ha utilizado ampliamente en los niños de hasta 12 años de edad. Así pues, la encuesta sobre asistencia preventiva y del desarrollo debería incluir preguntas importantes para este grupo de edad. Como el tipo de asistencia adecuada difiere según los grupos de edad, las encuestas anteriores sobre la asistencia preventiva y del desarrollo han utilizado patrones discontinuos para poder plantear distintas preguntas sobre niños de diferentes grupos de edad. Para minimizar el número de preguntas de selección y mantener en lo posible la brevedad de la encuesta desarrollamos un pequeño conjunto de puntos relevantes para los niños de cualquier edad.
Uno de los objetivos del estudio fue conocer la eficacia relativa de 3 modos de recogida de datos: por correo, por teléfono y por internet. Así, realizamos una evaluación aleatorizada de distintos protocolos de recogida de datos.
Grupos de debate
Convocamos 2 grupos de debate sobre las perspectivas de los padres sobre la asistencia preventiva y del desarrollo ofrecida a sus hijos. Un grupo constó sólo de angloparlantes y el segundo fue de padres bilingües inglés/español. Las participantes fueron en su mayoría madres; sólo 3 de los 14 participantes eran padres. Constituían un grupo con diversidad racial: 21% de etnia blanca, 21% negra y 50% latinoamericana (algunos rehusaron seleccionar una categoría de raza/etnia). Sus hijos tenían de 2 a 17 años de edad.
Cada grupo de debate contó con un análisis semiestructurado sobre los principales temas cubiertos por el instrumento CAHPS de Pediatría ambulatoria. En conjunto, ambos grupos tuvieron un conocimiento similar de los conceptos analizados: experiencias con la consecución de la asistencia sanitaria, asistencia preventiva, desarrollo cognitivo y del comportamiento, traslado a servicios cruciales de desarrollo infantil, temas familiares e interacciones con otros niños, toma de decisión compartida, conocimiento del paciente, acceso a la organización y comunicación con el médico.
Una diferencia entre los grupos fue que el grupo bilingüe estaba, en general, insatisfecho con la competencia cultural de sus pediatras. Varios padres dijeron que el conocimiento de otras culturas era escaso en Estados Unidos y que había poco respeto a los remedios caseros.
Estudio cognitivo y prueba telefónica piloto
Un borrador del instrumento fue sometido al estudio cognitivo y a una prueba telefónica piloto para identificar los puntos problemáticos para los que respondieron, tanto en su comprensión como en la respuesta, o para la administración por los entrevistadores telefónicos. Se realizaron 9 entrevistas cognitivas: 6 en inglés y 3 en español. Revelaron que varias preguntas de la encuesta no eran universalmente comprendidas, no conseguían la información pretendida, o ambas cosas. Tras la modificación para corregir estos puntos, el cuestionario resultante se sometió a una prueba piloto en una entrevista telefónica a 20 padres. Las entrevistas fueron grabadas en cinta, codificándose el comportamiento. La codificación del comportamiento es un registro sistemático de acontecimientos posiblemente problemáticos durante la entrevista, por ejemplo, solicitud de aclaraciones por quien responde o lectura errónea de los puntos de la encuesta por el entrevistador. Se realizaron revisiones adicionales para abordar los problemas identificados en la prueba piloto.
Traducción
El cuestionario final fue traducido al español mediante un enfoque modificado de comité. Como la prueba de campo incluyó a una muestra de padres principalmente angloparlantes, todos los cuestionarios en papel sólo estuvieron impresos en papel, pero se incluyó una tarjeta escrita en español para solicitar un impreso en español en todos los paquetes de cuestionario (junto con un sobre de devolución a franquear en destino y un número telefónico gratuito para solicitar una entrevista en español). Además, se ofreció la opción a todos los individuos abordados telefónicamente de realizar la entrevista en inglés o en español.
Prueba de campo
Centros
Realizamos la prueba de campo con los pacientes de médicos de la Massachusetts General Physicians Organization (MGPO), un grupo de médicos asociado con el Massachusetts General Hospital de Boston.
Muestra
La muestra marco constó de pacientes pediátricos visitados en un período de 12 meses en una de 8 consultas pediátricas (muestra de conveniencia) asociadas con la MGPO. Los sujetos elegibles fueron niños de ≤ 17 años de edad, con dirección de correo conocida y que no vivían en instituciones. De la muestra marco ofrecida por la MPGO se tomaron aleatoriamente 1.000 pacientes pediátricos. Se tomaron muestras de 100 pacientes de cada uno de 6 médicos; en 2 médicos, la muestra fue de 200 pacientes. La mitad aleatoria de los 400 casos de los 2 médicos con muestra de mayor tamaño fue asignada a una primera administración por correo o por teléfono. Estos 200 casos de primera administración por correo se combinaron con los 600 casos de los 6 médicos con muestra de menor tamaño y luego se asignaron aleatoriamente a abordaje inicial por correo con la opción de responder por internet (n = 400) o sin la opción de internet (n = 400).
Encuesta
La encuesta estudiada constó de 75 preguntas sobre las citas programadas, la comunicación con el médico de referencia, el conocimiento del profesional de la asistencia especializada, la toma de decisiones compartida, los cuidados del desarrollo, la asistencia preventiva, los identificadores de una alteración crónica y la demografía. La revisión se encuentra en el Apéndice, que se publica como información de apoyo en www.pediatrics. org/content/full/124/5/1347 y se encuentra en la página web (www.cahps.ahrq.gov/CAHPSkit/files/1353a-4_ChildPrim_ Eng_4pt_V2.pdf).
Protocolos de recogida de datos
En principio se remitió por correo un cuestionario a una parte de la muestra (n = 800); luego se llamó a quienes no respondieron y se les ofreció una entrevista telefónica. Una mitad aleatoria de esta muestra de primer abordaje por correo (n = 400) recibió información de cómo cumplimentar el cuestionario por internet en la carta de presentación que acompañaba al cuestionario por correo. Se ofreció la dirección en internet y un número singular de identificación para el acceso a la encuesta en internet, permitiendo que quienes lo prefirieran contestasen por internet. La otra mitad de la muestra abordada inicialmente por correo (n = 400) no recibió información sobre el acceso a internet. Se llamó a quienes no respondieron de ambos grupos abordados inicialmente por correo (con o sin opción de internet) para intentar realizar una entrevista telefónica. El resto de la muestra (n = 200) fue abordado en primer lugar por teléfono.
Luego se remitieron los cuestionarios por correo a quienes no se pudo realizar la entrevista telefónica.
Procedimientos de comunicación
La primera comunicación con los posibles sujetos fue una carta que explicaba el objetivo del estudio. Fue remitida por correo a cada domicilio seleccionado de 5 a 7 días antes de la comunicación telefónica o por correo. Para la fase de recogida de datos por correo se remitió el cuestionario a cada domicilio con una carta de presentación que ofrece más información sobre el proyecto de investigación. Este envío por correo también incluyó una tarjeta en español que indicaba a los hispanoparlantes que la devolviesen para solicitar un cuestionario en español o que llamasen a un número telefónico gratuito para realizar la entrevista en español. Unos 7 a 10 días después de la remisión del cuestionario se remitieron tarjetas a todos los miembros de la muestra por correo agradeciéndoles la cumplimentación del cuestionario y recordándoles que lo devolvieran si no lo habían hecho todavía. Se remitió por correo un nuevo cuestionario a todos los que no respondieron por correo ~2 semanas después del envío de la tarjeta.
Se intentó realizar la entrevista telefónica a los que no habían devuelto el cuestionario remitido por correo y a los que habían sido asignados a una comunicación telefónica inicial, mediante una entrevista telefónica informatizada. Los entrevistadores llamaron a cada caso en días distintos, incluyendo días laborables y fines de semana, en diferentes semanas y a distintas horas del día para intentar la comunicación con el domicilio seleccionado. Se realizó al menos 6 llamadas telefónicas y, en algunos casos, muchas más para comunicarse con los sujetos. Los datos se tomaron entre marzo y mayo de 2007. Los comités de Ética de la University of Massachusetts Boston (#2006.137), la Harvard Medical School (#M13118-101) y la Yale School of Medicine (#0611001990) aprobaron todos los procedimientos del estudio.
Análisis
Las tasas de respuesta se calcularon dividiendo el total de respuestas por la muestra elegible20. Los individuos fueron considerados inelegibles si residían en instituciones, habían cambiado de estado o habían fallecido.
Estimamos tanto la fiabilidad de quien respondió como la del médico en los conjuntos. La fiabilidad de los que respondieron se estimó mediante el coeficiente α de Cronbach21,22. La fiabilidad del médico indica el grado en que las respuestas ofrecidas por los pacientes tratados por el mismo médico son más similares entre sí que las respuestas ofrecidas por los pacientes tratados por distintos médicos. Cuanto mayor es la razón de variación entre o en el médico y mayor el número de personas que respondieron, más precisa es la medida de las diferencias entre los médicos12,13. Estimamos la fiabilidad entre los médicos de cada punto ajustando respecto a las variables de la casuística (edad, estado de salud y etnia del niño; edad y escolarización de quien responde). Calculamos la fiabilidad suponiendo muestras de 25, 50 y 100 para cada médico. Tuvimos en cuenta las distintas tasas de respuesta a las preguntas multiplicando el tamaño supuesto de la muestra por tasa observada de respuesta. Un patrón de la fiabilidad habitualmente utilizado es ≥ 0,722,23.
Casuística
Nuestro criterio de selección de los reguladores de la casuística es el "factor de impacto", que es proporcional al producto del poder de predicción (la potencia de la relación entre el regulador candidato y la variable resultado en el plano individual) y el factor de heterogeneidad24,25 (la cantidad de variación entre los médicos en la variable reguladora). Exigimos un factor de impacto mínimo de 1 para la inclusión de una variable.
Estudiamos los posibles reguladores mediante la regresión gradual fijando un valor de exclusión de p = 0,005. Para comprobar que no se omitieron variables importantes, comparamos el modelo frente a alternativas generadas por una regresión de todos los subgrupos. Estimamos el poder de predicción, el factor de heterogeneidad y el factor de impacto de cada variable de la casuística sobre cada índice CAHPS.
Inicialmente incluimos variables ordinales (edad, estado de salud y escolarización) en los modelos como efectos lineales. Por cada variable ordinal del modelo inicial, comparamos (mediante un test F) el modelo con el que recodificó la variable lineal como un conjunto de variables simuladas. A menos que la especificación por categorías mejore significativamente la especificación lineal, se puede utilizar esta última sin pérdida detectable de exactitud. Utilizamos la macro CAHPS26 para calcular las calificaciones medias de cada médico, ajustadas a los factores de predicción en los modelos finales. Al examinar los cambios de los valores previstos para cada médico en los modelos, determinamos qué parte de cada modelo ajusta respecto a las diferencias entre los médicos en la casuística.
Utilizamos 2 medidas de la importancia de los ajustes: la proporción entre la DE de los ajustes y las DE no ajustadas de las medias del médico y la correlación τ de Kendall entre las clasificaciones ajustadas y no ajustadas de las puntuaciones de los médicos. Las mayores proporciones de la DE reflejan un mayor impacto. El valor τ de Kendall muestra relación directa con la proporción de los pares de médicos que cambiaron de orden como consecuencia del ajuste de la casuística.
Modo de administración
Comparamos la media ajustada a la casuística de las respuestas de los padres que fueron asignados aleatoriamente a primera administración por teléfono y que respondieron por teléfono con la de los padres que fueron asignados a primera administración por correo y respondieron por correo. Esta comparación excluyó a los individuos que fueron asignados a primera administración por correo y respondieron en el seguimiento telefónico y los individuos asignados a primera administración telefónica y respondieron por correo. También comparamos las respuestas de los pacientes según el modo real que utilizaron para cumplimentar la encuesta, independientemente de la asignación original. No hubo un número suficiente de respuestas por internet (n = 9) para comparar estas respuestas.
RESULTADOS
De los 1.000 posibles sujetos, 7 no fueron elegibles. De los 993 sujetos elegibles, 51 declinaron participar, no pudimos localizar el número de teléfono de 102, 26 no hablaban inglés adecuadamente para cumplimentar la encuesta, 2 estaban demasiado enfermos para participar y no pudimos comunicarnos con 134 tras ≥ 6 intentos de llamadas, lo que ofrece una tasa global de respuesta del 68% (tabla 1). Las tasas de respuesta de las comunicaciones iniciales por correo (70%) y por teléfono (64%) fueron similares. Estas tasas son superiores a las de otras encuestas CAHPS pediátricas de seguro comercial notificadas a la National CAHPS Benchmarking Database27. Sólo 9 de los 400 sujetos a los que se ofreció la oportunidad de cumplimentar la versión de la encuesta por internet lo hicieron. Como sólo el 7% de los que respondieron (n = 49) fueron entrevistados en español, no analizamos por separado estas respuestas. La duración media de las entrevistas telefónicas fue de 12,5 min (límites: 5-23 min).
Los que respondieron (tabla 2) fueron predominantemente mujeres, más de la mitad tenían menos de 45 años de edad y más de la mitad tenía estudios de bachillerato. Cerca del 55% de los niños cuya atención fue calificada eran niños, con buena representación de cada una de las categorías de edad. Más de la mitad era de etnia blanca, el 9% de etnia negra y el 22% eran latinoamericanos. Los padres calificaron de excelente la salud de más de la mitad de los niños, pero el 24% necesitaba medicamentos, ~16% necesitaba o utilizaba servicios de salud mental y ~10% tenía otras necesidades especiales.
Los que respondieron por correo, por teléfono y por internet mostraron diferencias significativas con respecto a la edad y la escolarización (tabla 3). La inclusión del protocolo de recogida telefónica de datos aumentó el porcentaje global de varones que respondieron, y de personas que respondieron y no habían finalizado el bachillerato.
Los que respondieron y tenían menor edad o mayor grado de escolarización tuvieron más probabilidades de utilizar la opción de internet; sin embargo, el ofrecimiento de esta opción no incrementó significativamente la participación.
Los análisis de la casuística (datos no ofrecidos) indicaron que la edad, el estado de salud y la etnia de los niños, así como la edad y la escolarización de quienes respondieron, eran importantes variables de ajuste de la casuística. Los que respondieron y tenían hijos mayores y los que calificaron como buena la salud de su hijo dieron más respuestas positivas. Los individuos latinoamericanos informaron de peor atención que los de etnia blanca, y los que respondieron y tenían educación de bachillerato informaron de mejor asistencia que los demás.
Las composiciones de supervisión del desarrollo y de asistencia preventiva tuvieron una fiabilidad de los que respondieron > 0,7 (tabla 4). Aunque la fiabilidad de cada composición pudo aumentar al borrar una pregunta, mantuvimos todos los puntos estudiados por la sustancial importancia de los puntos que tuvieron un impacto negativo sobre la consistencia interna; el médico habló sobre cómo se llevaba el niño con los demás (supervisión del desarrollo) y el médico habló sobre problemas del hogar que afectan al niño (cuidado preventivo). La fiabilidad del médico de cada composición fue > 0,8.
Las fiabilidades estimadas del médico ajustadas a la casuística para las muestras de 25, 50 y 100, respectivamente, fueron 0,63, 0,77 y 0,87 para la composición del desarrollo y 0,76, 0,86 y 0,93 para la composición preventiva (datos no ofrecidos). Al comparar las respuestas ajustadas a la casuística según el modo de administración asignada para los padres, 4 de los 12 puntos fueron significativamente distintos para los protocolos, telefónico y por correo, ofreciendo quienes respondieron por teléfono más respuestas positivas en 3 de los 4 puntos. La puntuación de la composición preventiva también fue significativamente distinta (media [EE] por correo: 1,43 [0,02], por teléfono: 1,34 [0,04]; p = 0,038). Al repetir los análisis según el modo real de cumplimentación, sólo 2 de las medias del punto fueron significativamente distintas, una mayor por correo y otra mayor por teléfono, y ninguna de las puntuaciones compuestas fue significativamente distinta.
ANÁLISIS
Existen versiones validadas de la encuesta CAHPS para evaluar la asistencia pediátrica10,19, pero muchos especialistas creen que la CAHP pediátrica podría mejorar con la inclusión de preguntas sobre el desarrollo y la asistencia preventiva. En este estudio desarrollamos y probamos 2 nuevas escalas CAHPS pediátricas (composiciones) de la supervisión del desarrollo y la asistencia preventiva que cumplieron grandes normas de fiabilidad y validez. Se puede obtener evaluaciones fiables del médico con ambas composiciones y con tan sólo 50 pacientes. El CAHPS Consortium ha aprobado un nuevo instrumento CAHPS pediátricos de revisión de médico/grupo que incorpora estas composiciones como medida de la asistencia pediátrica. El nuevo instrumento, CAHPS-CG Child Primary Care, versión 2.0 Beta, está disponible para evaluar la asistencia pediátrica ambulatoria de médicos y grupos28.
Los análisis de casuística que indican la edad, el estado de salud y la etnia del niño y la edad y la escolarización de quienes respondieron fueron importantes variables de ajuste de la casuística (los que respondieron y tenían hijos mayores y niños con mejor calificación de su salud dieron más respuestas positivas; los individuos latinoamericanos informaron de peor asistencia que los de etnia blanca; los que respondieron y tenían formación de bachillerato informaron de mejor asistencia que los demás) fueron congruentes con los análisis anteriores de CAHPS pediátrica10, excepto que en los análisis anteriores la edad del niño no fue importante.
El efecto del protocolo de administración es de mayor interés práctico, porque los médicos y los administradores querrían administrar las encuestas de la forma más eficiente posible. Pese a ciertas diferencias de los patrones de respuesta según el protocolo de administración, en general fueron pequeñas e inconstantes, lo que sugiere que los datos tomados con los protocolos estudiados serían comparables. El futuro trabajo incluirá la remisión del nuevo instrumento para su aprobación por el NQF (www.qualityforum.org) y el desarrollo de versiones del plan sanitario del instrumento.
AGRADECIMIENTOS
La investigación presentada en este artículo fue financiada por una beca de la Commonwealth Fund (#20060114) y un acuerdo de colaboración con la Agency for Healthcare Research and Quality (U18 HS09 205).
Correspondencia: Paul D. Cleary, PhD, Yale School of Public Health, 60 College St, LEPH 210, PO Box 208034, New Haven, CT 06520-8034, Estados Unidos.
Correo electrónico: paul.cleary@yale.edu