Capacidad de discriminación de un instrumento de evaluación cognitiva en alumnos de un programa de residencia médica en lima, perú

Introducci¢n

En los programas formales de residencia médica, una de las preocupaciones más relevantes es la evaluación de los aprendizajes y competencias. Los estudiantes constituyen la fuente de información básica para evaluar la calidad, pertinencia y equidad de su propia formación, por lo que es necesario elaborar instrumentos de evaluación con la capacidad de discriminar a aquellos estudiantes con logros aceptables en la esfera cognoscitiva e identificar a aquellos en quienes se debe intervenir con mayor cuidado. Un instrumento de evaluación muy usado es el cuestionario estructurado objetivo, siendo el de alternativas verdaderas o falsas usado con ciertas observaciones a su validez y confiabilidad por la alta probabilidad de usar el azar en las respuestas.

Objetivo

Describir los resultados de la aplicación de un cuestionario verdadero o falso sobre conocimientos básicos de nefrología a un grupo de residentes de medicina de distintas especialidades luego de su rotación por un servicio docente de nefrología y evaluar su capacidad de discriminación de lo cierto de lo falso.

Material y métodos

Se evaluaron 69 residentes del programa de segunda especialización en medicina, quienes realizaron una pasantía por el Servicio de Nefrología; al final de la rotación, respondieron un cuestionario elaborado por un grupo de profesores sobre nefrología básica, con 70 preguntas, de las cuales 35 eran verdaderas y 35 falsas. A cada evaluado se le calculó su sensibilidad, especificidad, valor predictivo positivo y negativo respecto al patrón de oro. Para calcular la “asertividad” o la probabilidad de respuestas por azar, se utilizó el estadístico kappa considerando un valor p < 0.05 como significativo.

Resultados

El coeficiente de confiabilidad alfa de Cronbach fue de 0.7962 lo que da validez al instrumento. La sensibilidad, especificidad, Valor predictivo positivo y Negativo y el coeficiente kappa fueron respectivamente: 0.69 ± 0.13 DE; 0.64 ± 0.16 DE; 0.71 ± 0.15 DE; 0.68 ± 0.17 DE, 0.34 ± 0.31 DE. La correspondencia de los distintos niveles de sensibilidad con la concordancia medida por el estadístico kappa muestra que la mejor capacidad de discriminación se da en aquellos estudiantes con baja sensibilidad y baja especificidad (88.24 y 95.24%, respectivamente); así mismo, existe una buena correlación directa lineal y estadísticamente significativa entre la sensibilidad, especificidad y el estadístico kappa (0.74 y 0.78, respectivamente, con p < 0.01).

Discusión y conclusiones

Una de las observaciones más frecuentes en relación con los cuestionarios cuyas respuestas están limitadas a dos alternativas verdaderas o falsas, es la mayor probabilidad de responder acertadamente por el azar. El poder discriminatorio puede ser determinado desde varios puntos de vista, nosotros planteamos un análisis estructurado de la capacidad predictiva y discriminativa del test basándonos en características como la sensibilidad, la especificidad y su relación con el coeficiente de correspondencia kappa. Concluimos que si se desarrolla un test objetivo de alternativas verdaderas y falsas bien estructurado y validado en relación con un área del conocimiento específico, el análisis propuesto a través de la sensibilidad, especificidad y coeficiente de correspondencia kappa puede discriminar entre aquellos estudiantes con conocimientos sólidos de aquellos cuyas decisiones son hechas por azar.