Saber si los programas de educación médica reconocidos por su calidad tienen mejores resultados en el Examen Nacional de Aspirantes a Residencias Médicas.
Material y métodosSe analizan los resultados del Consejo Mexicano para la Acreditación de la Educación Médica (programas acreditados, programas no acreditados y programas sin acreditación) y los de los Comités Interinstitucionales para la Evaluación de la Educación Superior (programas con y sin nivel 1) según el Examen Nacional de Aspirantes a Residencias Médicas (2016).
ResultadosTanto en el número de programas con promedio general aprobatorio, como en la probabilidad de ser seleccionado y en el promedio general del examen, los programas con reconocimiento tienen mejores resultados. Sin embargo, en el 37% de los programas hay contraposición entre reconocimiento y resultados.
ConclusionesEn general, los programas con reconocimiento tienen mejores resultados. Hay que justipreciar la importancia de estos para el otorgamiento de los reconocimientos a la calidad.
To determine whether the medical education programs recognised for their quality achieve better results in the National Medical Residency Examination.
Material and methodsAn analysis was performed on the results from the Mexican Council for Accrediting Medical Education (accredited programs, non-accredited programs and programs with no accreditation), as well as from the Inter-institutional Committee on Evaluating Higher Education (Level 1 or No Level 1 Programs) according to the National Medical Residency Examination for Candidates (2016).
ResultsRecognised programs achieve better results as regards the possibility to be admitted, as well as the mean scores. However, there is an evident difference between the results and the recognition in 37% of the programs.
ConclusionsIn general, the recognised programs get better results. Thus, their importance has to be appraised in order to recognise quality.
La misión social de los programas de educación médica es formar médicos que garanticen una atención médica calificada. El reconocimiento a la calidad educativa que ofrecen los organismos facultados para ello debe ser, entre otras cosas, una garantía de que cumplen con su misión1-3.
Para la salud pública, los procesos de acreditación de la calidad de los programas de formación de médicos tienen importancia en cuanto al impulso que pueden dar a la formación de mejores médicos y, consecuentemente, al mejoramiento continuo de los servicios de salud, de la atención médica que ofrecen y de la seguridad de los pacientes a los que asisten. Ni para la salud pública ni para la educación tiene sentido una acreditación de la educación médica ajena a los resultados de la misma, ¿hasta dónde se puede hablar de programas educativos de calidad sin que estos tengan buenos resultados en cuanto al logro de profesionistas competentes?
Lo anterior no significa olvidar que uno de los objetivos fundamentales de la acreditación sea el mejoramiento general de los propios programas educativos; apunta a que este objetivo pierde sentido si la mejoría constante de la calidad de un programa de educación médica no se refleja en la formación de mejores médicos4,5. Además, para la sociedad en general, y para los servicios de salud en particular, resalta por su importancia la información que la acreditación puede ofrecer sobre los resultados educativos, ya que la toma de decisiones se realiza, de manera fundamental, a partir de estos.
Si la evaluación para la acreditación de programas de educación médica no tiene como eje los resultados educativos, su valoración se diluye entre la de decenas más de indicadores. En estas condiciones, los resultados de la acreditación pueden ser contradictorios y darse el caso de que haya programas acreditados con malos resultados o programas no acreditados con egresados competentes. De manera natural, estas situaciones generan pérdida de validez y credibilidad en los procesos de acreditación e invalida los resultados de esta para la toma de decisiones en las que es necesario conocer la calidad de los profesionistas formados.
Precisamente, para evitar estas inconsistencias, el Consejo para la Acreditación de la Educación Superior en México (COPAES)6 considera deseable que en la acreditación de programas educativos se valoren, como un referente más de sus resultados, los exámenes estandarizados, como podría ser, para los egresados de la carrera de medicina, el Examen Nacional de Aspirantes a Residencias Médicas (ENARM).
El ENARM se aplica anualmente con el objetivo de seleccionar a los médicos generales que deseen realizar una especialidad en alguna de las plazas disponibles en el Sistema Nacional de Salud del país; está regulado por la Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud (CIFRHS), quien lo integra con preguntas elaboradas por profesores de diversas facultades de Medicina en el país; es el mismo para todos los médicos aspirantes y para todas las especialidades médicas de entrada directa. Para 2016, el examen tuvo un total de 450 preguntas: 405 en español y 45 en inglés; se construyeron a partir de los contenidos del plan de estudios de la licenciatura en Medicina y de las principales causas de solicitud de consulta en el primer nivel de atención; están estructuradas en resúmenes de casos clínicos que exploran la capacidad de utilizar los conocimientos de la medicina.
En 2016, el ENARM se aplicó en 13 sedes distribuidas en 8 entidades federativas del país. El 80% de los sustentantes, entre 2006 y 20012, tuvo una edad entre 24 y 29 años, el 50% fueron mujeres y el 76% eran solteros7. Los resultados en el ENARM han sido utilizados como indicadores de calidad de los programas educativos y como referentes para evaluar cambios en los planes de estudio de las facultades de Medicina8-10.
La instancia autorizada por el COPAES para acreditar programas de formación de médicos es el Consejo Mexicano para la Acreditación de la Educación Médica, A. C. (COMAEM)11. También los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES)12 realizan evaluación de programas educativos y otorgan 2 niveles de reconocimiento a la calidad de los mismos: nivel 1 y nivel 2. Los estudiantes de los programas educativos con el nivel 1 de los CIEES cuentan oficialmente como matrícula inscrita en programas de buena calidad.
El objetivo del presente trabajo es conocer si los egresados de programas de educación médica en México reconocidos por su calidad, por COMAEM o CIEES, tienen mejores resultados en el ENARM que los egresados de programas con evaluación negativa o sin evaluación.
Material y métodosEstudio analítico, transversal y observacional. Se utilizaron fuentes públicas de información. Del ENARM 201613 se obtuvieron: 1) relación de programas educativos con sustentantes en el examen; 2) número de programas con promedio general aprobatorio (de 60 o más puntos, en una escala de cero a 100); 3) número de sustentantes y seleccionados de cada programa, y 4) promedio general de los egresados del programa en el examen.
Para identificar el reconocimiento a la calidad que tienen los programas con sustentantes en el ENARM, se consultó la información que COMAEM14 y CIEES15 hacen pública con los reconocimientos que otorgan. Con la información de COMAEM se integraron 3 grupos de programas educativos: 1) programas acreditados (PA), que son lo que fueron evaluados y obtuvieron la acreditación; 2) programas no acreditados (PNA), que son los que fueron evaluados y no lograron la acreditación, y 3) programas sin acreditación (PSA), que son los que no tienen acreditación por diversas causas (p. ej., tienen acreditación vencida o no la han solicitado).
Para el caso de los CIEES se integran 2 grupos: 1) programas con nivel 1 (PN1), y 2) programas sin nivel 1 (PS1), que son todos los que no aparecen en la relación de programas de educación médica del primer grupo y sí en la relación de resultados del ENARM 2016.
Con la información obtenida se calculan: a) la diferencia en el número de programas (chi al cuadrado) con promedio general aprobatorio en los diferentes grupos del COMAEM y los CIEES; b) la diferencia en el número de seleccionados (chi al cuadrado); c) la probabilidad de tener egresados seleccionado (RM), y d) la diferencia entre los promedios generales obtenidos (U de Mann-Whitney).
Dada la naturaleza de este trabajo no se requirió de consentimiento informado ni de la autorización del comité de ética correspondiente.
ResultadosEl número total de programas de educación médica con sustentantes en el ENARM, del 2016, fue de 112. De estos, se eliminaron 4 (por no estar en la relación de COMAEM ni en la de CIEES o por no tener sustentantes). Con lo que el total de programas considerados en este trabajo fue de 108 (tabla 1).
Número de programas de educación médica según reconocimiento del Consejo Mexicano para la Acreditación de la Educación Médica (COMAEM) y de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES). México, 2016
| COMAEM | CIEES nivel 1 | CIEES sin nivel 1 | Total |
|---|---|---|---|
| Acreditados | 6 | 59 | 65 |
| No acreditados | 2 | 6 | 8 |
| Sin acreditación | 3 | 32 | 35 |
| Total | 11 | 97 | 108 |
De los grupos del COMAEM, el 64,6% de los PA, el 25% de los PNA y el 51,4% de los PSA tuvieron un promedio general aprobatorio en el ENARM. El porcentaje para los grupos de los CIEES es del 81,2% para los PN1 y del 54,6% para los PS1 (tabla 2). La diferencia en cuanto al número de programas con promedio aprobatorio o reprobatorio no es estadísticamente significativa entre los grupos del COMAEM, ni entre los de los CIEES (tabla 3).
Resultados generales de los programas de educación médica en el Examen Nacional de Aspirantes a Residencias Médicas (ENARM), según organismo que reconoce la calidad académica, conjunto de programas y variable estudiada. México, 2016
| Organismo que reconoce la calidad educativa | Conjunto de programas según tipo de reconocimiento (n) | Resultados en el ENARM-2016 | ||
|---|---|---|---|---|
| Número de programas con promedio general mayor a 59/100 | Número de sustentantes (seleccionados) | Mediana (P50) de los promedios del grupo (P25-P75) | ||
| COMAEM | Acreditados (65) | 42 | 28.800 (6.584) | 61,62 (59,16-64,18) |
| No acreditados (8) | 2 | 1.247 (266) | 57,04 (55,11-64,30) | |
| Sin acreditación (35) | 18 | 4.078 (827) | 60,06 (57,33-62,82) | |
| CIEES | Con nivel 1 (11) | 9 | 5.693 (1.465) | 64,23 (61,24-65,73) |
| Sin nivel 1 (97) | 53 | 28.432 (6.212) | 60,57 (57,88-62,65) | |
CIEES: Comités Interinstitucionales para la Evaluación de la Educación Superior; COMAEM: Consejo Mexicano para la Acreditación de la Educación Médica.
Comparación estadística de los resultados en el Examen Nacional de Aspirantes a Residencias Médicas según programas educativos confrontados y variables estudiadas. México, 2016
| Programas de educación médica comparados | Diferencia en el número de programas aprobados, chi al cuadradoa (p) | Diferencia en el número de seleccionados, chi al cuadrado (p) | Probabilidad de ser seleccionado, RM (IC del 95%) | Diferencias en el promedio general, U de Mann Whitney (p) |
|---|---|---|---|---|
| Acreditados-no acreditados | 3.16 (0.07) | 1.59 (0.10) | 1.093 (0.95, 1.25) | 166 (0.10) |
| Acreditados-sin acreditación | 1.14 (0.28) | 13.64 (0.00)b | 1.17 (1.07, 1.26)b | 925 (0.13) |
| No acreditados-sin acreditación | 0.92 (0.33) | 0.65 (0.21) | 1.01 (0.91, 1.25) | 101 (0.24) |
| Con nivel 1-sin nivel | 1.99 (0.15) | 41.05 (0.00)b | 1.24 (1.16, 1.32)b | 298 (0.02)b |
a Chi al cuadrado con corrección de Yates.
De los grupos del COMAEM, el que logra una proporción mayor de seleccionados es el de PA (22,8%) seguido de los PNA (21,3%) y de los PSA (20,2%). Según los conjuntos de los CIEES, los PN1 tienen un porcentaje mayor de seleccionados que los PS1 (25,7% vs. 21,8%) (tabla 2). Las diferencias estadísticamente significativas son entre PA y PSA (p<0,00) y entre PN1 y PS1 (p<0,00) (tabla 3).
En la tabla 3 se observa que la probabilidad de ser seleccionado en el ENARM es mayor para los egresados de los PA que para los egresados de PNA (p=0,20) o PSA (p<0,00). De igual manera, los PN1 tienen mayores posibilidades de tener egresados seleccionados en el ENARM (p<0,00) que los PS1.
De acuerdo con el promedio general de los programas en el ENARM, los PA y los PN1 superan, en el primer caso, a los PNA (p>0,05) y a los PSA (p>0,05) y, en el segundo, a los PS1 (p<0,05) (tablas 2 y 3).
DiscusiónEn México hay, según el COMAEM, aproximadamente 142 programas de educación médica14, de los cuales 75 (52,8%) han sido evaluados por el propio COMAEM y, de estos, 65 (45,7%) han sido acreditados; los CIEES han otorgado el nivel 1 a 11 (7,7%) de estos programas. No se tiene el número total de programas de educación médica evaluados por los CIEES, dado que no informa sobre programas evaluados que no hayan logrado el reconocimiento o de programas con reconocimiento vencido.
En general, de los 142 programas 32 (22,5%) no tienen evaluación reportada ni de CIEES ni de COMAEM. Entre otros motivos, además de los mencionados en el párrafo anterior, es que sean programas de nueva creación y que aún no tengan egresados. Sin embargo, hay que considerar que 24 de 50 programas reportados como de nueva creación por COMAEM tuvieron egresados que presentaron el ENARM en 2016.
Hay 8 programas (5,6%) que tienen evaluación de COMAEM y CIEES. En 6 de estos programas hay coincidencia en el reconocimiento otorgado y en 2 de ellos hay discrepancia, en el sentido de que no fueron acreditados por COMAEM pero tienen nivel 1 de CIEES. Estos 2 programas tienen un promedio general y un porcentaje de egresados seleccionados en el ENARM superior al de los PA.
En general, si se considera que son 108 programas de formación de médicos que ya tienen egresados, de los cuales 67 (62%) tienen reconocimiento, el porcentaje de programas de educación médica con acreditación todavía está por debajo de 70%, que era la meta establecida para 2015, según las Metas regionales para los recursos humanos para la salud 2007-201516.
Los resultados de este trabajo coinciden, en lo general, con los reportados en otras publicaciones que comparan los resultados de egresados de programas de educación médica acreditados con programas no acreditados por COMAEM u otras agencias acreditadoras17-19. En las evaluaciones de los resultados obtenidos en el ENARM por programas de educación médica con y sin reconocimiento de calidad siempre obtienen mejores resultados los primeros, esto es, los que tienen la acreditación del COMAEM o el nivel 1 de los CIEES.
El grupo de COMAEM con mejores resultados siempre es el de PA. Las diferencias estadísticamente significativas se dan entre PA y PSA. No hay diferencias significativas con los PNA. Lo que puede ser explicado porque el grupo de PNA es, de acuerdo con su rango intercuartílico, el más heterogéneo de los 5 grupos estudiados.
Como ya se observó al inicio de esta discusión, en este grupo hay 2 programas que sobresalen por sus buenos resultados en el ENARM, por haber sido evaluados y no ser acreditados. Por otra parte, hay 23 programas de educación médica acreditados cuyos egresados tienen un promedio general reprobatorio en el ENARM. Esto es, 25 (34%) de los 73 programas evaluados por COMAEM tienen resultados contradictorios entre el reconocimiento y el promedio en el ENARM.
En la evaluación de resultados según los grupos de los CIEES, el grupo de PN1 siempre supera al grupo de PS1. De hecho, las diferencias entre estos 2 grupos son las más marcadas, ya que se observan tanto en el número de seleccionados como en la posibilidad de ser seleccionado y en la mediana del promedio. El grupo de PN1 es el que tiene el menor rango intercuartílico y, por lo tanto, es el más homogéneo de los grupos estudiados. Se observa que 2 de los 11 programas de educación médica (18,1%) con nivel 1 tienen un promedio general reprobatorio en el ENARM.
Además del consenso de expertos, las definiciones conceptuales son fundamentales para respaldar la construcción y operación de los instrumentos y procedimientos utilizados para evaluar la calidad de los programas de formación de médicos. El COMAEM tiene un instrumento de evaluación para acreditar programas educativos que consta de 7 apartados, 60 estándares y 179 indicadores11. Los CIEES tienen un marco de referencia general para la evaluación de programas de educación superior que está organizado en 4 ejes, 12 categorías y 68 indicadores12. De acuerdo con lo anterior, tanto el COMAEM como los CIEES tienen una definición operacional (instrumento) de lo que es un programa de educación superior y de lo que es la calidad de un programa de educación médica. Sin embargo, ninguno de los 2 parte de una definición conceptual de la misma. Esto es, en ningún momento explicitan o definen lo que es su objeto de evaluación: el programa de formación médica. En este sentido, se evalúa de manera puntual y aislada cada uno de los indicadores establecidos por consenso de expertos, entre ellos los indicadores para los resultados del programa de educación médica. Por otra parte, todos los aspectos evaluados tienen la misma importancia o ponderación. Lo anterior puede ser la explicación de contradicciones como las observadas en este trabajo.
De manera cierta, la acreditación de la calidad de los programas educativos en México es ya parte plenamente incorporada y aceptada de la vida de las instituciones de educación superior. Ya se tiene la suficiente experiencia e información para empezar a investigar los procedimientos, instrumentos y resultados que se tienen en el país al respecto, a fin de que los procesos de reconocimiento a la calidad sean, a su vez, sujetos de un mejoramiento permanente20-22.
La falta de evidencias respecto a la validez, la confiabilidad y el mejoramiento permanente de los procesos de acreditación ha llevado a la acreditación internacional de los organismos acreditadores nacionales23 y establecer mecanismos adicionales para identificar la buena educación médica, como los programas de reconocimiento a la excelencia24.
Más allá del reconocimiento internacional, lo que ha de respaldar la acreditación es, por un lado, la investigación sobre su propio quehacer y, por otro, contar con medidas de validación externa, como podrían ser las evaluaciones nacionales o interinstitucionales de los recién egresados y la certificación profesional. En la evaluación de los programas de educación médica es fundamental identificar las variables que tienen un impacto positivo mayor sobre los resultados para que, con dicha evidencia, los procesos de acreditación vayan redefiniendo sus indicadores.
Una limitante de este trabajo es que el ENARM no tiene carácter obligatorio para todos los egresados y por ello no es un referente ideal para evaluar resultados. Hay muchas variables que intervienen y determinan si un egresado presenta o no el ENARM. Adicionalmente, los egresados de un programa que presentan este examen no corresponden todos a una misma generación. Puede haber sustentantes de un programa que egresaron antes o después de que estuviese acreditado. En este sentido, no se sabe en qué medida los egresados que lo presentan constituyen una muestra representativa de los resultados actuales del programa educativo. Por otro lado, hay que considerar que el ENARM no realiza una evaluación integral de los médicos egresados, se limita a aspectos cognoscitivos.
También hay que considerar que la probabilidad de ser seleccionado en el ENARM para realizar una especialidad médica depende tanto de la formación del médico sustentante y del nivel académico del programa de educación médica del que egresa como del número de plazas ofertadas por las instituciones de salud en cada especialidad. De hecho, hay una correlación importante (r=0,862) entre número de aspirantes seleccionados de un programa educativo y el promedio general obtenido por los mismos; sin embargo, hay programas que superan a otros en el número de seleccionados pero no en el promedio general. En este sentido, de los resultados de este trabajo, el promedio de los sustentantes egresados de un programa de educación médica son más representativos del nivel académico alcanzado por el programa que la proporción de egresados seleccionados.
ConclusionesLos programas de educación médica con reconocimiento a la calidad académica por el COMAEM o por los CIEES tienen, en general, mejores resultados en el ENARM, que los que no tienen dicho reconocimiento. Sin embargo, el 37% de los programas revisados tienen resultados contradictorios entre el reconocimiento que tienen y el promedio general de sus egresados en el ENARM. Lo anterior obliga a reconsiderar la importancia de los resultados de la educación médica para la evaluación y para el otorgamiento de los reconocimientos a la calidad de la educación médica en México.
Conflicto de interesesLos autores declaramos no tener conflicto de intereses en la publicación de este artículo.
Al Sistema Nacional de Acreditación de la Educación Superior (SINAES) y a la Universidad de Ciencias Médicas, ambas de Costa Rica, por su invitación a participar en el conversatorio «Impacto de la acreditación en el mejoramiento de las carreras de Medicina: la experiencia de México», en el que se presentaron los resultados preliminares de este trabajo.
