La valoración del aprendizaje y de las publicaciones

Sr. Editor:

Valorar los conocimientos de un alumno no es tarea fácil, pues hay muchos factores que modifican esa apreciación, aunque existe una ventaja, el contacto personal con el estudiante. La valoración de las publicaciones es mucho más difícil, pues no toman en cuenta la calidad del artículo sino solamente el número de trabajos; no siempre el jurado calificador tiene la misma especialidad del autor, ni el tiempo necesario para leer todos sus artículos; se acepta la aprobación del artículo o la revista, y suponen tienen valor las citas recientes de los trabajos. Por estos motivos hice el siguiente artículo.

Cuando tenía que examinar a un alumno siempre me consideraba como un mal jurado. Si se les asignaban a los candidatos 10 o 15 preguntas, me parecía un examen parcial, pues no abarcaba todos los temas de una especialidad. Si se usaban los cuestionarios de opción múltiple el resultado era peor, en primer lugar porque es muy difícil hacer una buena pregunta en ese sistema, la inmensa mayoría son malas; en segundo lugar porque muchos estudiantes juegan al azar, y tercero porque da pocas oportunidades para valorar los criterios.

En una ocasión un alumno me preguntó cuándo era la fecha y cuál el temario de un examen. No lo sabía, pero le dije: «Si yo fuera el profesor titular les daría un solo tema: Oftalmología, y la fecha sería: ahora mismo». No me interesa lo que el alumno pueda aprender preparándose para un examen, de lo cual mucho va a olvidar, sino lo que sabe hoy, en este momento, que es lo que se le ha sedimentado en las neuronas.

Cuando tenía que calificar currículos me sucedía y sucede algo semejante. Es fácil valorar el número de trabajos hechos, el número de conferencias, de clases, de asistencia a cursos y congresos, etcétera, pero no se valora la calidad del artículo, porque habría que leerlo detenidamente, y si es de otra especialidad, la valoración con frecuencia sería incorrecta. Habría que oír las conferencias y las clases para saber si están bien preparadas y si tienen algún valor, o dar por sentado que todas lo tienen para no meterse uno en dificultades. A la asistencia a cursos y congresos les concedo poco valor, pues con frecuencia el asistente se sale a tomar un café y platicar con sus compañeros, o está presente pero dormitando o se inscribe para tener un documento que le dé puntos para su currículo, pero no asiste.

Estas mismas críticas me las haría si fuera investigador, y peor aún, investigador de un instituto o de un sistema. Se me hace muy difícil poder realizar un trabajo original cada año, cada 12 meses. Puedo tener 2 o 3 ideas (medio originales o poco originales) en 3 meses y luego pasar 5 años sin tenerlas. Eso me parece lógico. Además, planear trabajos con límite de un año únicamente no es muy científico. Es cierto que algunos investigadores pueden estar haciendo otro trabajo de varios años, que puede tener valor, pero los condicionados a determinado tiempo, en general, no pueden tener más valía que la otorgada por la recompensa del instituto, del estado o del sistema. Pero aun hay más, para que el artículo sea tomado en cuenta debe estar escrito en inglés, es una lástima que a veces consideren al francés, al alemán o al ruso, pues el español queda desechado. Y por último, debe ser publicado fuera de Hispanoamérica. Ignoro si tienen en cuenta los publicados en España, Portugal, Italia y Rumania.

Por estos motivos, este tema de la valoración o evaluación de estudiantes, de artículos científicos y trabajos de investigadores siempre me ha interesado y he hallado en algunas revistas artículos sobre sus desventajas y a veces algunas propuestas para mejorarlas. Pensando que podría estar completamente equivocado, he recurrido a esos autores para apoyar algunos puntos. He anotado los párrafos que me han parecido interesantes, y que enumero a continuación:

• 1.

  Casi siempre se mide la cantidad de información científica que el alumno retiene en su memoria, lo cual no basta, pues hay que ver el nivel de pensamiento crítico desarrollado y la profundidad del entendimiento de los conceptos. La evaluación en el salón de clases habitualmente da mejores resultados que en los exámenes¹.

• 2.

  Se valoró la aptitud clínica en 79 médicos internos de pregrado de 5 hospitales durante un año. Las medias globales más altas correspondieron a estudiantes de hospitales de medicina interna y medicina familiar. El decremento fue significativo en los otros 3 hospitales. La aptitud clínica fue clasificada en muy refinada, refinada, intermedia, superficial y muy superficial. De los 79 médicos, entre 11 alumnos que estaban en nivel intermedio, 6 siguieron igual, 2 subieron a refinado y 3 descendieron; los restantes 68 que estaban en nivel superficial permanecieron así hasta el final del año².

• 3.

  En la evaluación de aptitudes clínicas de residentes de urgencias médico-quirúrgicas, de diferentes grados y de diferentes sedes del Distrito Federal, se incluyeron 141 residentes de los 3 grados de la especialidad y de 6 sedes diferentes. Los grados alcanzados por los alumnos fueron los siguientes: un 1% explicable por azar, un 16% muy baja, un 61% baja, un 21% intermedia, un 1% alta y un 0% muy alta.Concluyeron que los procesos educativos no parecen promover en dichas sedes que los residentes generen su propio criterio ni profundicen en los problemas diarios³.

• 4.

  Se estudió la aptitud clínica en 409 médicos de 3 categorías (médico general con funciones de médico familiar, médico especialista y función de médico familiar y coordinador clínico de primer nivel), con antigüedades de uno a 29 años. Se utilizaron 412 preguntas sobre 12 casos clínicos reales. Concluyeron que la experiencia no parece influir en el desarrollo de la aptitud clínica. En la escala de aptitud clínica se hallaron: un 0.6% por azar, un 15.6% muy incipiente, un 70% incipiente, un 13.8% intermedia. Ninguno alcanzó los grados avanzado o muy avanzado⁴.

• 5.

  Se valoró el desarrollo a través del tiempo de la aptitud clínica de residentes de medicina familiar, comparando el inicio del primer año con la terminación del tercero. Concluyen que el avance aproximado del 10% de aptitud clínica desarrollado en el tercer año es insuficiente desde la perspectiva de la clínica y de la educación⁵.

• 6.

  Una de las desventajas (más bien errores) de una evaluación es el sistema de evaluación numérica, es decir «evaluar sin leer», sobre la base del número de trabajos y citas.El sistema numérico induce una visible superficialidad del esfuerzo científico. Los proyectos en los cuales el tiempo y los resultados de una investigación no se pueden prever son relegados y se prefiere hacer trabajos con resultados previsibles que puedan ser presentados dentro de un calendario de actividades.La seriedad de los grados académicos se está perdiendo. Los procesos de doctorado están bastante atrasados como resultado de la presión, la prisa y la práctica de aceptar a toda costa aun a candidatos muy mal preparados, pues los cortos programas de maestría no bastan para compensarlo.Además el afán de exigir informes burocráticos, que con frecuencia se piden de nuevo (pues se traspapelaron o se tiraron), abruma al investigador. No olvidar que el burócrata no suele hacer el trabajo burocrático, lo cede a sus víctimas⁶.

• 7.

  En este artículo muy interesante están enlistados 34 autores mexicanos con un total de 2,108 publicaciones, desgraciadamente todas publicadas en 33 revistas extranjeras y en inglés, ni una sola mexicana⁷.

• 8.

  El Sistema Nacional de Investigadores ha estimulado y premiado el publicar, publicar, publicar. Olvidan a los colegas que aportan fondos de investigación y a los formadores de alumnos. Espero que este documento sirva para modificar o ampliar el reconocimiento a los colegas involucrados tanto en proyectos modestos o no espectaculares, como en el desarrollo de actividades de educación....Es una lástima que los conocimientos de dichos investigadores se estén divulgando en idioma extranjero, por lo tanto, menos accesibles a la comunidad mexicana⁸.

• 9.

  Muchos sabemos que la perversa práctica del dualismo «me citas-te cito», si bien no muy extendida, es anterior al cómico y lucrativo invento de los citation indexes –del Sistema Nacional de Investigadores (SIN), por lo tanto– y todo hace sospechar que se debe haber disparado actualmente⁹.

• 10.

  Papers published are cited in support of proposal grants from the National Sciences Foundation. Publish or perish. This condition was led to publishing trivial fractions of projects as separate papers and to repetitions publishing.I have known outstanding teachers who inspired many students to become leaders in research but whose own personal research was no very significant. Good teachers who are also doing good but inexpensive research are no rewarded, because they don’t receive more outstanding money¹⁰.

• 11.

  Aceptamos que se mida la importancia de una contribución por el número de citas que recibe, pero ¿durante cuánto tiempo debe analizarse el impacto de un trabajo concreto?, pues la vigencia es variable en las distintas disciplinas. Por ejemplo, una hipótesis sobre ecología provocará un aluvión de trabajos tratando de confirmar o sobrepasar el alcance de sus predicciones, lo que asegura al autor un buen número de citas...., pero después no volverá a ser citado por ella.Por el contrario, un especialista en coleópteros que trabajó durante años para conocer los animales de una región y publica una rigurosa obra sobre ellos, no despertarás interés más que en un reducido grupo de entomólogos...., pero después de 50 o incluso 100 años, su contribución seguirá teniendo vigencia, utilizada y citada por muchos más colegas que en el caso precedente. El Science Citation Index otorgaría al entomólogo un valor cero y al ecólogo un elevado índice, porque piensan que la validez de un artículo, salvo excepciones, no supera los 10 años¹¹.

• 12.

  Nuestros ministros y corporaciones docentes se han olvidado de 2 cosas importantes: que no basta declararse investigador para serlo, y que los descubrimientos los hacen los hombres y no los aparatos científicos y las copiosas bibliotecas¹².

En varios de los artículos anteriores los autores tratan de encontrar un remedio a las anomalías halladas, a veces lo esbozan o lo proponen con cierta timidez y otras las consideran de difícil aplicación. Por supuesto a mí también me gustaría buscar y encontrar una solución, o por lo menos una media solución.

Recuerdo muy bien cuando ingresé en un grupo de alpinistas en donde al final de ese año hubo elecciones de nueva mesa directiva. Me asombró que yo tenía solo un voto, uno de mis compañeros tenía 2, pues había realizado más de 25 excursiones, y otro más viejo (de unos 25 años de edad) tenía 3, pues había sido miembro de la mesa directiva. Tomaban en cuenta la antigüedad y la experiencia. Pensé, ojalá eso se hiciera en mi país, la votación sería más justa, se tendría más en cuenta a un hombre bien preparado que a un analfabeto, a un viejo con experiencia que a un joven atolondrado, pero reflexionando llegué a la conclusión de que eso era muy difícil de realizar; cómo elegir a las personas que otorgarían esas categorías, quienes fácilmente podrían caer en favoritismos, en componendas y en políticas fáciles de manipular, y acabé aceptando que la votación nominal, aunque no era la mejor, era la que debía continuar.

Algo parecido me pasa con los exámenes, la calificación de antecedentes, de currículos, de investigadores, para lo que a pesar de las grandes fallas y errores creo que conviene seguir con las valoraciones numéricas. Pero no números a secas, sino con criterio, pues en los antecedentes se puede uno dar cuenta cuando el candidato solo quiere hace currículo, en los currículos se puede apreciar cuando los quieren inflar, en los investigadores cuando fabrican trabajos parciales sobre un solo tema para sacar artículos cada 12 meses, con todos los requisitos que piden las «altas autoridades en la materia» con temas mediocres, etc. En grupos pequeños es más fácil eliminar los exámenes, pues el profesor puede estar atento y valorar conocimientos y criterios durante todo el curso, a diferencia de alumnado masivo donde esto se vuelve más complejo.

En la calificación de artículos publicados y libros es también muy difícil leer todos los trabajos para conocer bien su contenido y su proyección y así poder hacer una evaluación justa, lo cual no es nada fácil, pues, por ejemplo, en una promoción de unos 7 candidatos, con un promedio de 30 artículos cada uno, el calificador no podría leer 210 trabajos, que tendrían que ser de su especialidad. Pero sí se puede formar una idea, aun fuera de dicha especialidad, viendo sus objetivos, el número de casos estudiados y las conclusiones o por lo menos leyendo y valorando el sumario, para formarse una idea sobre la bondad del artículo, el cual no debe calificarse únicamente por puntos fijos.

En cambio, sí creo que se pueden y deben eliminar algunos defectos, como son los exámenes de opción múltiple, que no toman en cuenta los criterios; los citation indexes y las revistas de excelencia, que son compiladas por compañías comerciales; la obligación de un trabajo original cada 12 meses, que favorece los artículos mediocres; los informes burocráticos que abruman al investigador, y los trabajos por encargo que favorecen la mediocridad.

Además, como señalan Luis Capurro y Charles Uhl, hay otras personas que deberían ser premiadas y estimuladas, como son los investigadores dedicados a la formación de nuevos investigadores.

Está apareciendo un gran defecto, la investigación tiende a comercializarse, institutos y laboratorios buscan a investigadores con cierto renombre para apoyar sus productos, lo que redunda en ganancias para el investigador, aunque el contenido del trabajo sea mediocre.

En relación con la valoración del aprendizaje de los estudiantes, esta deberá ser continua, en todas las especialidades, durante la práctica diaria, en las discusiones, en la presentación periódica de temas específicos dados por el alumno (en los médicos en la clínica y la cirugía, en los exámenes de materias básicas y luego de patologías), y al final hacer un examen, no de memorización ni de conocimientos sino fundamentalmente de criterios. Si el alumno logra tener opiniones propias, criterios bien establecidos, si es capaz de discutir y aun enfrentarse a sus profesores, ese será un buen profesionista en cualquier rama de la ciencia.