ChatGPT es un estudiante por encima de la media en la Facultad de Medicina de la Universidad de Zaragoza y un colaborador excelente en la elaboración de material docente

Resumen

Introducción y objetivo

La inteligencia artificial se halla plenamente presente en nuestras vidas. En educación las posibilidades de su uso son infinitas, tanto para alumnos como para docentes.

Material y métodos

Se ha explorado la capacidad de ChatGPT a la hora de resolver preguntas tipo test a partir del examen de la asignatura Procedimientos Diagnósticos y Terapéuticos Anatomopatológicos de la primera convocatoria del curso 2022-2023. Además de comparar su resultado con el del resto de alumnos presentados, se han evaluado las posibles causas de las respuestas incorrectas. Finalmente, se ha evaluado su capacidad para realizar preguntas de test nuevas a partir de instrucciones específicas.

Resultados

ChatGPT ha acertado 47 de las 68 preguntas planteadas, obteniendo una nota superior a la de la media y mediana del curso. La mayor parte de preguntas falladas presentan enunciados negativos, utilizando las palabras «no», «falsa» o «incorrecta» en su enunciado. Tras interactuar con él, el programa es capaz de darse cuenta de su error y cambiar su respuesta inicial por la correcta. Finalmente, ChatGPT sabe elaborar nuevas preguntas a partir de un supuesto teórico o bien de una simulación clínica determinada.

Conclusiones

Como docentes estamos obligados a explorar las utilidades de la inteligencia artificial, e intentar usarla en nuestro beneficio. La realización de tareas que suponen un consumo de tipo importante, como puede ser la elaboración de preguntas tipo test para evaluación de contenidos, es un buen ejemplo.

Abstract

Introduction and objective

Artificial intelligence is fully present in our lives. In education, the possibilities of its use are endless, both for students and teachers.

Material and methods

The capacity of ChatGPT has been explored when solving multiple choice questions based on the exam of the subject «Anatomopathological Diagnostic and Therapeutic Procedures» of the first call of the 2022-23 academic year. In addition, to comparing their results with those of the rest of the students presented the probable causes of incorrect answers have been evaluated. Finally, its ability to formulate new test questions based on specific instructions has been evaluated.

Results

ChatGPT correctly answered 47 out of 68 questions, achieving a grade higher than the course average and median. Most failed questions present negative statements, using the words «no», «false» or «incorrect» in their statement. After interacting with it, the program can realize its mistake and change its initial response to the correct answer. Finally, ChatGPT can develop new questions based on a theoretical assumption or a specific clinical simulation.

Conclusions

As teachers we are obliged to explore the uses of artificial intelligence and try to use it to our benefit. Carrying out tasks that involve significant consumption, such as preparing multiple-choice questions for content evaluation, is a good example.