metricas

Radiología

Sugerencias
Radiología Comparación del rendimiento entre ChatGPT y estudiantes de Medicina en un exame...
Información de la revista
Vol. 67. Núm. 4.
(Julio - Agosto 2025)
Cita
Cita
Compartir
Descargar PDF
Más opciones de artículo
Visitas
2936
Vol. 67. Núm. 4.
(Julio - Agosto 2025)
ORIGINAL

Comparación del rendimiento entre ChatGPT y estudiantes de Medicina en un examen real práctico con imágenes de Radiología y Medicina Física

Comparing ChatGPT and medical student performance in a real image-based Radiology and Applied Physics in Medicine exam
Visitas
2936
R. Salvadora,b,
Autor para correspondencia
rsalvado@clinic.cat

Autor para correspondencia.
, D. Vasa, L. Oleagaa, M. Matute-Gonzáleza, À. Castillo-Fortuñoa, X. Setoainb,c, C. Nicolaua,b
a Servicio de Radiodiagnóstico, Hospital Clínic de Barcelona, Barcelona, España
b Departament de Fonaments Clínics, Facultat de Medicina i Ciències de la Salut, Universitat de Barcelona, Barcelona, España
c Servicio de Medicina Nuclear, Hospital Clínic de Barcelona, Barcelona, España
Este artículo ha recibido
Información del artículo
Resumen
Texto completo
Bibliografía
Descargar PDF
Estadísticas
Resumen
Introducción

Los modelos de inteligencia artificial ofrecen la capacidad de generar respuestas textuales a una amplia variedad de preguntas, incluidas aquellas relacionadas con temas médicos. Recientemente, han incorporado la posibilidad de interpretar y responder a consultas basadas en imágenes, incluyendo imágenes radiológicas. El objetivo principal del estudio es analizar el rendimiento de ChatGPT-4o frente a estudiantes de tercer año de Medicina en una prueba práctica de la asignatura de Radiología y Medicina Física. Como objetivo secundario pretendemos valorar la capacidad de ChatGPT para interpretar imágenes médicas y responder a preguntas sobre las mismas.

Material y métodos

Se examinó a un grupo de 33 estudiantes con 10 preguntas sobre imágenes radiológicas y de medicina nuclear. El mismo examen se administró a ChatGPT (versión GPT-4o) sin entrenamiento previo, siguiendo un formato idéntico. Las respuestas al examen fueron evaluadas por profesores que desconocían qué examen correspondía al modelo a prueba. Se utilizó la prueba U de Mann-Whitney para comparar los resultados entre los 2 grupos.

Resultados

Los estudiantes superaron a ChatGPT en 8 preguntas. La calificación media final de los estudiantes fue de 7,78 y la de ChatGPT fue de 6,05, situándose en el percentil 9 de la distribución de notas de los estudiantes.

Discusión

ChatGPT muestra un rendimiento competente en varias áreas, pero los estudiantes obtienen mejores calificaciones, especialmente en la interpretación de imágenes y en el razonamiento clínico contextualizado, donde la formación y la experiencia práctica de los estudiantes juegan un papel esencial. Son necesarias todavía mejoras en los modelos de inteligencia artificial para alcanzar la capacidad humana de interpretar imágenes radiológicas e integrar información clínica.

Palabras clave:
Inteligencia artificial
Educación médica
Estudiantes de Medicina
Radiología
Medicina nuclear
Radioterapia
Abstract
Introduction

Artificial intelligence models can provide textual answers to a wide range of questions, including medical questions. Recently, these models have incorporated the ability to interpret and answer image-based questions, and this includes radiological images. The main objective of this study is to analyse the performance of ChatGPT-4o compared to third-year medical students in a Radiology and Applied Physics in Medicine practical exam. We also intend to assess the capacity of ChatGPT to interpret medical images and answer related questions.

Materials and method

Thirty-three students set an exam of 10 questions on radiological and nuclear medicine images. Exactly the same exam in the same format was given to ChatGPT (version GPT-4o) without prior training. The exam responses were evaluated by professors who were unaware of which exam corresponded to which respondent type. The Mann-Whitney U test was used to compare the results of the 2 groups.

Results

The students outperformed ChatGPT on 8 questions. The students’ average final score was 7.78, while ChatGPT's was 6.05, placing it in the 9th percentile of the students’ grade distribution.

Discussion

ChatGPT demonstrates competent performance in several areas, but students achieve better grades, especially in the interpretation of images and contextualised clinical reasoning, where students’ training and practical experience play an essential role. Improvements in artificial intelligence models are still needed to achieve human-like capabilities in interpreting radiological images and integrating clinical information.

Keywords:
Artificial intelligence
Medical education
Medical students
Radiology
Nuclear medicine
Radiotherapy
Resumen gráfico

Artículo

Opciones para acceder a los textos completos de la publicación Radiología
Suscriptor
Suscriptor de la revista

Si ya tiene sus datos de acceso, clique aquí.

Si olvidó su clave de acceso puede recuperarla clicando aquí y seleccionando la opción "He olvidado mi contraseña".
Comprar
Comprar acceso al artículo

Comprando el artículo el PDF del mismo podrá ser descargado

Comprar ahora
Contactar
Teléfono para suscripciones e incidencias
De lunes a viernes de 9h a 18h (GMT+1) excepto los meses de julio y agosto que será de 9 a 15h
Llamadas desde España
932 415 960
Llamadas desde fuera de España
+34 932 415 960
E-mail
Bibliografía
[1]
S.J. Rao, A. Isath, P. Krishnan, J.A. Tangsrivimol, H.U.H. Virk, Z. Wang, et al.
ChatGPT: A conceptual review of applications and utility in the field of Medicine.
[2]
C. Stokel-Walker, R. van Noorden.
What ChatGPT and generative AI mean for science.
Nature., 614 (2023), pp. 214-216
[3]
PubMed. Search results: chatgpt [consultado 7 Ago 2024]. Disponible en: https://pubmed.ncbi.nlm.nih.gov/?term=chatgpt&filter=years.2024-2024
[4]
OpenAI. Introducing GPT-4o and more tools to ChatGPT free users. May, 13, 2024 [consultado 11 Jun 2024]. Disponible en: https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/
[5]
Boyd E. Introducing GPT-4o: OpenAI's new flagship multimodal model now in preview on Azure. Microsoft Azure Blog, May 13, 2024 [consultado 11 Jun 2024]. Disponible en: https://azure.microsoft.com/en-us/blog/introducing-gpt-4o-openais-new-flagship-multimodal-model-now-in-preview-on-azure/
[6]
OpenAI. GPT-4V(ision) system card. September 25, 2023 [consultado 11 Jun 2024]. Disponible en: https://openai.com/index/gpt-4v-system-card/
[7]
A. Madrid-García, Z. Rosales-Rosado, D. Freites-Nuñez, I. Pérez-Sancristóbal, E. Pato-Cour, C. Plasencia-Rodríguez, et al.
Harnessing ChatGPT and GPT-4 for evaluating the rheumatology questions of the Spanish access exam to specialized medical training.
[8]
E. Strong, A. DiGiammarino, Y. Weng, P. Basaviah, P. Hosamani, A. Kumar, et al.
Performance of ChatGPT on free-response, clinical reasoning exams.
[9]
A. Gilson, C.W. Safranek, T. Huang, V. Socrates, L. Chi, R.A. Taylor, et al.
How does ChatGPT perform on the United States Medical Licensing Examination (USMLE)? The implications of large language models for medical education and knowledge assessment.
JMIR Med Educ., 9 (2023),
[10]
A. Sumbal, R. Sumbal, A. Amir.
Can ChatGPT-3.5 pass a medical exam? A systematic review of ChatGPT's performance in academic testing.
J Med Educ Curric Dev., 11 (2024),
[11]
E. Strong, A. DiGiammarino, Y. Weng, A. Kumar, P. Hosamani, J. Hom, et al.
Chatbot vs medical student performance on free-response clinical reasoning examinations.
JAMA Intern Med., 183 (2023), pp. 1028-1030
[12]
L.C. Almeida, E.M.J.M. Farina, P.E.A. Kuriki, N. Abdala, F.C. Kitamura.
Performance of ChatGPT on the Brazilian radiology and diagnostic imaging and mammography board examinations.
Radiol Artif Intell., 6 (2024),
[13]
Y. Toyama, A. Harigai, M. Abe, M. Nagano, M. Kawabata, Y. Seki, et al.
Performance evaluation of ChatGPT, GPT-4, and Bard on the official board examination of the Japan Radiology Society.
Jpn J Radiol., 42 (2024), pp. 201-207
[14]
P. Virtanen, R. Gommers, T.E. Oliphant, M. Haberland, T. Reddy, D. Cournapeau, et al.
SciPy 1.0: Fundamental algorithms for scientific computing in Python.
Nat Methods., 17 (2020), pp. 261-272
[15]
R. Bhayana, S. Krishna, R.R. Bleakney.
Performance of ChatGPT on a radiology board-style examination: Insights into current strengths and limitations.
[16]
Y. Zhou, H. Ong, P. Kennedy, C.C. Wu, J. Kazam, K. Hentel, et al.
Evaluating GPT-V4 (GPT-4 with Vision) on detection of radiologic findings on chest radiographs.
Radiology., 311 (2024), pp. e233270
[17]
Nori H, King N, Mckinney SM, Carignan D, Horvitz E. Capabilities of GPT-4 on medical challenge problems. Redmond, WA: Microsoft; 2023 [consultado 12 Ago 2024]. Disponible en: https://www.microsoft.com/en-us/research/uploads/prod/2023/03/GPT-4_medical_benchmarks.pdf#:∼:text=URL%3A%20https%3A%2F%2Fwww.microsoft.com%2Fen
[18]
P. Keshavarz, S. Bagherieh, S.A. Nabipoorashrafi, H. Chalian, A.A. Rahsepar, G.H.J. Kim, et al.
ChatGPT in radiology: A systematic review of performance, pitfalls, and future perspectives.
Diagn Interv Imaging., 105 (2024), pp. 251-265
asdasdasd
Opciones de artículo
Herramientas
Material suplementario