Implementation of a digital tool to assist physicians during breath tests for SIBO: Impact on diagnostic accuracy, report quality and physician workload

Abstract

Objective

We aimed to evaluate the implementation of a digital tool that assists physicians during breath tests (BTs) for small intestinal bacterial overgrowth (SIBO), measuring its impact on diagnostic accuracy, report quality, and physician workload. Tool usability was also assessed.

Patients and methods

We conducted a retrospective evaluation of all BTs done at our institution from January 2024 to September 2024. All BTs were performed using the same equipment and interpreted by the same four board-certified gastroenterologists. In May 2024, a digital tool (i.e. Smart Breath) was adopted to help performing and reporting all BTs. Accuracy and report quality were compared before and after implementation of such digital tool. Three blinded SIBO experts used current international guidelines to adjudicate diagnoses and assess report completeness based on 12 quality criteria. Usability of the digital tool and workload were evaluated with the System Usability Scale (SUS) and NASA Task Load Index (NASA-TLX).

Results

A total of 637 BTs were analyzed: 324 standard BT (before the implementation of Smart Breath) and 313 assisted by Smart Breath. Accuracy significantly improved after the implementation of Smart Breath (100% vs. 89.2% for SIBO; 100% vs. 90.1% for IMO; p < 0.0001). Report completeness increased from a median of 6–12 quality elements (p < 0.0001). The digital tool achieved a mean SUS score of 92.5 and workload scores decreased significantly across all NASA-TLX dimensions.

Conclusions

The implementation of a digital assistant for SIBO breath testing significantly improved diagnostic accuracy and report quality while reducing physician workload. Evidence-based digital tools may enhance the performance of complex diagnostic procedures in clinical practice.

Resumen

Objetivo

Evaluar la implementación de una herramienta digital (Smart Breath) que asiste a los médicos durante las pruebas de aire espirado (PAE) para diagnosticar sobrecrecimiento bacteriano del intestino delgado (SIBO), midiendo su impacto en la precisión diagnóstica, la calidad del informe y la carga de trabajo del médico. También se evaluó la usabilidad de la herramienta.

Pacientes y métodos

Se analizó retrospectivamente una serie consecutiva de PAE realizadas entre enero y septiembre de 2024, comparando las PAE estándar con aquellas asistidas por Smart Breath. Tres expertos en SIBO utilizaron las guías internacionales vigentes para evaluar los diagnósticos y la integridad de los informes según 12 criterios de calidad. La usabilidad de la herramienta digital y la carga de trabajo se evaluaron con la Escala de Usabilidad del Sistema (SUS) y el Índice de Carga de Tareas de la NASA (NASA-TLX).

Resultados

Se analizaron un total de 637 PAE (324 estándar y 313 asistidas por Smart Breath). La precisión mejoró significativamente con la implementación de Smart Breath (100% vs. 89,2% para SIBO; 100% vs. 90,1% para IMO; p < 0,0001). La inclusión de elementos de calidad del informe aumentó de una mediana de 6 a 12 (p < 0,0001). La herramienta digital alcanzó una puntuación media de SUS de 92,5 y las puntuaciones de carga de trabajo disminuyeron significativamente en todas las dimensiones de NASA-TLX.

Conclusiones

Una herramienta digital diseñada para mejorar la PAE para SIBO mejoró significativamente la precisión diagnóstica y la calidad de los informes, y a la vez redujo la carga de trabajo del médico. Las herramientas digitales basadas en la evidencia pueden optimizar el rendimiento de procedimientos diagnósticos complejos en la práctica clínica.