Investigation the success rate of hospital information system (HIS): Development of a questionnaire and case study

Abstract

Introduction and objectives

The implantation of hospital information systems (HISs) has grown dramatically in recent years. Understanding the success rate of HIS is key in health organizations. In this study, a validated questionnaire for HISs evaluation based on the Information System Success Model (ISSM) has been provided. In addition, the HIS success rate was determined.

Materials and methods

The current study was conducted at one of the largest teaching hospitals in eastern Iran. The 44-items questionnaire was developed for data gathering. The questionnaire covered ISSM dimensions, which include analysis of quality system, quality of information, quality service, system use, usefulness, satisfaction, and net benefits. Content validity, constructs validity, and reliability of the ISSM questionnaire was measured. HIS success rate has been determined and categorized based on users’ perspective as follows: appropriate (75% ≤ HIS success rate), moderate (50% ≤ HIS success rate < 75%), low coverage (25% ≤ HIS success rate < 50%), and poor (coverage rate < 25%).

Results

In total, 253 users participated in the study. The ISSM questionnaire was validated by an expert panel with CVI: 85.12% and CVR: 88.22%. The overall Cronbach's alpha value of the instrument was determined as 92.2%. Nine factors with eigenvalues greater than 1.00 were identified, jointly accounting for 66.91% of the total variance. The value of KMO was.866 showed that the sample size was adequate for factor analysis. The highly significant Bartlett's test (p < 0.000) indicated that variables were correlated and the factor analysis was appropriate. Our results demonstrated that the total mean of HIS success was “moderate” base on the users’ point of view.

Conclusions

The findings of the current study, provide valuable scientific evidence for key affecting factors on hospital EHR in Iran as a developing country.

Resumen

Introducción y objetivos

La implantación de los sistemas de información hospitalaria (HIS) ha crecido drásticamente en los últimos años. Comprender la tasa de éxito de un HIS es clave para las organizaciones sanitarias. En este estudio se aportó un cuestionario validado para la evaluación de HIS, basado en el Information System Success Model (ISSM). Además, se calculó la tasa de éxito del HIS.

Materiales y métodos

El estudio actual se llevó a cabo en uno de los mayores hospitales docentes del este de Irán. Se desarrolló un cuestionario de 44 ítems para recabar los datos. Dicho cuestionario cubrió las dimensiones del ISSM, que incluyen el análisis del sistema de calidad, la calidad de la información, la calidad del servicio, así como el uso, utilidad, satisfacción y beneficios netos del sistema. Se midieron la validez del contenido, la validez de los constructos y la fiabilidad del cuestionario ISSM. Se determinó y categorizó la tasa de éxito del HIS sobre la base de la perspectiva de los usuarios, de la manera siguiente: adecuada (75% ≤ tasa de éxito de HIS), moderada (50% ≤ tasa de éxito de HIS < 75%), baja cobertura (25% ≤ tasa de éxito de HIS < 50%), y mala (tasa de cobertura < 25%).

Resultados

En total participaron 253 usuarios en el estudio. El cuestionario ISSM fue validado por un panel de expertos, donde CVI = 85,12% y CVR = 88,22%. El valor general de alfa de Cronbach del instrumento fue del 92,2%. Se identificaron nueve factores con Eigen valores superiores a 1, que representaron en conjunto el 66,91% de la varianza total. El valor de KMO fue de 0,866, lo cual reflejó que el tamaño de la muestra fue adecuado para el análisis factorial. La prueba de Bartlett altamente significativa (p < 0,000) indicó que las variables estaban correlacionadas, y que el análisis factorial era adecuado. Nuestros resultados demostraron que la media total del éxito de HIS era «moderada», basándose en el punto de vista del usuario.

Conclusiones

Los hallazgos del presente estudio aportan evidencia científica valiosa para los factores clave que afectan a los registros sanitarios electrónicos (EHR) en Irán, como país en desarrollo.