Por tratarse de una tarea altamente compleja y de importancia clínica, el diagnóstico del síndrome coronario agudo se presta para su exploración por medio de modelado mediante sistemas inteligentes.
Objetivodesarrollar un sistema multiagente que ensamble las decisiones de varias redes neuronales para el diagnóstico del dolor torácico enfocado a los síndromes coronarios agudos.
Metodologíaestudio de pruebas diagnósticas en el que se entrenan un conjunto de redes neuronales con una precisión cercana al 70%, que luego son ensambladas mediante tres sistemas de votación para luego adicionar el resultado de redes especiales en poblaciones particulares y seleccionar la mejor configuración que hará parte de un sistema multiagente para el diagnóstico del dolor torácico.
ResultadosSe generaron 84 redes con precisión promedio del 72% en pruebas; al ensamblarse aumentan dicha precisión hasta llegar a un máximo del 84% que tras la adición de los grupos especiales alcanza el 89%. Se escoge una conformación que brinda una sensibilidad del 96% con una especificidad del 77%, con valores predictivos positivo y negativo de 87 y 93% respectivamente para el diagnóstico de síndrome coronario agudo.
ConclusionesEs posible desarrollar una herramienta para el diagnóstico automático del síndrome coronario agudo a partir de un sistema multiagente que ensamble la disposición tomada por un conjunto de redes neuronales artificiales, cuyo rendimiento permite su consideración para su implementación dentro de un sistema de soporte a las decisiones clínicas.
Because it is a highly complex task of a great clinical importance, the diagnosis of acute coronary syndromes allows for their analysis by means of intelligent system models.
MotivationTo develop a multi-agent system that assembles the decisions of several neural networks for the diagnosis of chest pain with a focus on acute coronary syndromes.
MethodsA study of diagnostic tests where a series of neural networks are trained with a precision close to 70%, and are later on assembled with three voting systems. Then the results of special networks on specific populations are added to select the best configuration that will make part of a multi-agent system for diagnosing chest pain.
ResultsA total of 84 networks were generated, with an average precision of 72% during testing; once assembled this precision rises up to a maximum of 84%, which then reaches 89% when the special groups are included. A configuration that offers a sensitivity of 96% with a specificity of 77% and positive and negative predictive values of 87 and 93% respectively is chosen for the diagnosis of acute coronary syndrome.
ConclusionsIt is possible to develop a tool for the automatic diagnosis of acute coronary syndrome using a multi-agent system that assembles the dispositions taken by a set of artificial neural networks. Its performance allows taking it into consideration for implementing it within a clinical decision-making support system.
El diagnóstico del síndrome coronario agudo representa una tarea compleja, implica la puesta en consideración de las características demográficas, la presentación clínica y los antecedentes obtenidos a través de la historia clínica, junto con los resultados del electrocardiograma y los marcadores de lesión miocárdica confirmados luego por alguna estrategia de estratificación coronaria invasiva o no. Su principal forma de presentación, el dolor torácico, implica tener en cuenta un gran número de condiciones que aunque en su mayoría sean benignas, diluyen otras que ponen en riesgo la vida (como la embolia pulmonar y la disección aórtica entre otras).
Desde el campo de la inteligencia artificial una herramienta muy usada son las redes neuronales artificiales, las cuales pueden describirse como paradigmas computacionales basados en modelos matemáticos con capacidad de un fuerte patrón de reconocimiento. Consisten en un algoritmo de cálculo que se basa en una analogía del sistema nervioso1. Representan el campo de los sistemas inteligentes que ha sido evaluado de manera más extensa y completa dentro del área del diagnóstico del síndrome coronario agudo. Desde los primeros trabajos a principios de los años 90 por Baxt2 y Furlong3, se ha comprobado su alta efectividad para la discriminación del infarto4 u otros síndromes coronarios agudos5; con datos procedentes del electrocardiograma6 o de éste más la historia clínica y marcadores de daño miocardico7, se ha realizado además la validación cruzada en sitios diferentes al que fueron desarrolladas8 y manejo en el contexto de series de tiempo9. En todos estos casos se han logrado obtener niveles de precisión cercanos y superiores al 90%.
Los sistemas multiagentes son una colección de agentes independientes que se comunican con el fin de cooperar en la solución conjunta de una tarea compleja10. Se entiende por agente una entidad de software que de forma autónoma maneja diversas entradas desde su ambiente con el que interactúa, y que persigue de manera proactiva el logro de sus objetivos cooperando o compitiendo con otros agentes. Una de las formas en que un grupo de agentes que persiguen un objetivo común en el reconocimiento de un patrón puede interactuar para reunir sus resultados son los diversos sistemas de ensamble, entre los que se encuentran: votación, promedio bayesiano, bagging, boosting, modelos basados en árboles, mezcla condicionada (mezclas de modelos de regresión lineal, logísticos y mezclas de expertos)11. La combinación de ambas estrategias podría llegar a brindar un panorama prometedor para modelar, mediante un sistema informático, el proceso de diagnóstico.
En este trabajo se presenta el proceso mediante el cual se llevaron a cabo varios experimentos para el desarrollo de un sistema multiagente basado en redes neuronales y sistemas de ensamble para el apoyo al diagnóstico del dolor torácico enfocado en el síndrome coronario agudo.
MetodologíaSe llevó a cabo un estudio de pruebas diagnósticas. En una fase inicial se entrenó y probó un conjunto de RNA para el diagnóstico de síndrome coronario agudo que luego se integró bajo diferentes formas de ensamble. Finalmente, se seleccionó la mejor combinación para su aplicación dentro de un sistema multiagente.
Las diferentes RNA fueron entrenadas a partir de 307 pacientes procedentes de dos bases de datos: una constituida por 159 pacientes mayores de 18 años que consultaron por dolor torácico como motivo de consulta principal al servicio de urgencias, en el período comprendido entre el 20 febrero y el 30 de octubre de 2012; esta cohorte fue derivada de un estudio institucional en el cual se evaluó la implementación de una ruta crítica en el síndrome coronario agudo en el Hospital San José de Bogotá12. La segunda base de datos estuvo constituida por 148 pacientes, recogidos de manera prospectiva, mayores de 18 años, hospitalizados, con sospecha clínica de síndrome coronario agudo entre el 25 de julio de 2013 y el 1 de agosto de 2014 diseñada específicamente para el presente trabajo; incluyó además pacientes del Hospital Universitario San José Infantil de Bogotá. Ambos trabajos fueron autorizados por el comité de investigaciones y ética de la Fundación Universitaria de Ciencias de la Salud y el Hospital San José.
El estándar de referencia para el diagnóstico de infarto se basó en la tercera redefinición de infarto13 y para el caso de la angina inestable en la presencia de datos clínicos compatibles (principalmente dolor torácico de reciente comienzo, in crescendo o en reposo) junto con la positividad en alguna estrategia de estratificación coronaria invasiva o no invasiva.
Las variables de entrada para la discriminación del dolor torácico se fundamentaron en los datos que constituyen las escalas de Braunwald14, Florencia15 y Sanchis16, que han sido desarrolladas para el estudio y clasificación de riesgo de los dolores torácicos bajo sospecha de un síndrome coronario agudo. Todas tienen en consideración variables demográficas, características del dolor, antecedentes y resultados del electrocardiograma y marcadores de lesión miocárdica.
Las redes neuronales fueron entrenadas y probadas en la población general o en los diversos subgrupos de población, aplicando un algoritmo genético para la selección de los pesos de las redes. Se dividió la población en un 70% para entrenamiento y un 30% para pruebas (17). Con el fin de detectar las mejores formas de ensamble de las redes neuronales se realizó un experimento factorial 33 dentro de un modelo de efectos fijos, no replicado, con un nivel de significancia del 5%. Se tomó como variable de respuesta la precisión diagnóstica de cada uno de las arquitecturas de ensamble, probadas en el 30% del conjunto total de datos (92 ejemplos).
Los factores estudiados fueron17:
- •
Número de datos que se tuvieron en cuenta para el entrenamiento y pruebas de las redes.
- •
Número de redes escogidas a partir de cada uno de los conjuntos de datos de entrenamiento (escalas de Braunwald, Florencia y Sanchis).
- •
Heurística empleada dentro del sistema de ensamble de las decisiones:
- ∘
Votación simple
- ∘
Votación ponderada por valores predictivos
- ∘
Votación ponderada por razón de verosimilitud (likelihood ratios, LR).
En un siguiente paso se realizó una corrida con los mismos tratamientos descritos incluyendo dentro del ensamble el resultado de los agentes especializados en ciertos grupos de interés (diabéticos, mujeres, mayores de 75 años y con historia de enfermedad renal).
ResultadosEn la tabla 1 se listan las características de los pacientes de las dos bases de datos tenidas en cuenta para los experimentos. A partir de las corridas del algoritmo genético realizado, se seleccionaron 84 RNA con un nivel de precisión que rondaba el 70%, divididas de la siguiente manera: 72 para el diagnóstico de síndrome coronario agudo en toda la población (8 por cada uno de 3 niveles de número de datos de entrenamiento en los 3 datos de entrada procedentes de cada escala), 12 en subpoblaciones específicas (mujeres, mayores de 75 años, diabéticos y con antecedente de enfermedad coronaria.
Características de los pacientes
| Primera base de datos n= 159 | Segunda base de datos n= 148 | |
|---|---|---|
| Procedencia | HSJ, feb–oct 2012 | HSJ y HUISJ, jul 2013–Ago 2014 |
| Diagnósticos, n (%) | Anginas 41 (25,8%) Infartos 37 (23,3%) No coronario 81 (50,9%) | Anginas 28 (18,9%) Infartos 68 (46,0%) No coronario 52 (35,1%) |
| Edad (promedio) | 61,4 años | 64,1 años |
| Mujeres, n (%) | 72 (45,3%) | 61 (41,2%) |
| Estratificación no invasiva, n (%) | 100 (62,9%) | 126 (85,1%) |
| Coronariografía, n (%) | 50 (31,4%) | 99 (66,9%) |
| Procedencia de los datos | Escala de Braunwald | Escala de Braunwald, Florencia y Sanchis |
HSJ: Hospital San José, HISJ: Hospital Universitario Infantil de San José.
En el análisis de las RNA individuales se encontró un promedio de precisión durante el desarrollo del 76,7% y del 72% (con un rango que iba desde 60 a 81%) en la fase de pruebas en los 92 ejemplos. En los resultados globales de desempeño de las diferentes combinaciones examinadas se encontró una variabilidad importante, obteniéndose en la mayoría de los casos altos niveles de sensibilidad (91-100%) y más bajos de especificidad (36-67%). Al centrar el análisis en el resultado de la precisión global de la prueba (tabla 2) se encontró que en la mayoría de los casos el rendimiento de los diferentes tratamientos supera al de los agentes individuales (rango entre 72 y 81%); así, los sistemas ponderados tienen mejor desempeño que la votación simple.
Resultados de los experimentos en las 27 combinaciones de ensamble con y sin la inclusión de los subgrupos (mujeres, diabéticos, mayores de 75 años e historia de enfermedad coronaria)
| Número de redes | Nivel de datos de entrenamiento | Tipo de ensamble | Precisión | Precisión incluyendo subgrupos |
|---|---|---|---|---|
| 2 | Alto | Simple | 80 | 80 |
| 5 | Alto | Simple | 80 | 83 |
| 8 | Alto | Simple | 78 | 80 |
| 2 | Medio | Simple | 78 | 80 |
| 5 | Medio | Simple | 79 | 80 |
| 8 | Medio | Simple | 79 | 81 |
| 2 | Bajo | Simple | 72 | 76 |
| 5 | Bajo | Simple | 80 | 79 |
| 8 | Bajo | Simple | 79 | 82 |
| 2 | Alto | Ponderada por VP | 82 | 86 |
| 5 | Alto | Ponderada por VP | 82 | 88 |
| 8 | Alto | Ponderada por VP | 83 | 88 |
| 2 | Medio | Ponderada por VP | 82 | 83 |
| 5 | Medio | Ponderada por VP | 85 | 85 |
| 8 | Medio | Ponderada por VP | 82 | 86 |
| 2 | Bajo | Ponderada por VP | 77 | 83 |
| 5 | Bajo | Ponderada por VP | 84 | 84 |
| 8 | Bajo | Ponderada por VP | 84 | 84 |
| 2 | Alto | Ponderada por LR | 83 | 85 |
| 5 | Alto | Ponderada por LR | 84 | 89 |
| 8 | Alto | Ponderada por LR | 85 | 88 |
| 2 | Medio | Ponderada por LR | 82 | 80 |
| 5 | Medio | Ponderada por LR | 80 | 82 |
| 8 | Medio | Ponderada por LR | 78 | 80 |
| 2 | Bajo | Ponderada por LR | 76 | 78 |
| 5 | Bajo | Ponderada por LR | 82 | 82 |
| 8 | Bajo | Ponderada por LR | 83 | 84 |
VP: valor predictivo, LR: likelihood ratio.
El análisis de varianza (ANOVA) encuentra que los factores evaluados son significativos. En promedio, el sistema votación ponderada según valores predictivos fue mejor que los otros dos evaluados. Al realizar las pruebas adicionando las redes neuronales especializadas en subgrupos, se halló un incremento significativo de la precisión diagnóstica; los tratamientos con mejor desempeño fueron con las redes entrenadas con un nivel alto de ejemplos, con 5 y 8 agentes por cada escala usada y con la ponderación tanto por LR como por valores predictivos (89 y 88%).
El resultado final (fig. 1) es un aplicativo en el que, luego del ingreso de los datos del paciente a través de la interface de usuario, se da inicio a un sistema multiagente constituido por un agente gestor general del proceso que posee la información global del diagnóstico del dolor torácico, un agente administrador de fase de diagnóstico de síndrome coronario agudo que crea los siete agentes que contienen las redes neuronales para el diagnóstico general: 3 que contienen cada una 5 redes neuronales entrenadas a partir de los datos de cada una de las escalas utilizadas (Braunwald, Florencia y Sanchis) y 4 agentes con las redes especializadas en subgrupos, 3 redes neuronales para mujeres, diabéticos y mayores de 75 años, y 2 redes neuronales para los que tenían antecedentes de enfermedad coronaria. Finalmente, se ensambla la decisión mediante una votación ponderada basada en razón de verosimilitud dentro del administrador de fase17.
Esta conformación del sistema multiagente brinda una sensibilidad del 96% con una especificidad del 77%, una precisión del 89%, con valores predictivos positivo y negativo de 87 y 93% respectivamente para el diagnóstico de síndrome coronario agudo.
DiscusiónEn este informe se presenta una propuesta de un sistema desarrollado sobre un marco experimental robusto en el cual se integran las decisiones de un conjunto de RNA para el diagnóstico de síndrome coronario agudo usando un sistema de ensamble de decisiones al interior de un sistema multiagente. Las RNA fueron intencionalmente diseñadas para tener un desempeño regular (alrededor del 70%) con lo que se esperaba (como se logró) magnificar el efecto del ensamble.
El alto desempeño diagnóstico logrado en este experimento, está por encima de la mayor parte de los reportes de desempeño del personal médico, tanto general como especializado2,18,19, lo cual haría viable su uso como un sistema de soporte para las decisiones clínicas. Sin embargo, sus resultados deben ser corroborados en una fase posterior. Es así, que además de atractivo por lo innovador, representa oportunidades reales para la optimización del proceso de atención en una entidad causante del mayor número de muertes en el mundo y cuyo retraso en el diagnóstico se ve reflejado en un aumento de los eventos adversos.
En la bibliografía consultada se encontraron dos trabajos en los que se utilizaron los sistemas basados en ensamble de decisión de redes neuronales para el diagnóstico de síndrome coronario agudo dentro de un sistema multiagente. En el primero20, se utilizó bagging y cross-spliting para el análisis de los datos procedentes de 634 electrocardiogramas (130 con diagnóstico de síndrome coronario agudo); los resultados fueron muy similares a los del presente reporte, aunque con un menor rendimiento, área bajo la curva ROC (AUC) de 0,81; el rendimiento fue superior al de cada una de las redes neuronales que lo conformaba. Por otro lado, en un segundo estudio se desarrolló y probó un sistema multiagente en el cual se ensamblaron herramientas de sistemas inteligentes en el diagnóstico de la enfermedad coronaria, mediante varias técnicas de boosting: AdaBoost, MultiBoost y LogitBoost21; la base de datos estuvo constituida por 270 pacientes con 13 variables en la Cleveland Clinic Foundation, con 120 pacientes con enfermedad coronaria. Se obtuvieron altos niveles de desempeño, siendo la más alta la del AdaBoost (precisión 97,6%, sensibilidad 97,6%, especificidad 97,6% con un AUC 0,989).
Se reconoce como limitación el hecho que se trate apenas de un prototipo (en la actualidad se encuentra en curso un estudio para la validación cruzada del sistema). Por otro lado, no es claro si se mantiene el beneficio del ensamble cuando se usan redes neuronales con un mejor desempeño inicial (por encima del 90%), como las encontradas en la revisión de la literatura.
Entre las fortalezas del estudio está el hecho de aprovechar aspectos del conocimiento médico en el problema diagnóstico del dolor torácico, utilizando los datos de las escalas aplicadas desde la clínica para la clasificación diagnóstica del síndrome coronario agudo mediante el uso de los datos de las escalas de Braunwald, Sanchis y Florencia; por otro lado, se desarrolló un gran número de redes neuronales procedentes de diferentes datos y poblaciones de entrenamiento, se contó con datos de dos centros hospitalarios al interior de la base de datos y se estructuró un marco experimental robusto analizando además varias formas de efectuar el ensamble.
Es evidente el cambio que ha venido gestándose en la medicina en los últimos lustros. Gracias a la conectividad y el amplio desarrollo de los sistemas de comunicación, ha sido posible la masificación de aplicativos que apoyan la actividad médica. En esa vía se hacen significativos los adelantos que permitan el apoyo del enfoque diagnóstico y de tratamiento de las patologías con mayor impacto para la salud. Desde este punto de vista, la población blanco está constituida principalmente por aquel médico de atención primaria o de urgencias con poca experiencia, recursos o apoyo institucional. El diagnóstico automático del síndrome coronario agudo se convierte en un enfoque atractivo para este tipo de desarrollo; los casos exitosos existen, aunque por múltiples razones no lo hemos visto reflejado en nuestra práctica diaria de la medicina.
ConclusionesEs posible diseñar una herramienta para el diagnóstico automático del síndrome coronario agudo a partir de un sistema multiagente desarrollado para el diagnóstico del dolor torácico, que utiliza herramientas de ensamble de la decisión tomada por un conjunto de redes neuronales artificiales, y que además presenta un desempeño diagnóstico que supera el de cada una de las redes individualmente. La adición de redes especializadas en subgrupos, incrementa de manera considerable el rendimiento diagnóstico hasta poder ser considerado para su implementación en un sistema de soporte a las decisiones clínicas. Estos resultados deben tener una validación posterior para corroborar su utilidad.
Responsabilidades éticasProtección de personas y animalesLos autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datosLos autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.
Derecho a la privacidad y consentimiento informadoLos autores declaran que en este artículo no aparecen datos de pacientes.
Conflicto de interesesLos autores declaran no tener conflicto de intereses.
A los miembros del Departamento de Investigación y Estadística de la Fundación Universitaria Ciencias de la Salud–Hospital San José de Bogotá. Al personal médico y de enfermería del servicio de urgencias del Hospital San José de Bogotá.