clinalytix Medical AI Publikationen

Longitudinal Model Shifts of Machine Learning–Based Clinical Risk Prediction Models: Evaluation Study of Multiple Use Cases Across Different Hospitals

Autoren: Patricia Cabanillas Silva, Hong Sun, Mohamed Rezk, Diana M Roccaro-Waldmeyer, Janis Fliegenschmidt, Nikolai Hulde, Vera von Dossow, Laurent Meesseman, Kristof Depraetere, Joerg Stieg, Ralph Szymanowsky, Fried-Michael Dahlweid

Datum: Dezember 2024

Publikation: Journal of Medical Internet Research

Summary: In dieser Studie haben wir die Stabilität und den klinischen Nutzen von risikovorhersagenden Modellen auf Basis von Machine Learning für Delir, Sepsis und akute Nierenschädigung (AKI) in zwei deutschen Krankenhäusern untersucht. Trotz dynamischer Veränderungen klinischer Praktiken und Arbeitsabläufe behielten die Modelle über die Zeit hinweg eine stabile Leistungsfähigkeit bei; es zeigten sich keine signifikanten Unterschiede der AUROC-Werte zwischen den einzelnen Jahren. Obwohl bei den Modellen für Delir und Sepsis Verschiebungen in der Kalibrierung beobachtet wurden, blieb ihr klinischer Nutzen unbeeinträchtigt. Besonders hervorzuheben ist, dass die Modelle auch während der COVID-19-Pandemie robust waren und weder eine Verschlechterung der Vorhersageleistung noch erhöhte Alarmraten aufwiesen. Diese Ergebnisse unterstreichen die Bedeutung einer kontinuierlichen Überwachung, um Veränderungen im Modellverhalten frühzeitig zu erkennen und die Wirksamkeit der Modelle in sich wandelnden Gesundheitsversorgungsumgebungen langfristig aufrechtzuerhalten.

Evaluating gender bias in ML-based clinical risk prediction models: A study on multiple use cases at different hospitals

Autoren: Patricia Cabanillas Silva, Hong Sun, Pablo Rodriguez-Brazzarola, Mohamed Rezk, Xianchao Zhang, Janis Fliegenschmidt, Nikolai Hulde, Vera von Dossow, Laurent Meesseman, Kristof Depraetere, Ralph Szymanowsky, Jörg Stieg, Fried-Michael Dahlweid

Datum: September 2024

Publikation: Journal of Biomedical Informatics

Summary: Das clinalytix-Team führte eine umfassende Studie durch, um verschiedene Aspekte geschlechtsspezifischer Verzerrungen (Gender Bias) in ML-basierten Risikovorhersagemodellen zu untersuchen. Die Studie wurde für mehrere Anwendungsfälle (Delir, Sepsis und akute Nierenschädigung [AKI]) an zwei unterschiedlichen Krankenhäusern durchgeführt (Marienhospital Stuttgart und Herz- und Diabeteszentrum Nordrhein-Westfalen).
Mithilfe der vorgeschlagenen Evaluierungsmethoden konnte gezeigt werden, dass die geschlechtsspezifischen Unterschiede in dieser Studie deutlich geringer ausfielen als in früheren Forschungsarbeiten, was die Fairness der eingesetzten Vorhersagemodelle untermauert. Darüber hinaus bieten die in der Studie vorgestellten Analysen und Bewertungsmethoden wertvolle Visualisierungswerkzeuge, die Anwenderinnen und Anwender dabei unterstützen, geeignete Schwellenwerte auszuwählen, um ein ausgewogenes Verhältnis zwischen Modellleistung und Fairness zu erreichen.
Zusätzlich betonen die Autoren die Notwendigkeit, dass Krankenhäuser die Fairness ML-basierter Vorhersagemodelle hinsichtlich verschiedener Geschlechtergruppen innerhalb ihrer jeweiligen Versorgungsumgebungen kontinuierlich überwachen.

Comparing LLMs with clinalytix Medical AI for clinical risk prediction

Autoren: Mohamed Rezk, Patricia Cabanillas Silva, Fried-Michael Dahlweid

Datum: August 2024

Summary: Dieser Bericht vergleicht GPT-4 mit clinalytix Medical AI bei der Vorhersage des Delirrisikos. Die Ergebnisse zeigen, dass GPT-4 insbesondere bei der Sensitivität (Recall) Schwächen aufweist und das Risiko nicht zuverlässig bewerten kann, während clinalytix Medical AI eine deutlich höhere Vorhersagegenauigkeit erzielt. Die Analyse verdeutlicht die Grenzen von GPT-4 bei der Verarbeitung komplexer klinischer Daten und legt nahe, dass Large Language Models (LLMs) derzeit noch nicht für eine eigenständige klinische Entscheidungsfindung geeignet sind. Stattdessen sollten sie vor allem als unterstützende Werkzeuge unter menschlicher Aufsicht eingesetzt werden.

Es ist geplant, diese Ergebnisse im Laufe dieses Jahres in Form einer wissenschaftlichen Publikation zu veröffentlichen.

Leveraging Artificial Intelligence for the Management of Postoperative Delirium Following Cardiac Surgery

Autoren: Janis Fliegenschmidt, Nikolai Hulde, Maria G Preising, Silvia Ruggeri, Ralph Szymanowsky, Laurent Meesseman, Hong Sun, Michael Dahlweid, Vera von Dossow​​​​​​​

Datum: Februar 2023

Publikation: European Journal of Anaesthesiology & Intensive Care (EJAIC)

Summary: Ein Kunde unserer ML-basierten Anwendung zur Vorhersage von Delirium bewertete die Leistung des Produkts im klinischen Einsatz und stellte fest, dass es vergleichbare Ergebnisse wie herkömmliche Screening-Verfahren liefert. Darüber hinaus wurde die Anwendung als besonders einfach zu implementieren eingestuft und ihr ein hoher klinischer Nutzen zugesprochen.

Machine Learning-Based Prediction Models for Different Clinical Risks in Different Hospitals: Evaluation of Live Performance

Autoren: Hong Sun, Kristof Depraetere, Laurent Meesseman, Patricia Cabanillas Silva, Ralph Szymanowsky, Janis Fliegenschmidt, Nikolai Hulde, Vera von Dossow, Martijn Vanbiervliet, Jos De Baerdemaeker, Diana M Roccaro-Waldmeyer, Jörg Stieg, Manuel Domínguez Hidalgo, Fried-Michael Dahlweid

Datum: Juni 2022

Publikation: Journal of Medical Internet Research

Summary: Wir evaluieren unsere Machine-Learning-basierten Vorhersagemodelle in verschiedenen Krankenhäusern und für unterschiedliche Anwendungsfälle. Die Vorhersagemodelle erzielten in produktiven elektronischen Patientenakten-Systemen (EHR-Systemen) vergleichbar gute Ergebnisse wie bei der Auswertung retrospektiver Daten. Darüber hinaus wird in dieser Studie auch der praktische Nutzen unserer Vorhersagemodelle untersucht und bewertet.

Artificial intelligence predicts delirium following cardiac surgery: A case study

A scalable approach for developing clinical risk prediction applications in different hospitals

Autoren: Hong Sun, Kristof Depraetere, Laurent Meesseman, Jos De Roo, Martijn Vanbiervliet, Jos De Baerdemaeker, Herman Muys, Vera von Dossow, Nikolai Hulde, Ralph Szymanowsky

Datum: Juni 2021

Publikation: Journal of Biomedical Informatics

Summary: Diese Arbeit stellt unseren skalierbaren Ansatz zur Entwicklung klinischer Risikovorhersageanwendungen für drei Anwendungsfälle an vier verschiedenen Krankenhäusern vor. Die Vorhersagemodelle wurden mithilfe eines Deep-Learning-Ansatzes erstellt und erzielten gute Ergebnisse auf retrospektiven Daten. Auf diese Arbeit folgt eine Studie, die die Modellleistung anhand von Live-Daten aus elektronischen Patientenakten (EHR) evaluiert.