Die Arbeit stellt EHRBench vor, einen automatisierten und zuverlässigen, EHR-basierten Benchmark zur Bewertung von LLM-basierten klinischen Entscheidungsfindungen, der das unzureichende Verständnis der Zuverlässigkeit von LLMs bei realen klinischen Aufgaben adressiert. Ziel ist es, sowohl Umfang als auch Qualität bei der Bewertung von CDM-Modellen sicherzustellen.
Diese Forschung bewertete den Einfluss der Prompt-Sprache auf die diagnostische Argumentation und Genauigkeit großer Sprachmodelle (LLMs) im klinischen Umfeld. Vier von fünf Modellen zeigten eine bessere Leistung auf Englisch, was die Unsicherheit hinsichtlich der Zuverlässigkeit von LLMs in anderen Sprachen hervorhebt.
Diese Arbeit stellt OncoAgent vor, ein zweistufiges Multi-Agenten-Framework für den datenschutzfreundlichen klinischen Entscheidungsunterstützung in der Onkologie. Das System zielt darauf ab, die Krebsdiagnose und -behandlung zu verbessern, während die Vertraulichkeit der Patientendaten gewahrt bleibt.