Yapay Zeka ve Sağlık Alanında Dönüşüm
Yapay zeka (YZ), sağlık ve sağlık hizmetlerinde devrim yaratma potansiyeline sahip. Ancak, bu sistemlerin klinik akıl yürütme becerilerini etkili bir şekilde değerlendirmek ve gerçek bir etki yaratmak için titizlikle inşa edilmesi ve test edilmesi gerekiyor.
Yeni yapılan bir araştırma, bu alandaki ilerlemeleri desteklemek için iki temel unsur sunuyor: Ardışık Tanı Benchmark’ı (SDBench) ve Microsoft Yapay Zeka Tanı Orkestratörü (MAI-DxO). Bu sistemler, tanı koyma sürecini adım adım test ediyor.
Tanı Sürecindeki Zorluklar
Geleneksel tıbbi lisans sınavları, hekimlerin bilgi düzeyini ölçmek üzere tasarlanmıştır ve klinik tanı koyma sürecinin gerçeklerini yansıtmaz. Bu testlerde, tüm bilgiler önceden sunulur ve tek bir cevap seçilir; oysa klinik pratikte hekimler, durumu adım adım değerlendirir ve her yeni bulgunun olası tanıyı nasıl değiştirdiğini belirler.
Bu sebeplerle SDBench geliştirildi. SDBench, 304 karmaşık vakadan oluşan bir set ile daha tipik acil servis sunumları içeren bir set üzerinden performansı değerlendiriyor. Her vaka, YZ modellerinin ve/veya hekimlerin sınırlı bilgiyle başlayarak neyi talep edeceklerini seçtiği etkileşimli bir durum oluşturuyor.
MAI-DxO’nun Başarıları
MAI-DxO, SDBench içinde test edilmiştir ve birden fazla sanal hekim paneli gibi çalışır. Her biri tanılar önerir, faydalı sorular veya testler seçer ve ortaya çıkan görüşü sorgular. Bu sistem, kanıtlar geldikçe değerlendirmesini güncelleyerek maliyetler ile tanı doğruluğu arasındaki dengenin sağlanmasına yardımcı olur.
Karmaşık NEJM vakalarında MAI-DxO, %83 tanı doğruluğu elde etti. Hekimler, dış referans kaynakları olmadan %22, bunlarla %36 doğruluk sağladı; bu da MAI-DxO’yu sırasıyla 3.7 ve 2.3 kat daha doğru kılıyor.
Maliyet Etkinliği ve Gelecek Potansiyeli
Daha tipik acil servis vakalarında MAI-DxO, %80 doğruluk elde ederken hekimler %47 ile sınırlı kaldı. Maliyet odaklı optimizasyon yapıldığında bile MAI-DxO’nun performansı güçlü kaldı ve daha maliyet etkin çözümler seçildi. NEJM vakalarında bir yapılandırma, karşılaştırmalı sistemlerin maliyetinin yarısından az bir maliyetle %81 doğruluk sağladı.
Her iki veri setinde, MAI-DxO’dan daha doğru ve daha az maliyetli başka bir insan ya da YZ yaklaşımı bulunamadı. Ayrıca, değerlendirmeyi daha yeni modellerle tekrarladığımızda bu kazanımlar sürdü ve gelişti.
Araştırma Paylaşımı ve Geliştirici Fırsatlar
SDBench, seçili NEJM vakaları için açık kaynak olarak sunuluyor. Araştırmacılar, bu değerlendirmeyi tekrar edebilir, diğer modelleri test edebilir ve bulguları sorgulayabilir veya genişletebilirler.
