İnternet, tıbbi konularda kendi kendine eğitim için güçlü bir araç olarak hizmet edebilir. ChatGPT artık hastaların parmaklarının ucunda olduğundan, Brigham ve Kadın Hastanesi’nden araştırmacılar, AI chatbot’un, Ulusal Kapsamlı Kanser Ağı yönergeleriyle uyumlu kanser tedavisi için ne kadar tutarlı öneriler sağladığını değerlendirmeye çalıştı.
Ekibin JAMA Oncology’de yayınlanan bulguları, vakaların üçte birinde ChatGPT’nin uygunsuz veya “uyumsuz” bir öneri sağladığını ve teknolojinin sınırlamaları konusunda farkındalık ihtiyacını vurguladığını gösteriyor.
Radyasyon onkoloğu ve Sağlık Medical’de eğitmen olan yazar Danielle Bitterman, “Hastalar tıbbi durumları hakkında kendilerini eğitme konusunda kendilerini güçlendirilmiş hissetmeli, ancak her zaman bir klinisyenle görüşmeli ve İnternet’teki kaynaklara tek başına başvurulmamalıdır” dedi. Okul. “ChatGPT yanıtları insana çok benziyor ve oldukça ikna edici olabiliyor. Ancak konu klinik karar vermeye geldiğinde, her hastanın kendine özgü durumu için pek çok incelik vardır. Doğru cevap çok incelikli olabilir ve mutlaka ChatGPT’nin veya başka bir büyük dil modelinin sağlayabileceği bir şey olmayabilir.”
Tıbbi karar verme birçok faktörden etkilenebilse de Bitterman ve meslektaşları, ChatGPT’nin tavsiyelerinin ülke çapında doktorlar tarafından kullanılan NCCN yönergeleriyle ne ölçüde uyumlu olduğunu değerlendirmeyi seçtiler. En yaygın üç kansere (meme, prostat ve akciğer kanseri) odaklandılar ve ChatGPT’yi hastalığın ciddiyetine göre her kanser için bir tedavi yaklaşımı sağlamaya teşvik ettiler. Toplamda, araştırmacılar 26 benzersiz teşhis açıklaması eklediler ve ChatGPT’den bir tedavi yaklaşımı sağlamasını istemek için biraz farklı dört ipucu kullandılar ve toplam 104 ipucu oluşturdular.
Neredeyse tüm yanıtlar (yüzde 98), NCCN kılavuzlarıyla uyumlu en az bir tedavi yaklaşımını içeriyordu. Ancak araştırmacılar, bu yanıtların yüzde 34’ünün aynı zamanda bir veya daha fazla uyumsuz öneri içerdiğini ve bunların, aksi halde sağlam bir rehberlikle tespit edilmesinin bazen zor olduğunu buldu. Uyumlu olmayan bir tedavi önerisi, örneğin lokal olarak ilerlemiş bir meme kanseri için, başka bir tedavi yönteminden söz edilmeksizin yalnızca cerrahi öneri gibi yalnızca kısmen doğru olan bir öneri olarak tanımlandı. Özellikle, vakaların yalnızca yüzde 62’sinde tam bir anlaşma sağlandı; bu, hem NCCN yönergelerinin karmaşıklığının hem de ChatGPT çıktısının ne ölçüde belirsiz veya yorumlanmasının zor olabileceğinin altını çizdi.
Vakaların yüzde 12,5’inde ChatGPT “halüsinasyonlara” veya NCCN kılavuzlarında tamamen bulunmayan bir tedavi önerisine neden oldu. Bunlar, tedavi edici olmayan kanserler için yeni tedaviler veya iyileştirici tedavilere ilişkin önerileri içeriyordu. Yazarlar, bu tür yanlış bilgilerin hastaların tedaviye ilişkin beklentilerini yanlış şekilde ayarlayabileceğini ve potansiyel olarak klinisyen-hasta ilişkisini etkileyebileceğini vurguladı.
İleriye dönük olarak araştırmacılar, hem hastaların hem de klinisyenlerin, bir klinisyen tarafından yazılan tıbbi tavsiye ile geniş bir dil modeli arasında yazılan tıbbi tavsiyeyi ne kadar iyi ayırt edebildiklerini keşfedecekler. Ayrıca ChatGPT’yi klinik bilgisini daha da değerlendirmek için daha ayrıntılı klinik vakalarla yönlendirmeyi planlıyorlar.
Yazarlar, çalışmayı yürüttükleri sırada mevcut olan en büyük modellerden biri olan GPT-3.5-turbo-0301’i ve şu anda ChatGPT’nin açık erişim sürümünde kullanılan model sınıfını (daha yeni bir sürüm olan GPT-4, yalnızca ücretli abonelikle kullanılabilir). Ayrıca GPT-3.5-turbo-0301 Eylül 2021’e kadar olan veriler kullanılarak geliştirildiğinden 2021 NCCN yönergelerini de kullandılar.
Brigham’ın Tıpta Yapay Zeka Programından ilk yazar Shan Chen, “Çoğu zaman ‘halüsinasyonlar’ gözlemlendiğinden Yüksek Lisans’ların tutarlı mantıksal yanıtlar sağlaması açık bir araştırma sorusudur” dedi. “Kullanıcılar, tıpkı Google aramalarının kullanıldığı gibi, kendilerini sağlıkla ilgili konularda eğitmek için yüksek lisans eğitimlerinden yanıt arayacaklar. Aynı zamanda yüksek lisans eğitimlerinin eğitimli tıp profesyonellerinin eşdeğeri olmadığı konusunda farkındalık yaratmamız gerekiyor.”
Açıklamalar: Bitterman, Amerikan Kanser Araştırmaları Derneği’nden fon alıyor.
Finansman: Bu çalışma Woods Vakfı tarafından desteklenmiştir.
Ekibin JAMA Oncology’de yayınlanan bulguları, vakaların üçte birinde ChatGPT’nin uygunsuz veya “uyumsuz” bir öneri sağladığını ve teknolojinin sınırlamaları konusunda farkındalık ihtiyacını vurguladığını gösteriyor.
Radyasyon onkoloğu ve Sağlık Medical’de eğitmen olan yazar Danielle Bitterman, “Hastalar tıbbi durumları hakkında kendilerini eğitme konusunda kendilerini güçlendirilmiş hissetmeli, ancak her zaman bir klinisyenle görüşmeli ve İnternet’teki kaynaklara tek başına başvurulmamalıdır” dedi. Okul. “ChatGPT yanıtları insana çok benziyor ve oldukça ikna edici olabiliyor. Ancak konu klinik karar vermeye geldiğinde, her hastanın kendine özgü durumu için pek çok incelik vardır. Doğru cevap çok incelikli olabilir ve mutlaka ChatGPT’nin veya başka bir büyük dil modelinin sağlayabileceği bir şey olmayabilir.”
Tıbbi karar verme birçok faktörden etkilenebilse de Bitterman ve meslektaşları, ChatGPT’nin tavsiyelerinin ülke çapında doktorlar tarafından kullanılan NCCN yönergeleriyle ne ölçüde uyumlu olduğunu değerlendirmeyi seçtiler. En yaygın üç kansere (meme, prostat ve akciğer kanseri) odaklandılar ve ChatGPT’yi hastalığın ciddiyetine göre her kanser için bir tedavi yaklaşımı sağlamaya teşvik ettiler. Toplamda, araştırmacılar 26 benzersiz teşhis açıklaması eklediler ve ChatGPT’den bir tedavi yaklaşımı sağlamasını istemek için biraz farklı dört ipucu kullandılar ve toplam 104 ipucu oluşturdular.
Neredeyse tüm yanıtlar (yüzde 98), NCCN kılavuzlarıyla uyumlu en az bir tedavi yaklaşımını içeriyordu. Ancak araştırmacılar, bu yanıtların yüzde 34’ünün aynı zamanda bir veya daha fazla uyumsuz öneri içerdiğini ve bunların, aksi halde sağlam bir rehberlikle tespit edilmesinin bazen zor olduğunu buldu. Uyumlu olmayan bir tedavi önerisi, örneğin lokal olarak ilerlemiş bir meme kanseri için, başka bir tedavi yönteminden söz edilmeksizin yalnızca cerrahi öneri gibi yalnızca kısmen doğru olan bir öneri olarak tanımlandı. Özellikle, vakaların yalnızca yüzde 62’sinde tam bir anlaşma sağlandı; bu, hem NCCN yönergelerinin karmaşıklığının hem de ChatGPT çıktısının ne ölçüde belirsiz veya yorumlanmasının zor olabileceğinin altını çizdi.
Vakaların yüzde 12,5’inde ChatGPT “halüsinasyonlara” veya NCCN kılavuzlarında tamamen bulunmayan bir tedavi önerisine neden oldu. Bunlar, tedavi edici olmayan kanserler için yeni tedaviler veya iyileştirici tedavilere ilişkin önerileri içeriyordu. Yazarlar, bu tür yanlış bilgilerin hastaların tedaviye ilişkin beklentilerini yanlış şekilde ayarlayabileceğini ve potansiyel olarak klinisyen-hasta ilişkisini etkileyebileceğini vurguladı.
İleriye dönük olarak araştırmacılar, hem hastaların hem de klinisyenlerin, bir klinisyen tarafından yazılan tıbbi tavsiye ile geniş bir dil modeli arasında yazılan tıbbi tavsiyeyi ne kadar iyi ayırt edebildiklerini keşfedecekler. Ayrıca ChatGPT’yi klinik bilgisini daha da değerlendirmek için daha ayrıntılı klinik vakalarla yönlendirmeyi planlıyorlar.
Yazarlar, çalışmayı yürüttükleri sırada mevcut olan en büyük modellerden biri olan GPT-3.5-turbo-0301’i ve şu anda ChatGPT’nin açık erişim sürümünde kullanılan model sınıfını (daha yeni bir sürüm olan GPT-4, yalnızca ücretli abonelikle kullanılabilir). Ayrıca GPT-3.5-turbo-0301 Eylül 2021’e kadar olan veriler kullanılarak geliştirildiğinden 2021 NCCN yönergelerini de kullandılar.
Brigham’ın Tıpta Yapay Zeka Programından ilk yazar Shan Chen, “Çoğu zaman ‘halüsinasyonlar’ gözlemlendiğinden Yüksek Lisans’ların tutarlı mantıksal yanıtlar sağlaması açık bir araştırma sorusudur” dedi. “Kullanıcılar, tıpkı Google aramalarının kullanıldığı gibi, kendilerini sağlıkla ilgili konularda eğitmek için yüksek lisans eğitimlerinden yanıt arayacaklar. Aynı zamanda yüksek lisans eğitimlerinin eğitimli tıp profesyonellerinin eşdeğeri olmadığı konusunda farkındalık yaratmamız gerekiyor.”
Açıklamalar: Bitterman, Amerikan Kanser Araştırmaları Derneği’nden fon alıyor.
Finansman: Bu çalışma Woods Vakfı tarafından desteklenmiştir.