Makalenin ilk yazarı Kristyn Beam de yapay zekanın yeteneklerinden etkilendi ancak testte buna karşı çıktığını itiraf etti.
“İyi gitmemesini istedim, bu açıdan bakıldığında mutluydum” dedi. “Bu biraz varoluşsal bir şey; tüm bunları yapabilmek için onlarca yıldır eğitim alıyorsunuz, sonra bir bilgisayar gelip aniden bunu yapabiliyor.”
Bununla birlikte, modelin daha yeni versiyonlarının daha iyi performans göstermesinin yanı sıra, bir sonraki yineleme olan GPT4’ü aynı teste ve anesteziyoloji kurulu sınavına göre test ettiklerini, aynı zamanda insanların bunun ne yapabileceğini ve yapabileceğini anladıktan sonra farkına varıyor. Aksi takdirde doktor muayenehanelerinde ve hastane kliniklerinde potansiyel olarak güçlü bir araç olacaktır.
“Sanırım bu ilk direnci aşıp ‘Bu geliyor, bu işimi daha iyi yapmama nasıl yardımcı olabilir?’ o zaman ‘Geçen birkaç on yıl ne içindi?’ hissini aşabilirsiniz. Bu kadar sıkı çalışmayı ne için yaptım?’” dedi. “Bunu klinik dünyaya nasıl getireceğimizi bulmak ve güvenli bir şekilde getirmek gerçekten önemli; böylece hastaları kötü bir şekilde etkilemeyeceğiz, ancak elimizden gelen en iyi bakımı sunmak için elimizdeki her aracı kullanacağız. ”
Tıpta yapay zekaya odaklanan NEJM AI adlı yeni derginin kurucu editörü Andrew Beam, bu sürecin bir kısmının bu büyük dil modellerinin ne olduğunu ve yaptıklarını neden yaptıklarını anlamaya bağlı olacağını söyledi.
Bu modellerin temelde tahmin makineleri olduğunu ve uyarılara karşı olağanüstü duyarlı olduklarını, ancak kullanıcının gerçekte ne istediği ve hatta cevabın doğru olup olmadığı gibi bir insanın önemli olduğunu düşünebileceği şeylere karşı duyarsız olduklarını söyledi.
Aslında, daha teknik taleplerde yanlış yanıtlar yaygın olabilir çünkü soruyu yanıtlayan insanların çoğu soruyu yanlış anlamıştır. Geçici bir çözümün, modelin sanki bir uzman ya da dünyadaki en zeki kişiymiş gibi yanıt vermesini istemek olduğunu söyledi.
“Çok benzer 1000 soru okunduğunu hayal edin ve bunun çok zor bir soru olduğunu, gönderilerde okuduğunu ve 10 sorudan dokuzunda, ardından gelen metnin yanlış olduğunu hayal edin. Andrew Beam, gerçekte gördüğü ortalama tamamlanmanın yanlış olduğunu söyledi. “Fakat bir nevi üçgenleme yapabiliyor ve gerçekten akıllı insanların bunu gerçekten doğru anladığını biliyor. … Genellikle varsayılan tamamlama doğru olanıdır, ancak bazı durumlarda değildir. Sana doğru olanı vermesi için onu kandırman gerekiyor.”
Diğer bir konu da “halüsinasyonlar” olarak adlandırılan durumdur; eğer cevap veri setinde değilse, büyük dil modeli, tamamen hayali olsa da oldukça ikna edici görünecek şekilde biçimlendirilmiş kaynaklar da dahil olmak üzere bazı şeyleri telafi edebilir.
Bu sınırlamaların farkında olmak önemli ancak Andrew Beam bunların uzun süre sorun yaratacağını düşünmediğini söyledi. Bunların hiçbirinin temel teoriyle ilgili sorunlar olmadığını ve geçici çözümlerin halihazırda tasarlanmakta olduğunu söyledi. Doğru cevaplarla sonuçlanan yönlendirmeler oluşturmak, “hızlı mühendislik”in yeni bir iş tanımı haline gelmesine yetecek kadar önemli kabul edildi.
Andrew Beam, “Bunu, yapay zekanın yapmasını istediğiniz şeyi yapmasını sağlamak için ona doğru mistik ifadeyi söylemeniz gereken büyüler gibi düşünüyorum” dedi. “Birçok insan bunun kulağa tamamen gerçekçi gelen şeyleri mutlu bir şekilde telafi edeceğinin farkında değil.”
Beam, tüm bunların bir sonucu olarak, belirli bir büyük dil modelinin hangi versiyonunu kullandığınızı bilmenin önemli olduğunu söyledi. Örneğin, geçen yılın sonlarında piyasaya sürülen ChatCPT 3.5, başka bir sürüm olan GPT4 daha doğru olmasına rağmen hâlâ şirketin web sitesinde ücretsiz olarak mevcuttur. Bu sürüm abonelik esasına göre mevcuttur. Çoğu kullanıcının muhtemelen ücretsiz araca ilgi duyacağını ve sınırlamalarını akılda tutması gerektiğini söyledi.
Andrew Beam, “Yapay zeka, 15 veya 20 yıldır ilgi duyduğum bir konu ve her zaman olacak bir şey değil, olacak bir şey oldu” dedi. “Şu anda kesinlikle bir şeyler oluyormuş gibi hissediyorum. Bu niteliksel olarak farklı hissettiriyor.”
“İyi gitmemesini istedim, bu açıdan bakıldığında mutluydum” dedi. “Bu biraz varoluşsal bir şey; tüm bunları yapabilmek için onlarca yıldır eğitim alıyorsunuz, sonra bir bilgisayar gelip aniden bunu yapabiliyor.”
Bununla birlikte, modelin daha yeni versiyonlarının daha iyi performans göstermesinin yanı sıra, bir sonraki yineleme olan GPT4’ü aynı teste ve anesteziyoloji kurulu sınavına göre test ettiklerini, aynı zamanda insanların bunun ne yapabileceğini ve yapabileceğini anladıktan sonra farkına varıyor. Aksi takdirde doktor muayenehanelerinde ve hastane kliniklerinde potansiyel olarak güçlü bir araç olacaktır.
“Sanırım bu ilk direnci aşıp ‘Bu geliyor, bu işimi daha iyi yapmama nasıl yardımcı olabilir?’ o zaman ‘Geçen birkaç on yıl ne içindi?’ hissini aşabilirsiniz. Bu kadar sıkı çalışmayı ne için yaptım?’” dedi. “Bunu klinik dünyaya nasıl getireceğimizi bulmak ve güvenli bir şekilde getirmek gerçekten önemli; böylece hastaları kötü bir şekilde etkilemeyeceğiz, ancak elimizden gelen en iyi bakımı sunmak için elimizdeki her aracı kullanacağız. ”
Tıpta yapay zekaya odaklanan NEJM AI adlı yeni derginin kurucu editörü Andrew Beam, bu sürecin bir kısmının bu büyük dil modellerinin ne olduğunu ve yaptıklarını neden yaptıklarını anlamaya bağlı olacağını söyledi.
Bu modellerin temelde tahmin makineleri olduğunu ve uyarılara karşı olağanüstü duyarlı olduklarını, ancak kullanıcının gerçekte ne istediği ve hatta cevabın doğru olup olmadığı gibi bir insanın önemli olduğunu düşünebileceği şeylere karşı duyarsız olduklarını söyledi.
Aslında, daha teknik taleplerde yanlış yanıtlar yaygın olabilir çünkü soruyu yanıtlayan insanların çoğu soruyu yanlış anlamıştır. Geçici bir çözümün, modelin sanki bir uzman ya da dünyadaki en zeki kişiymiş gibi yanıt vermesini istemek olduğunu söyledi.
“Çok benzer 1000 soru okunduğunu hayal edin ve bunun çok zor bir soru olduğunu, gönderilerde okuduğunu ve 10 sorudan dokuzunda, ardından gelen metnin yanlış olduğunu hayal edin. Andrew Beam, gerçekte gördüğü ortalama tamamlanmanın yanlış olduğunu söyledi. “Fakat bir nevi üçgenleme yapabiliyor ve gerçekten akıllı insanların bunu gerçekten doğru anladığını biliyor. … Genellikle varsayılan tamamlama doğru olanıdır, ancak bazı durumlarda değildir. Sana doğru olanı vermesi için onu kandırman gerekiyor.”
Diğer bir konu da “halüsinasyonlar” olarak adlandırılan durumdur; eğer cevap veri setinde değilse, büyük dil modeli, tamamen hayali olsa da oldukça ikna edici görünecek şekilde biçimlendirilmiş kaynaklar da dahil olmak üzere bazı şeyleri telafi edebilir.
Bu sınırlamaların farkında olmak önemli ancak Andrew Beam bunların uzun süre sorun yaratacağını düşünmediğini söyledi. Bunların hiçbirinin temel teoriyle ilgili sorunlar olmadığını ve geçici çözümlerin halihazırda tasarlanmakta olduğunu söyledi. Doğru cevaplarla sonuçlanan yönlendirmeler oluşturmak, “hızlı mühendislik”in yeni bir iş tanımı haline gelmesine yetecek kadar önemli kabul edildi.
Andrew Beam, “Bunu, yapay zekanın yapmasını istediğiniz şeyi yapmasını sağlamak için ona doğru mistik ifadeyi söylemeniz gereken büyüler gibi düşünüyorum” dedi. “Birçok insan bunun kulağa tamamen gerçekçi gelen şeyleri mutlu bir şekilde telafi edeceğinin farkında değil.”
Beam, tüm bunların bir sonucu olarak, belirli bir büyük dil modelinin hangi versiyonunu kullandığınızı bilmenin önemli olduğunu söyledi. Örneğin, geçen yılın sonlarında piyasaya sürülen ChatCPT 3.5, başka bir sürüm olan GPT4 daha doğru olmasına rağmen hâlâ şirketin web sitesinde ücretsiz olarak mevcuttur. Bu sürüm abonelik esasına göre mevcuttur. Çoğu kullanıcının muhtemelen ücretsiz araca ilgi duyacağını ve sınırlamalarını akılda tutması gerektiğini söyledi.
Andrew Beam, “Yapay zeka, 15 veya 20 yıldır ilgi duyduğum bir konu ve her zaman olacak bir şey değil, olacak bir şey oldu” dedi. “Şu anda kesinlikle bir şeyler oluyormuş gibi hissediyorum. Bu niteliksel olarak farklı hissettiriyor.”