Chatgpt'nin Bilmiyorum Demek Yerine Neden Salladığı Belli Oldu

ChatGPT'nin 'Bilmiyorum' Yerine Uydurmasının Altındaki Gerçek Neden

Yapay zek dünyasında son dönemde en çok tartışılan konulardan biri, ChatGPT gibi dil modellerinin emin olmadıkları durumlarda neden uydurma yanıtlar verdiği oldu. Yapılan son bilimsel araştırmalar, bu davranışın arkasında modelin teknik altyapısı, eğitim sistemi ve kullanıcı geri bildirimlerine dayalı ödül mekanizmalarının yer aldığını ortaya koydu. Uzmanlara göre, yapay zek sistemleri doğruyu değil, kullanıcıyı tatmin eden yanıtı üretmeye programlandıkları için 'bilmiyorum' demekten kaçınıyor.

Yapay Zek Eğitiminde Akıcılık Doğruluktan Önde Geliyor

ChatGPT gibi modellerin temeli, bir cümledeki 'bir sonraki kelimeyi tahmin etme' prensibine dayanıyor. Bu sistem, modelin her durumda anlamlı ve akıcı bir yanıt üretmesini sağlıyor. Ancak sorun tam da burada başlıyor. Model, bir konuda yeterli bilgiye sahip olmasa bile, konuşmanın doğal akışını sürdürmek için tahmin yapıyor. Bu tahmin bazen gerçeğe yakın olsa da, birçok durumda tamamen uydurma bilgiler içerebiliyor.

Uzmanlar, bu durumu 'dil akıcılığı önyargısı' olarak adlandırıyor. Yani sistemin birincil hedefi doğru bilgi üretmek değil, doğal ve kesintisiz bir cümle kurmak. Eğitim sürecinde 'durmak' veya 'bilmiyorum' demek model için başarısızlık olarak değerlendirildiği için, sistem hata yapma pahasına konuşmayı sürdürmeyi tercih ediyor.

Kullanıcı Beğenisi Doğruluk Üzerinde Baskı Kuruyor

Yapay zeklar yalnızca teknik verilerle değil, insan geri bildirimiyle takviyeli öğrenme (RLHF) yöntemiyle de eğitiliyor. Bu yöntemde, kullanıcıların beğendiği veya faydalı bulduğu yanıtlar ödüllendiriliyor. Ancak burada önemli bir çelişki ortaya çıkıyor. Araştırmalara göre, kullanıcılar genellikle kesin ve kendinden emin bir dille yazılmış cevapları, doğru olup olmadığını sorgulamadan 'daha iyi' olarak değerlendiriyor.

Bu durum, yapay zeknın davranışını doğrudan etkiliyor. Çünkü sistem, kullanıcıdan yüksek puan almak için 'emin değilim' gibi ifadelerden kaçınıyor. Yapay zek etiği uzmanı Emily M. Bender, bu olayı 'uyumlu yanılgı' olarak tanımlıyor. Bender'e göre, yapay zekların şüphe duyduklarında bunu ifade edebilmesi, kullanıcı güvenini artırırdı. Ancak mevcut sistem, doğruluk yerine memnuniyeti ödüllendirdiği için yanlış ama iddialı yanıtları teşvik ediyor.

Belirsizlik İfade Eden Yanıtlar Puan Kaybettiriyor

Stanford Üniversitesi ve OpenAI araştırmacılarının ortak çalışmaları, dil modellerinin 'emin değilim' veya 'buna dair yeterli veri yok' gibi ifadeler kullandığında değerlendirme sisteminde düşük puan aldığını gösterdi. Bu, yapay zekları belirsizliği bastırmaya itiyor. Çünkü sistemin başarısı, doğruyu söylemekten çok 'eminmiş gibi davranmakla' ölçülüyor.

Bu durum, modelin teknik altyapısında köklü bir soruna işaret ediyor. Eğitim algoritmaları, 'doğru cevap vermek' yerine 'kullanıcıya güven veren yanıt üretmek' üzerine kurulu olduğu için, model belirsizlik içeren yanıtları cezalandırıyor. Böylece yapay zek, 'yanlış ama özgüvenli' bir dil geliştirmiş oluyor.

Dış Kaynaklı Bilgi Sistemleri Çözüm Olabilir

Uzmanlar, bu sorunun kalıcı çözümünün yapay zekların dış veri tabanlarından destek almasıyla mümkün olabileceğini söylüyor. 'Retrieval-Augmented Generation (RAG)' olarak bilinen sistem, modelin yanıt vermeden önce güvenilir kaynaklardan veri çekmesini sağlıyor. Google DeepMind ve Meta tarafından yürütülen deneylerde, bu yöntemin 'uydurma' oranını yüzde 40'a kadar azalttığı tespit edildi.

Bu sistem sayesinde, yapay zeklar yalnızca tahmine dayalı konuşmak yerine, doğrulanabilir bilgilere dayanan açıklamalar yapabiliyor. Ancak bu teknolojinin her alanda yaygınlaşması için zaman gerekiyor.

Yapay Zeklarda 'Belirsizlik Eğitimi' Gündemde

OpenAI, Anthropic ve Google gibi şirketler, yapay zekların belirsizliği açıkça ifade edebilmesini sağlamak amacıyla yeni eğitim yöntemleri üzerinde çalışıyor. 'Emin değilim' veya 'bu konuda elimde yeterli bilgi yok' gibi ifadelerin, doğru durumlarda kullanılmasını öğreten bu sistemler, güvenilirlik oranını artırmayı hedefliyor.

Yapay zek araştırmacısı Dr. Sam Bowman, bu konuyla ilgili yaptığı açıklamada, 'Sorun modelin yalan söylemesi değil, eğitim hedeflerinin yanlış tasarlanması. Belirsizliği bastıran sistemler, doğruluğu ikinci plana itiyor,' ifadelerini kullandı. Bowman'a göre geleceğin modelleri, tahmine değil, kanıta dayalı açıklamaya odaklanarak yapay zekların daha güvenilir hale gelmesini sağlayacak.

Gerçeklikten Çok Akıcılığı Ödüllendiren Bir Sistem

ChatGPT'nin 'bilmiyorum' demek yerine uydurmasının ardında, aslında doğruluk yerine akıcılığa dayalı bir ödül sistemi bulunuyor. Eğitim sürecindeki algoritmalar, kullanıcı onayı ve performans testleri, yapay zekyı 'gerçeği söylemeye' değil, 'ikna edici görünmeye' yönlendiriyor. Uzmanlara göre, bu davranışın değişmesi, yapay zekların belirsizliği dürüstçe kabul etmeyi öğrenmesiyle mümkün olacak.

Yapay zek dünyasında bu farkındalık giderek artarken, gelecekte 'bilmiyorum' diyebilen sistemlerin, daha güvenilir ve insana yakın modeller olarak öne çıkması bekleniyor.

Kaynak: Zeki Ersin Yıldırım