Yapay zeka çıktısının doğruluğu nasıl kontrol edilir?

Makul görünen bir yanıt neden yeterli değil?

Akla yatkın bir yanıt yeterli değildir; çünkü üretken yapay zeka, yanlış bir ifadeyi, uydurma bir kaynak atfını veya yanlış bağlamda kullanılan doğru bir bilgiyi aynı kendinden emin üslupla sunabilir. Akıcı anlatım, bu sorunların gözden kaçmasını kolaylaştırır. NIST Üretken Yapay Zeka Profili, bilgi uydurmayı bir risk olarak tanımlar ve önerdiği eylemler arasında yapay zeka çıktılarındaki kaynakların ve atıfların incelenip doğrulanmasına yer verir.

NIST ayrıca yapay zeka çıktılarının, yanıtı haklı gösteriyormuş gibi görünen uydurma akıl yürütmeler veya kaynak atıfları içerebileceğini ve bunun insanların yanıta yersiz biçimde güvenmesine yol açabileceğini belirtiyor. Düzgün bir akıl yürütme zinciri, sonucun doğru olduğunun kanıtı değildir. Yapay zeka halüsinasyonları kılavuzu bunun neden olduğunu açıklar; bu kılavuz ise kontrol sürecine odaklanır.

Önce hangi iddiaları kontrol etmelisiniz?

Önce yanlış olması hâlinde en ciddi sonuçları doğuracak iddiaları ve uydurulma olasılığı en yüksek olanları kontrol edin. Düşük riskli bir kurum içi taslağın her kelimesini doğrulamanız nadiren gerekir; ancak müşteriye sunulan bir teklifteki rakamı her zaman doğrulamanız gerekir. Tablo, yaygın iddia türleri için pratik bir önceliklendirme aracıdır. Bunu ekibinizin işine ve onay kurallarına uyarlayın.

Bir kaynak atfını nasıl incelemelisiniz?

Asıl kaynağı açın ve ifadeyi destekleyen bölümü bulun. Yazarı veya yayıncıyı, tarihi, kapsamı ve varsa sınırlayıcı açıklamaları kontrol edin. Sayfa farklı bir grubu, dönemi veya soruyu ele alıyorsa bağlantının gerçek olması yeterli değildir. Başka birinin aynı kontrolü yapabilmesi için kaynağı kaydedin.

İfadeyi destekleyen bölümü bulamıyorsanız modelden kendi kaynak atfını doğrulamasını isteyip bununla yetinmeyin. Eksik kanıtı isteyin, ifadeyi kaldırın veya çözüme kavuşmamış olarak işaretleyin. İkinci bir model soru önerileri sunabilir; ancak iki modelin aynı fikirde olması bağımsız doğrulama değildir. İkisi de aynı, makul görünen hatayı öğrenmiş olabilir.

Rakamlar ve akıl yürütme nasıl kontrol edilir?

Önemli sayıları sağlanan verilerden formül, özet tablo veya hesap makinesi gibi bağımsız bir yöntemle yeniden hesaplayın. Birimleri, dönemi ve karşılaştırma temelini doğrulayın. Toplam doğru olsa bile neden değiştiğine dair açıklama dayanaksız olabilir; bu nedenle aritmetik hesabı, nedene ilişkin iddialardan ayrı tutun.

Kurgusal bir tabloda gelir 80 birimden 92 birime, maliyetler ise 50 birimden 61 birime çıkıyor. Değişimler 12 ve 11 birim olduğundan kâr 30 birimden 31 birime yükseliyor. Tablo tek başına bu değişimin yeni bir müşteriden, fiyat değişikliğinden veya zamanlamadan kaynaklanıp kaynaklanmadığını açıklamıyor. Özenli bir özet, değişimi belirtir ve nedeni konusunda kesin bir yargıya varmaz ya da nedeni netleştirecek kanıtı belirtir. Otomatik oluşturulan özetlerde sık görülen yüzde ile yüzde puanın karıştırılmasına da dikkat edin.

Yapay zekanın hazırladığı belge özetindeki bilgilerin doğruluğu nasıl kontrol edilir?

Yapay zeka özetinin hem söylediklerini hem de dışarıda bıraktıklarını kontrol edin. Önce özetten üç veya dört ifade seçin ve her birini asıl metinde bulun. Ardından asıl metnin başlıklarını veya her bölümün ilk satırlarını okuyup önemli bir şeyin eksik olup olmadığını değerlendirin. Son olarak, atlanan sınırlayıcı ifadeleri arayın: olabilir ifadesinin olacak hâline gelmesi, bazı durumlarda ifadesinin her zaman hâline gelmesi veya onaya bağlı ifadesinin tamamen kaybolması gibi.

Özet bir karara temel olacaksa araçtan özetlemeden önce her madde için alıntılar sunmasını isteyin. Anthropic'in Claude belgeleri, uzun belgeler için bu yöntemi ve araçtan alıntıyla destekleyemediği iddiaları kaldırmasını istemeyi önerir. Bu, özeti kontrol etmeyi hızlandırır; ancak alıntıları yine de sayfadaki metinle karşılaştırmanız gerekir.

Kapsamlı bir doğruluk kontrolü nasıl yapılır?

İşte alıştırma için kasıtlı olarak hatalı hazırlanmış bir taslak. Kurgusal bir ajans olan Kestrel Studio, bir asistandan müşterinin sağladığı ürün brifini bir teklif sunumunda kullanılmak üzere tek paragrafta özetlemesini istedi. Brifte, müşterinin planlama uygulamasının Mart 2025'te kullanıma sunulduğu, ücretsiz ve ücretli birer paketi olduğu ve kendi kullanıcılarından 200 kişinin katıldığı bir ankette çoğunluğun uygulamayı haftalık kullandığının görüldüğü belirtiliyor.

Yapay zeka taslağı: 2024 başlarında kullanıma sunulan uygulama, kısa sürede Birleşik Krallık'ın en popüler planlama uygulamalarından biri haline geldi. Yakın zamanda yapılan bağımsız bir anket, kullanıcıların yüzde 85'inin uygulamayı her gün açtığını gösteriyor. Ücretsiz ve ücretli üst paket seçenekleri sunuyor.

İddia iddia kontrol. Lansman tarihi: görev tanımında Mart 2025 yazıyor; dolayısıyla 2024 başı yanlış. Birleşik Krallık'taki en popüler planlama araçlarından biri: görev tanımında bunu destekleyen hiçbir şey yok, bu nedenle çıkarın. Yakın tarihli bağımsız anket: görev tanımında müşterinin kendi kullanıcılarıyla yaptığı anket anlatılıyor; dolayısıyla bağımsız ifadesi yanlış. Her gün yüzde 85: görev tanımında çoğunun aracı haftalık kullandığı yazıyor; dolayısıyla hem oran hem de kullanım sıklığı uydurulmuş. Ücretsiz ve ücretli seçenekler: kaynakta destekleniyor.

Gözden geçirilmiş paragraf: Mart 2025 tarihinde kullanıma sunulan uygulamanın ücretsiz ve ücretli seçenekleri bulunuyor. Müşterinin 200 kullanıcıyla yaptığı kendi anketinde, katılımcıların çoğu uygulamayı haftalık olarak kullandığını belirtti. İnceleme notunda dört düzeltme ve kaldırılan bir iddia listeleniyor; sunum müşteriye gönderilmeden önce müşteri sorumlusu onay veriyor.

Yapay zeka, kendi ürettiği içeriğin doğruluğunu kontrol etmenize yardımcı olabilir mi?

Yapay zeka, doğruluk kontrolünü düzenlemeye yardımcı olabilir ancak bu kontrolü tamamlayamaz. Yararlı talimatlar şunlardır: bu taslaktaki olgusal iddiaların tümünü numaralı bir liste halinde sırala; her iddia için ekteki kaynakta onu destekleyen cümleyi alıntıla veya Desteklenmiyor yaz; kaynakta yer almayan sayısal verileri belirle. Bunlar bir paragrafı kontrol listesine dönüştürür.

Yapay zeka bağımsız bir doğrulama yapamaz. Aynı araca yanıtının doğru olup olmadığını sormak, genellikle doğru olduğuna dair güvence vermesiyle sonuçlanır. Anthropic'in belgelerinde açıklanan, aynı soruyu birkaç kez sorup yanıtları karşılaştırma tekniği tutarsızlıkları ortaya çıkarabilir; ancak tutarlı yanıtlar da her seferinde yanlış olabilir. Son adım her zaman kaynağı açıp incelemek veya rakamı yeniden hesaplamaktır.

İnceleme kayıtları neleri içermeli?

İlk iddiayı, onu kontrol etmek için kullanılan kaynağı veya hesaplamayı, düzeltmeyi ve hâlâ yanıtlanmamış soruları saklayın. Çıktının amaçlanan kullanıma uygun olup olmadığına karar vermekten sorumlu kişiyi belirtin. Bu kayıt, tüm risklerin ortadan kalktığını varsaymadan incelemenin denetlenebilir olmasını sağlar.

İncelemenin kaydını tutmak için özel bir yazılım gerekmez. Çoğu kurum içi iş için belgenin sonuna eklenen kısa bir not veya bir yorum dizisi yeterlidir. Müşteriye teslim edilecek işlerde normal onay sürecinizi izleyin; yapay zeka desteği, son onayı kimin vereceğini değiştirmez.

Bu kontrol listesi ne zaman yeterli değildir?

Bu kontrol listesi, işleyişe yönelik bir rutindir; doğruluk belgesi değildir. Hukuki danışmanlık, düzenleyici kurumlara yapılan bildirimler, tıbbi bilgiler veya güvenlik bilgileri, denetlenmiş mali rakamlar ya da bir kişinin istihdamına ilişkin kararlar için yeterli değildir. Taslağı hangi araç üretmiş olursa olsun, bunlar yetkin bir incelemeci ve birincil kaynaklar gerektirir.

İhtiyacınızdan fazlası da olabilir. Bir beyin fırtınası, toplantı gündemi fikirleri listesi veya yalnızca sizin okuyacağınız kaba bir ilk taslak, nadiren her iddianın tek tek kontrol edilmesini gerektirir. Kontrolün kapsamını, yanlış olmanın doğuracağı sonuca göre belirleyin.

Kaynaklar ve kapsam

NIST, AI 600-1: Üretken yapay zeka profili, July 2024 ↗

Anthropic, Claude belgeleri: Halüsinasyonları azaltma, erişim tarihi: 16 Ekim 2026 ↗