Bir model nasıl çok yüksek puan alıp yine de işe yaramaz olabilir?
Bir model, öğrendiği verilerle test edildiğinde çok yüksek puan alıp yine de işe yaramaz olabilir; çünkü yeni müşterilere de uygulanabilecek bir şey öğrenmek yerine bu örnekleri ezberlemiş olabilir.
120 kişilik hayali bir yemek kiti abonelik işletmesi olan Pantrybox'ı düşünün. Analist Kofi, müşteri tutma ekibinin öncelikle arayabilmesi için gelecek ay hangi abonelerin aboneliğini iptal edeceğini tahmin eden bir model geliştiriyor. Müşteri ilişkileri sorumlusu Sian'a gönderdiği güncelleme şöyle: 'Model A: 99% doğruluk!! müşteri kimliği, posta kodu, geçmişteki tüm sipariş tarihleri dahil 85 sütun kullanıyor. Model B (basit, 2 sütun): eğitimde 69%, testte 68%. Model A, geçen ayın yeni verilerinde: 71%. Müşterilerin yaklaşık 30% kadarı her ay iptal ediyor.' Sian hangi modeli kullanması gerektiğini ve 99% doğruluk sağlayan modelin geçen ay neden bu kadar kötü sonuç verdiğini öğrenmek istiyor.
| Model | Eğitim doğruluğu | Doğruluğu test edin | Ne önerir? |
|---|---|---|---|
| Model A, 85 sütun | 99% | 71% | Aşırı öğrenme: eğitim verilerindeki müşterileri ezberleme |
| Model B, 2 sütun | 69% | 68% | Yetersiz öğrenme: her seferinde 'kalır' tahmininde bulunmaktan ancak biraz daha iyi |
Aşırı öğrenme ve eksik öğrenme adım adım nasıl tespit edilir?
Her iki sorunu da belirlemek için modelin eğitim verilerindeki performansını daha önce hiç görmediği verilerdeki performansıyla karşılaştırın ve her ikisini de basit bir referans modelle kıyaslayın. Bu üç sayının oluşturduğu örüntü, hangi sorunla karşı karşıya olduğunuzu gösterir.
1. Verileri paylaşmayın
Eğitimden önce, modelin hiç görmeyeceği bir test kümesini ayırın. Bir modeli öğrendiği verilerle test etmek temel bir hatadır; çünkü gördüklerini yalnızca tekrarlayan bir model tam puan alır ama hiçbir şeyi tahmin edemez.
2. Bir başlangıç düzeyi belirleyin
Çok basit bir kuralın ne kadar başarı sağlayacağını hesaplayın. Pantrybox'ta müşterilerin yaklaşık 70%'i her ay müşteri olarak kalıyor; dolayısıyla herkes için 'kalır' tahmininde bulunmak yaklaşık 70% doğruluk sağlıyor. Yararlı bir modelin bu oranı açıkça aşması gerekir.
3. Eğitim ve test sonuçlarını karşılaştırın
Yüksek eğitim puanına karşılık çok daha düşük bir test puanı, aşırı öğrenmeye işaret eder. Her iki puanın da düşük ve referans puana yakın olması, yetersiz öğrenmeye işaret eder. Her iki puanın da benzer ve iyi düzeyde olması, makul bir uyuma işaret eder.
4. Kararlılığı kontrol edin
Çapraz doğrulama, modeli eğitim verisinin farklı bölümleri üzerinde birkaç kez eğitip test eder ve sonuçların ortalamasını alır. Puanlar bölümler arasında büyük ölçüde değişiyorsa model kırılgandır.
5. Soruna uygun bir çözüm seçin
Aşırı öğrenme ve eksik öğrenme birbirine zıt çözümler gerektirir. Bu yüzden herhangi bir şeyi değiştirmeden önce sorunun ne olduğunu belirleyin.
Aşırı öğrenme ve yetersiz öğrenme nasıl giderilir?
Aşırı öğrenmeyi, modeli basitleştirerek veya verilerini daha temsil edici hale getirerek; yetersiz öğrenmeyi ise modele daha yararlı bilgiler ya da daha fazla esneklik sağlayarak giderin. Daha basit bir ifadeyle:
Aşırı öğrenme için
Müşteri kimliği gibi, davranış yerine kişileri tanımlayan sütunları kaldırın; gerçekten puanlayacağınız müşterileri temsil eden eğitim verileri kullanın; daha basit bir modeli tercih edin ve modelin daha basit örüntülere yönelmesi için eğitim sırasında karmaşıklığı cezalandıran düzenlileştirmeyi uygulayın.
Yetersiz öğrenme için
Atlanan teslimatlar, son dönemdeki şikâyetler veya fiyat değişikliği gibi iptalle ilişkili olması makul görünen özellikler ekleyin; daha esnek bir modele olanak tanıyın ve verilerin, hiçbir modelin öğrenemeyeceği kadar gürültülü veya yanlış etiketlenmiş olmadığını kontrol edin.
Her ikisi için
Test kümesine sona kadar dokunmayın. Modeli tekrar tekrar test kümesine göre ayarlarsanız bilgi modele sızar ve test puanı artık gerçeği yansıtan bir tahmin olmaktan çıkar.
Müşteri kaybı modeline ilişkin yetersiz ve iyileştirilmiş bir karar nasıl olur?
Zayıf karar, slayttaki en büyük sayı 99% olduğu için Model A'yı seçer. Model, kullanımda rastgele tahminden ancak biraz daha iyidir ve müşteri bağlılığı ekibi, zaten ayrılmayacak müşterileri arayarak zaman kaybeder.
İyileştirilmiş karar metni şöyledir: 'Model A, müşterileri tek tek ezberlemiş: müşteri kimliğini ve kesin sipariş tarihlerini içerdiğinden, insanların neden iptal ettiğini öğrenmek yerine daha önce gördüğü kişileri tanımış. Model B, %70 temel başarı düzeyini aşamayacak kadar basit. Sonraki adım: Model C, son ayda atlanan teslimatlar, destek talepleri ve son menü değişikliğinden bu yana geçen hafta sayısı dahil altı davranış özelliği kullanacak; müşteri kimliği ve posta kodu çıkarılacak. Hedef: müşteri kaybını önleme ekibi modele güvenmeden önce, beş katlı çapraz doğrulamayla kontrol edilmiş, %70 düzeyinin belirgin biçimde üzerinde ve eğitim puanından en fazla birkaç puan uzakta bir test puanı elde etmek.' Sian artık %99 başarı gösteren modelin neden başarısız olduğunu ve iyi bir sonucun nasıl olması gerektiğini biliyor.
Bir modelde aşırı öğrenme veya eksik öğrenme olmadığını nasıl kontrol edersiniz?
Bir modeli kontrol etmek için test puanının eğitim puanına yakın, temel karşılaştırma puanından belirgin biçimde daha iyi ve hem çapraz doğrulama bölümleri arasında hem de yeni bir aya ait verilerde istikrarlı olduğunu doğrulayın. Ayrıca iptal nedeni gibi herhangi bir özelliğin yalnızca sonuç ortaya çıktıktan sonra bilinip bilinemeyeceğini sorun; bu, veri sızıntısıdır ve her iki puanı da modelin gerçek performansından daha iyi gösterir.
Aşırı öğrenme ve eksik öğrenme konusunda sık yapılan hatalar nelerdir?
En yaygın hata, eğitim doğruluğunu gerçek hayattaki doğrulukmuş gibi raporlamaktır. Diğer hatalar: temel karşılaştırma düzeyini göz ardı ederek, tahmin ederek de elde edilebilecek 70% oranını etkileyici sanmak; daha yüksek puan umuduyla mevcut tüm sütunları eklemek; ayarlama yaparken test kümesine bakmak ve aşırı öğrenmeyi, genellikle tam tersi gerekirken karmaşıklığı artırmak için gerekçe saymak.
Bu dersin Tosheo.ai içindeki yeri nedir?
Bu ders, makine öğrenmesi kategorisindedir ve makine öğrenmesi kursunda modellere giriş dersini izler. Tosheo.ai'daki uygulamalı görevde size sorunlarını belirlemeniz için kurgusal bir model raporu verilir. Puanlama kılavuzuna dayalı geri bildirim, bir düzeltme önermeden önce eğitim, test ve temel karşılaştırma sonuçlarını karşılaştırıp karşılaştırmadığınızı kontrol eder. Veri ekipleriyle birlikte çalışmak için mesleki bir temel sağlar; isteğe bağlı kodlama programı, modelleri kod yazarak eğitmeyi ve değerlendirmeyi kapsar.
Kaynaklar ve kapsam
Google Hızlandırılmış Makine Öğrenimi Kursu: aşırı öğrenme (19 Ekim 2026 tarihinde kontrol edildi) ↗
scikit-learn kullanıcı kılavuzu: çapraz doğrulama (kontrol tarihi: 19 October 2026) ↗