Mengapa model bisa mendapat skor sangat tinggi tetapi tetap tidak berguna?
Model bisa memperoleh nilai sangat tinggi tetapi tetap tidak berguna jika diuji dengan data yang sama dengan data pelatihannya, karena model mungkin hanya menghafal contoh tersebut, bukan mempelajari sesuatu yang berlaku untuk pelanggan baru.
Bayangkan sebuah bisnis langganan paket bahan masakan fiktif dengan 120 karyawan, Pantrybox. Seorang analis, Kofi, membuat model untuk memprediksi pelanggan mana yang akan berhenti berlangganan bulan depan agar tim retensi dapat menghubungi mereka lebih dahulu. Laporannya kepada kepala layanan pelanggan, Sian, berbunyi: 'Model A: akurasi 99%!! menggunakan 85 kolom termasuk ID pelanggan, kode pos, semua tanggal pesanan sebelumnya. Model B (sederhana, 2 kolom): 69% pada data pelatihan, 68% pada data uji. Model A pada data baru bulan lalu: 71%. Sekitar 30% pelanggan berhenti berlangganan setiap bulan.' Sian ingin tahu model mana yang sebaiknya digunakan, dan mengapa model dengan akurasi 99% berkinerja begitu buruk bulan lalu.
| Model | Akurasi pelatihan | Uji akurasi | Saran yang diberikan |
|---|---|---|---|
| Model A, 85 kolom | 99% | 71% | Pencocokan berlebih: menghafal pelanggan dalam data pelatihan |
| Model B, 2 kolom | 69% | 68% | Kurang mampu mempelajari pola: hanya sedikit lebih baik daripada selalu menebak 'tetap' |
Bagaimana cara mendiagnosis overfitting dan underfitting secara bertahap?
Identifikasi kedua masalah dengan membandingkan kinerja pada data pelatihan dengan kinerja pada data yang belum pernah dilihat model, lalu membandingkan keduanya dengan tolok ukur sederhana. Pola dari ketiga angka tersebut menunjukkan masalah yang Anda hadapi.
1. Sisihkan sebagian data
Sebelum pelatihan, sisihkan satu kumpulan data uji yang tidak pernah dilihat model. Menguji model dengan data yang digunakan untuk belajar adalah kesalahan mendasar, karena model yang hanya mengulangi apa yang pernah dilihatnya akan mendapat nilai sempurna tanpa mampu memprediksi apa pun.
2. Tetapkan acuan awal
Hitung skor yang akan diperoleh aturan sederhana. Di Pantrybox, sekitar 70% pelanggan tetap berlangganan setiap bulan, sehingga menebak 'tetap berlangganan' untuk semua pelanggan menghasilkan skor sekitar 70%. Model yang berguna harus memperoleh hasil yang jelas lebih baik dari itu.
3. Bandingkan pelatihan dan pengujian
Skor pelatihan yang tinggi dengan skor pengujian yang jauh lebih rendah menandakan overfitting. Skor rendah pada keduanya, mendekati nilai acuan, menandakan underfitting. Skor yang serupa dan baik pada keduanya menunjukkan kecocokan yang wajar.
4. Periksa kestabilan
Validasi silang melatih dan menguji model beberapa kali pada bagian-bagian berbeda dari data pelatihan, lalu menghitung rata-rata hasilnya. Jika skor sangat bervariasi antarbagian, model tersebut tidak andal.
5. Pilih solusi yang sesuai dengan masalah
Pencocokan berlebih dan pencocokan kurang memerlukan penanganan yang berlawanan, jadi identifikasi masalahnya sebelum Anda mengubah apa pun.
Bagaimana cara mengatasi overfitting dan underfitting?
Atasi overfitting dengan menyederhanakan model atau membuat datanya lebih representatif, dan atasi underfitting dengan memberi model informasi yang lebih berguna atau fleksibilitas yang lebih besar. Sederhananya:
Untuk overfitting
Hapus kolom yang mengidentifikasi individu, bukan perilaku, seperti ID pelanggan; gunakan data pelatihan yang mewakili pelanggan yang benar-benar akan Anda beri skor; utamakan model yang lebih sederhana; dan terapkan regularisasi, yang memberi penalti pada kompleksitas selama pelatihan agar model lebih memilih pola sederhana.
Untuk underfitting
Tambahkan fitur yang masuk akal berkaitan dengan pembatalan, seperti pengiriman yang dilewati, keluhan terbaru, atau perubahan harga; gunakan model yang lebih fleksibel; dan pastikan data tidak mengandung terlalu banyak gangguan atau kesalahan pelabelan hingga tidak ada model yang dapat belajar darinya.
Untuk keduanya
Jangan gunakan kumpulan data uji hingga tahap akhir. Jika Anda berulang kali menyetel model berdasarkan kumpulan data uji, informasi akan bocor ke dalam model dan skor pengujian tidak lagi menjadi perkiraan yang dapat dipercaya.
Seperti apa keputusan berdasarkan model prediksi kehilangan pelanggan yang lemah dan yang telah diperbaiki?
Keputusan yang lemah memilih Model A karena 99% adalah angka terbesar pada salindia. Dalam penggunaan nyata, hasilnya hanya sedikit lebih baik daripada menebak, dan tim retensi membuang waktu menelepon pelanggan yang sebenarnya tidak berniat pergi.
Keputusan yang diperbaiki berbunyi: 'Model A menghafal pelanggan secara individual: model ini menyertakan ID pelanggan dan tanggal pesanan yang tepat, sehingga mengenali orang yang pernah dilihatnya, bukan mempelajari alasan orang membatalkan. Model B terlalu sederhana untuk melampaui tolok ukur dasar 70%. Langkah berikutnya: Model C menggunakan enam fitur perilaku, termasuk pengiriman yang dilewati dalam sebulan terakhir, tiket dukungan, dan jumlah minggu sejak perubahan menu terakhir, dengan ID pelanggan dan kode pos dihapus. Target: skor pengujian yang jelas di atas 70% dan hanya terpaut beberapa poin dari skor pelatihannya, diperiksa dengan validasi silang lima lipatan, sebelum tim retensi mengandalkannya.' Sian kini memahami mengapa model dengan skor 99% gagal dan seperti apa hasil yang baik.
Bagaimana cara memastikan model tidak mengalami overfitting maupun underfitting?
Periksa model dengan memastikan bahwa skor pengujiannya mendekati skor pelatihannya, jelas lebih baik daripada tolok ukur dasar, dan stabil di berbagai lipatan validasi silang serta pada data baru selama satu bulan. Tanyakan juga apakah ada fitur yang baru dapat diketahui setelah hasil terjadi, misalnya alasan pembatalan; itu merupakan kebocoran data dan membuat kedua skor tampak lebih baik daripada kemampuan model yang sebenarnya.
Apa saja kesalahan umum terkait model yang terlalu menyesuaikan atau kurang menyesuaikan data pelatihan?
Kesalahan paling umum adalah melaporkan akurasi pada data pelatihan seolah-olah itu akurasi di dunia nyata. Kesalahan lainnya: mengabaikan tolok ukur dasar sehingga 70% tampak mengesankan padahal menebak saja bisa mencapai angka itu; menambahkan setiap kolom yang tersedia dengan harapan mendapat skor lebih tinggi; mengintip data pengujian saat melakukan penyetelan; dan menganggap penyesuaian berlebihan pada data pelatihan sebagai alasan untuk menambah kerumitan, padahal biasanya yang dibutuhkan justru sebaliknya.
Di bagian mana pelajaran ini berada di Tosheo.ai?
Pelajaran ini berada dalam kategori Pembelajaran Mesin dan mengikuti pengenalan model pada kursus pembelajaran mesin. Di Tosheo.ai, tugas praktik memberi Anda laporan model fiktif untuk dianalisis, dan umpan balik berdasarkan panduan penilaian memeriksa apakah Anda telah membandingkan hasil pelatihan, pengujian, dan acuan dasar sebelum menyarankan perbaikan. Ini adalah landasan profesional untuk bekerja bersama tim data; jalur Pemrograman opsional membahas pelatihan dan evaluasi model melalui kode.
Sumber dan cakupan
Kursus Singkat Machine Learning Google: pencocokan berlebihan (diperiksa 19 October 2026) ↗
Panduan pengguna scikit-learn: validasi silang (diperiksa 19 October 2026) ↗