Vì sao một mô hình có thể đạt điểm rất cao mà vẫn vô dụng?
Một mô hình có thể đạt điểm rất cao mà vẫn vô dụng khi được kiểm thử trên chính dữ liệu đã dùng để học, vì nó có thể chỉ ghi nhớ các ví dụ đó thay vì học được điều có thể áp dụng cho khách hàng mới.
Hãy hình dung một doanh nghiệp giả định có 120 người, Pantrybox, chuyên cung cấp bộ nguyên liệu nấu ăn theo gói đăng ký. Nhà phân tích Kofi xây dựng mô hình dự đoán người đăng ký nào sẽ hủy vào tháng tới để đội giữ chân khách hàng gọi cho họ trước. Báo cáo cập nhật của anh gửi Sian, trưởng bộ phận khách hàng, viết: 'Mô hình A: độ chính xác 99%!! dùng 85 cột gồm mã khách hàng, mã bưu chính, ngày của mọi đơn hàng trước đây. Mô hình B (đơn giản, 2 cột): 69% trên dữ liệu huấn luyện, 68% trên dữ liệu kiểm thử. Mô hình A trên dữ liệu mới của tháng trước: 71%. Khoảng 30% khách hàng hủy mỗi tháng.' Sian muốn biết nên dùng mô hình nào và vì sao mô hình đạt 99% lại cho kết quả kém như vậy vào tháng trước.
| Mô hình | Độ chính xác trên dữ liệu huấn luyện | Kiểm thử độ chính xác | Nội dung đề xuất |
|---|---|---|---|
| Mô hình A, 85 cột | 99% | 71% | Quá khớp: ghi nhớ khách hàng trong dữ liệu huấn luyện |
| Mô hình B, 2 cột | 69% | 68% | Khớp thiếu: chỉ nhỉnh hơn một chút so với việc luôn đoán 'ở lại' |
Làm thế nào để xác định tình trạng quá khớp và thiếu khớp theo từng bước?
Chẩn đoán cả hai vấn đề bằng cách so sánh hiệu suất trên dữ liệu huấn luyện với hiệu suất trên dữ liệu mà mô hình chưa từng thấy, rồi so sánh cả hai với một mốc cơ sở đơn giản. Tương quan giữa ba con số đó cho biết bạn đang gặp vấn đề nào.
1. Giữ lại dữ liệu, không cung cấp
Trước khi huấn luyện, hãy dành riêng một tập kiểm thử mà mô hình không bao giờ được tiếp cận. Kiểm thử mô hình bằng chính dữ liệu nó đã học là một sai lầm cơ bản, vì mô hình chỉ cần lặp lại những gì đã thấy là có thể đạt điểm tuyệt đối mà không dự đoán được gì.
2. Thiết lập mốc tham chiếu
Hãy tính xem một quy tắc đơn giản nhất sẽ đạt điểm bao nhiêu. Tại Pantrybox, khoảng 70% khách hàng tiếp tục sử dụng dịch vụ mỗi tháng, nên đoán 'tiếp tục sử dụng' cho tất cả mọi người sẽ đạt khoảng 70%. Một mô hình hữu ích phải vượt mức đó một cách rõ ràng.
3. So sánh dữ liệu huấn luyện và dữ liệu kiểm thử
Điểm huấn luyện cao nhưng điểm kiểm tra thấp hơn nhiều là dấu hiệu quá khớp. Điểm thấp ở cả hai và gần mức cơ sở là dấu hiệu thiếu khớp. Điểm ở cả hai tương đương nhau và đều tốt cho thấy mức khớp hợp lý.
4. Kiểm tra tính ổn định
Kiểm định chéo huấn luyện và kiểm tra mô hình nhiều lần trên các phần khác nhau của dữ liệu huấn luyện, rồi lấy trung bình kết quả. Nếu điểm số dao động lớn giữa các phần, mô hình thiếu ổn định.
5. Chọn cách khắc phục phù hợp với vấn đề
Quá khớp và thiếu khớp cần cách khắc phục trái ngược nhau, vì vậy hãy xác định vấn đề trước khi thay đổi bất cứ điều gì.
Làm thế nào để khắc phục tình trạng quá khớp và thiếu khớp?
Khắc phục tình trạng quá khớp bằng cách đơn giản hóa mô hình hoặc dùng dữ liệu có tính đại diện cao hơn; khắc phục tình trạng thiếu khớp bằng cách cung cấp cho mô hình thông tin hữu ích hơn hoặc tăng độ linh hoạt. Nói đơn giản là:
Đối với tình trạng quá khớp
Loại bỏ các cột xác định danh tính cá nhân thay vì mô tả hành vi, chẳng hạn như mã khách hàng; dùng dữ liệu huấn luyện đại diện cho những khách hàng bạn sẽ thực sự chấm điểm; ưu tiên mô hình đơn giản hơn; và áp dụng điều chuẩn, tức là phạt độ phức tạp trong quá trình huấn luyện để mô hình ưu tiên các mẫu đơn giản hơn.
Đối với tình trạng thiếu khớp
Thêm các đặc trưng có thể liên quan hợp lý đến việc hủy dịch vụ, như các lần giao hàng bị bỏ qua, khiếu nại gần đây hoặc thay đổi giá; cho phép dùng mô hình linh hoạt hơn; và kiểm tra để bảo đảm dữ liệu không nhiễu hoặc bị gán nhãn sai đến mức không mô hình nào có thể học được.
Cho cả hai
Giữ nguyên bộ dữ liệu kiểm thử cho đến bước cuối cùng. Nếu bạn liên tục tinh chỉnh mô hình dựa trên bộ kiểm thử, thông tin sẽ rò rỉ vào mô hình và điểm kiểm thử không còn là ước tính trung thực nữa.
Quyết định dựa trên mô hình dự đoán khách hàng rời bỏ chưa tốt và quyết định đã cải thiện khác nhau như thế nào?
Quyết định thiếu cơ sở chọn Mô hình A vì 99% là con số lớn nhất trên trang trình chiếu. Khi sử dụng thực tế, mô hình này chỉ nhỉnh hơn đoán mò một chút, khiến nhóm giữ chân khách hàng lãng phí cuộc gọi vào những khách hàng vốn không định rời đi.
Quyết định được cải thiện như sau: 'Mô hình A ghi nhớ từng khách hàng: nó sử dụng mã khách hàng và ngày đặt hàng chính xác, nên chỉ nhận ra những người đã gặp thay vì học lý do họ hủy dịch vụ. Mô hình B quá đơn giản để vượt mức cơ sở 70%. Bước tiếp theo: Mô hình C sử dụng sáu đặc trưng hành vi, gồm các lần bỏ qua giao hàng trong tháng vừa qua, phiếu yêu cầu hỗ trợ và số tuần kể từ lần thay đổi thực đơn gần nhất, đồng thời loại bỏ mã khách hàng và mã bưu chính. Mục tiêu: điểm kiểm thử cao hơn rõ rệt so với 70% và chỉ chênh vài điểm so với điểm huấn luyện, được kiểm tra bằng xác thực chéo năm phần, trước khi nhóm giữ chân khách hàng dựa vào mô hình này.' Giờ đây, Sian biết vì sao mô hình đạt 99% lại thất bại và kết quả tốt cần đáp ứng những gì.
Làm thế nào để kiểm tra xem mô hình có bị quá khớp hoặc thiếu khớp hay không?
Kiểm tra mô hình bằng cách xác nhận rằng điểm đánh giá trên tập kiểm tra gần với điểm trên tập huấn luyện, tốt hơn rõ rệt so với mức cơ sở và ổn định qua các phần chia của kiểm định chéo cũng như trên dữ liệu của một tháng mới. Đồng thời, hãy hỏi liệu có đặc trưng nào chỉ được biết sau khi đã có kết quả, chẳng hạn như lý do hủy; đó là rò rỉ dữ liệu và khiến cả hai điểm số có vẻ tốt hơn năng lực thực tế của mô hình.
Những sai lầm thường gặp liên quan đến quá khớp và thiếu khớp là gì?
Sai lầm phổ biến nhất là báo cáo độ chính xác trên dữ liệu huấn luyện như thể đó là độ chính xác trong thực tế. Những sai lầm khác gồm: bỏ qua mốc cơ sở, khiến 70% trông ấn tượng dù đoán cũng đạt được mức đó; thêm mọi cột có sẵn với hy vọng đạt điểm cao hơn; xem trước tập kiểm thử trong khi tinh chỉnh; và coi quá khớp là lý do để tăng độ phức tạp, trong khi thường cần làm ngược lại.
Bài học này nằm ở đâu trên Tosheo.ai?
Bài học này thuộc danh mục học máy và nằm sau phần giới thiệu về mô hình trong khóa học học máy. Trong Tosheo.ai, bài thực hành cung cấp một báo cáo mô hình giả định để bạn phân tích vấn đề; phản hồi theo bảng tiêu chí sẽ kiểm tra xem bạn đã so sánh kết quả huấn luyện, kiểm thử và mốc cơ sở trước khi đề xuất cách khắc phục hay chưa. Đây là kiến thức nền tảng để phối hợp với các nhóm dữ liệu; lộ trình lập trình tùy chọn hướng dẫn huấn luyện và đánh giá mô hình bằng mã.
Nguồn và phạm vi
Khóa học cấp tốc về học máy của Google: quá khớp (đã kiểm tra ngày 19 October 2026) ↗
Hướng dẫn sử dụng scikit-learn: kiểm định chéo (đã kiểm tra ngày 19 October 2026) ↗