ทำไมโมเดลจึงได้คะแนนดีมากแต่ยังใช้งานจริงไม่ได้?
โมเดลอาจได้คะแนนดีมากแต่ยังใช้งานจริงไม่ได้ หากทดสอบด้วยข้อมูลชุดเดียวกับที่ใช้ฝึก เพราะโมเดลอาจแค่จำตัวอย่างเหล่านั้น แทนที่จะเรียนรู้สิ่งที่นำไปใช้กับลูกค้าใหม่ได้
ลองนึกถึงธุรกิจสมาชิกชุดวัตถุดิบทำอาหารสมมติชื่อแพนทรีบ็อกซ์ที่มีพนักงาน 120 คน โคฟี นักวิเคราะห์ สร้างโมเดลเพื่อคาดการณ์ว่าสมาชิกคนใดจะยกเลิกในเดือนหน้า เพื่อให้ทีมรักษาลูกค้าโทรหาคนเหล่านั้นก่อน เขารายงานความคืบหน้าให้ชาน หัวหน้าฝ่ายลูกค้า ว่า 'โมเดล A: ความแม่นยำ 99%!! ใช้ 85 คอลัมน์ รวมรหัสลูกค้า รหัสไปรษณีย์ และวันที่สั่งซื้อทุกครั้งที่ผ่านมา โมเดล B (แบบง่าย 2 คอลัมน์): 69% กับข้อมูลฝึก 68% กับข้อมูลทดสอบ โมเดล A กับข้อมูลใหม่ของเดือนที่แล้ว: 71% ลูกค้าประมาณ 30% ยกเลิกในแต่ละเดือน' ชานต้องการรู้ว่าควรใช้โมเดลใด และทำไมโมเดลที่แม่นยำ 99% จึงทำผลงานได้แย่มากในเดือนที่แล้ว
| โมเดล | ความแม่นยำในการฝึกโมเดล | ทดสอบความแม่นยำ | แนะนำอะไรบ้าง |
|---|---|---|---|
| โมเดล A, 85 คอลัมน์ | 99% | 71% | การเรียนรู้เกินพอดี: จดจำลูกค้าในข้อมูลฝึก |
| โมเดล B, 2 คอลัมน์ | 69% | 68% | โมเดลเรียนรู้ไม่เพียงพอ: ทำได้ดีกว่าการเดาว่า 'อยู่ต่อ' ทุกครั้งเพียงเล็กน้อย |
จะวิเคราะห์ปัญหาการเรียนรู้ข้อมูลฝึกมากเกินไปและน้อยเกินไปแบบทีละขั้นได้อย่างไร?
วิเคราะห์ปัญหาทั้งสองโดยเปรียบเทียบประสิทธิภาพกับข้อมูลที่ใช้ฝึก กับประสิทธิภาพกับข้อมูลที่โมเดลไม่เคยเห็น และเปรียบเทียบทั้งคู่กับค่าฐานอย่างง่าย รูปแบบของตัวเลขทั้งสามจะบอกได้ว่าคุณกำลังเจอปัญหาใด
1. กันข้อมูลบางส่วนไว้
ก่อนฝึก ให้แยกชุดข้อมูลทดสอบที่โมเดลจะไม่เคยเห็นไว้ต่างหาก การทดสอบโมเดลด้วยข้อมูลที่ใช้ฝึกเป็นข้อผิดพลาดพื้นฐาน เพราะโมเดลที่เพียงทวนสิ่งที่เคยเห็นจะได้คะแนนเต็ม ทั้งที่ทำนายอะไรไม่ได้เลย
2. กำหนดค่าอ้างอิงเริ่มต้น
คำนวณว่าหากใช้กฎง่าย ๆ จะได้คะแนนเท่าไร ที่แพนทรีบ็อกซ์ ลูกค้าประมาณ 70% ยังคงใช้บริการต่อในแต่ละเดือน ดังนั้นการเดาว่าทุกคน 'ใช้บริการต่อ' จะได้คะแนนประมาณ 70% โมเดลที่มีประโยชน์ต้องทำได้ดีกว่านั้นอย่างชัดเจน.
3. เปรียบเทียบข้อมูลฝึกกับข้อมูลทดสอบ
คะแนนชุดฝึกสูงแต่คะแนนชุดทดสอบต่ำกว่ามากเป็นสัญญาณของการเรียนรู้เกินพอดี คะแนนต่ำทั้งสองชุดและใกล้เคียงค่าฐานเป็นสัญญาณของการเรียนรู้น้อยเกินไป คะแนนดีและใกล้เคียงกันทั้งสองชุดบ่งชี้ว่าการเรียนรู้น่าจะพอดี
4. ตรวจสอบความคงที่
การตรวจสอบไขว้คือการฝึกและทดสอบโมเดลหลายครั้งด้วยชุดย่อยที่ต่างกันของข้อมูลฝึก แล้วนำผลมาเฉลี่ย หากคะแนนต่างกันมากระหว่างชุดย่อย แสดงว่าโมเดลไม่เสถียร
5. เลือกวิธีแก้ที่ตรงกับปัญหา
การเรียนรู้เกินพอดีและการเรียนรู้น้อยเกินไปต้องแก้ด้วยวิธีตรงข้ามกัน จึงต้องระบุปัญหาให้ชัดก่อนเปลี่ยนแปลงอะไร
จะแก้ปัญหาโมเดลเรียนรู้ข้อมูลฝึกมากเกินไปและน้อยเกินไปได้อย่างไร?
แก้ปัญหาโมเดลเรียนรู้ข้อมูลฝึกมากเกินไปโดยทำให้โมเดลเรียบง่ายขึ้นหรือใช้ข้อมูลที่เป็นตัวแทนของข้อมูลจริงได้ดีขึ้น และแก้ปัญหาโมเดลเรียนรู้ข้อมูลฝึกได้ไม่เพียงพอโดยให้ข้อมูลที่มีประโยชน์มากขึ้นหรือเพิ่มความยืดหยุ่นให้โมเดล พูดง่าย ๆ คือ:
สำหรับปัญหาโมเดลเรียนรู้ข้อมูลฝึกมากเกินไป
ลบคอลัมน์ที่ระบุตัวบุคคลแทนพฤติกรรม เช่น รหัสลูกค้า ใช้ข้อมูลฝึกที่เป็นตัวแทนของลูกค้าที่คุณจะให้คะแนนจริง เลือกโมเดลที่เรียบง่ายกว่า และใช้การปรับให้เป็นระเบียบ ซึ่งเพิ่มค่าปรับให้ความซับซ้อนระหว่างการฝึก เพื่อให้โมเดลเลือกใช้รูปแบบที่เรียบง่ายกว่า
สำหรับปัญหาโมเดลเรียนรู้ข้อมูลฝึกได้ไม่เพียงพอ
เพิ่มตัวแปรที่มีเหตุผลว่าน่าจะเกี่ยวข้องกับการยกเลิก เช่น การข้ามรอบจัดส่ง ข้อร้องเรียนล่าสุด หรือการเปลี่ยนราคา เปิดให้ใช้โมเดลที่ยืดหยุ่นขึ้น และตรวจสอบว่าข้อมูลไม่ได้มีสัญญาณรบกวนมากหรือติดป้ายกำกับผิดมากจนไม่มีโมเดลใดเรียนรู้ได้.
สำหรับทั้งสองกรณี
อย่าแตะต้องชุดทดสอบจนกว่าจะถึงขั้นตอนสุดท้าย หากคุณปรับแต่งโมเดลซ้ำ ๆ โดยอิงผลจากชุดทดสอบ ข้อมูลจะรั่วไหลเข้าไปในโมเดล และคะแนนทดสอบจะไม่ใช่ค่าประมาณที่สะท้อนความสามารถจริงอีกต่อไป.
การตัดสินใจโดยใช้โมเดลคาดการณ์การเลิกใช้บริการของลูกค้าแบบที่ยังไม่ดีและแบบที่ปรับปรุงแล้วมีลักษณะอย่างไร?
การตัดสินใจที่ไม่รอบคอบเลือกโมเดล A เพราะ 99% เป็นตัวเลขที่สูงที่สุดบนสไลด์ แต่เมื่อใช้งานจริง โมเดลทำได้ดีกว่าการเดาเพียงเล็กน้อย และทีมรักษาลูกค้าต้องเสียเวลาโทรหาลูกค้าที่ไม่ได้คิดจะเลิกใช้บริการอยู่แล้ว.
ข้อสรุปเพื่อการตัดสินใจที่ปรับปรุงแล้วระบุว่า 'โมเดล A จดจำลูกค้าเป็นรายคน โดยใช้รหัสลูกค้าและวันที่สั่งซื้อแบบเจาะจง จึงจำคนที่เคยเห็นได้ แทนที่จะเรียนรู้ว่าทำไมลูกค้าจึงยกเลิก โมเดล B เรียบง่ายเกินกว่าจะทำได้ดีกว่าค่าฐาน 70% ขั้นตอนถัดไป: โมเดล C ใช้ตัวแปรพฤติกรรมหกตัว รวมถึงการข้ามรอบจัดส่งในเดือนที่ผ่านมา รายการขอความช่วยเหลือ และจำนวนสัปดาห์นับจากการเปลี่ยนเมนูครั้งล่าสุด โดยตัดรหัสลูกค้าและรหัสไปรษณีย์ออก เป้าหมาย: คะแนนทดสอบสูงกว่า 70% อย่างชัดเจน และห่างจากคะแนนฝึกเพียงไม่กี่จุด โดยตรวจสอบด้วยการตรวจสอบไขว้แบบห้าส่วน ก่อนที่ทีมรักษาลูกค้าจะนำไปใช้เป็นหลักในการทำงาน' ตอนนี้ชานเข้าใจแล้วว่าทำไมโมเดลที่ได้ 99% จึงล้มเหลว และผลลัพธ์ที่ดีควรเป็นอย่างไร
จะตรวจสอบได้อย่างไรว่าโมเดลไม่ได้เรียนรู้ข้อมูลฝึกมากเกินไปหรือน้อยเกินไป?
ตรวจสอบโมเดลโดยยืนยันว่าคะแนนทดสอบใกล้เคียงกับคะแนนฝึก ดีกว่าค่าฐานอย่างชัดเจน และคงที่ทั้งในชุดย่อยต่าง ๆ ของการตรวจสอบไขว้และเมื่อใช้ข้อมูลใหม่อีกหนึ่งเดือน ถามด้วยว่ามีตัวแปรใดที่เราจะรู้ได้หลังเกิดผลลัพธ์แล้วเท่านั้นหรือไม่ เช่น เหตุผลในการยกเลิก นั่นคือการรั่วไหลของข้อมูล และทำให้คะแนนทั้งสองดูดีกว่าประสิทธิภาพจริงของโมเดล.
ข้อผิดพลาดที่พบบ่อยเกี่ยวกับการเรียนรู้เกินพอดีและการเรียนรู้น้อยเกินไปมีอะไรบ้าง?
ข้อผิดพลาดที่พบบ่อยที่สุดคือการรายงานความแม่นยำจากข้อมูลฝึกราวกับเป็นความแม่นยำในการใช้งานจริง ข้ออื่น ๆ ได้แก่ การไม่สนใจค่าฐานจน 70% ดูน่าประทับใจทั้งที่การเดาก็ทำได้เท่ากัน การเพิ่มทุกคอลัมน์ที่มีโดยหวังว่าจะได้คะแนนสูงขึ้น การแอบดูชุดทดสอบระหว่างปรับโมเดล และการมองว่าการเรียนรู้ข้อมูลฝึกมากเกินไปเป็นเหตุให้ต้องเพิ่มความซับซ้อน ทั้งที่โดยปกติต้องทำตรงกันข้าม
บทเรียนนี้อยู่ในส่วนใดของ Tosheo.ai?
บทเรียนนี้อยู่ในหมวดการเรียนรู้ของเครื่อง ต่อจากบทแนะนำโมเดลในหลักสูตรการเรียนรู้ของเครื่อง ใน Tosheo.ai งานภาคปฏิบัติจะให้คุณวิเคราะห์ปัญหาจากรายงานโมเดลสมมติ ข้อเสนอแนะตามเกณฑ์การให้คะแนนจะตรวจว่าคุณได้เปรียบเทียบผลจากชุดฝึก ชุดทดสอบ และค่าฐานแล้วหรือไม่ ก่อนเสนอวิธีแก้ไข นี่คือพื้นฐานทางวิชาชีพสำหรับทำงานร่วมกับทีมข้อมูล ส่วนเส้นทางการเรียนเขียนโค้ดที่เลือกเรียนได้จะครอบคลุมการฝึกและประเมินโมเดลด้วยโค้ด.
แหล่งข้อมูลและขอบเขต
คู่มือผู้ใช้ scikit-learn: การตรวจสอบไขว้ (ตรวจสอบเมื่อ 19 October 2026) ↗