كيف يمكن لنموذج أن يحقق نتائج ممتازة ويظل عديم الفائدة؟
قد يحقق النموذج نتيجة ممتازة ومع ذلك يكون عديم الفائدة إذا اختُبر على البيانات نفسها التي تعلم منها، لأنه ربما حفظ تلك الأمثلة بدلًا من تعلم شيء يمكن تطبيقه على عملاء جدد.
تخيّل شركة افتراضية اسمها بانتري بوكس، يعمل بها 120 شخصًا وتقدم اشتراكات في صناديق مكونات الوجبات. يبني محلل اسمه كوفي نموذجًا لتوقع المشتركين الذين سيلغون اشتراكاتهم الشهر المقبل، كي يتصل بهم فريق الاحتفاظ بالعملاء أولًا. ويكتب في تحديثه إلى سيان، المسؤولة عن شؤون العملاء: 'النموذج A: دقة 99%!! يستخدم 85 عمودًا تشمل معرّف العميل، والرمز البريدي، وتاريخ كل طلب سابق. النموذج B (بسيط، عمودان): 69% على بيانات التدريب، و68% على بيانات الاختبار. النموذج A على البيانات الجديدة للشهر الماضي: 71%. يلغي نحو 30% من العملاء اشتراكاتهم كل شهر.' تريد سيان معرفة أي نموذج تستخدم، ولماذا كان أداء النموذج ذي الدقة 99% ضعيفًا إلى هذا الحد الشهر الماضي.
| النموذج | دقة التدريب | دقة الاختبار | ما الذي يقترحه |
|---|---|---|---|
| النموذج A، 85 عمودًا | 99% | 71% | فرط التكيّف: حفظ بيانات العملاء المستخدمة في التدريب |
| النموذج B، 2 عمود | 69% | 68% | نقص التعلّم: يتفوق بالكاد على التخمين الدائم بأن النتيجة 'يبقى' |
كيف تشخّص فرط التكيّف ونقص التكيّف خطوة بخطوة؟
شخّص المشكلتين بمقارنة الأداء على بيانات التدريب بالأداء على بيانات لم يسبق للنموذج رؤيتها، ثم مقارنة كليهما بمستوى أداء مرجعي بسيط. يبيّن لك نمط هذه الأرقام الثلاثة أيّ المشكلتين تواجهها.
1. احتفظ بجزء من البيانات جانباً
قبل التدريب، خصص مجموعة اختبار لا يطّلع عليها النموذج مطلقاً. اختبار النموذج باستخدام البيانات التي تعلّم منها خطأ أساسي، لأن النموذج الذي يكرر ببساطة ما رآه يحصل على درجة كاملة دون أن يتنبأ بشيء.
2. حدّد خط أساس
احسب النتيجة التي ستحققها قاعدة بسيطة جداً. في بانتري بوكس، يبقى نحو 70% من العملاء كل شهر، لذا فإن توقع 'يبقى' لجميع العملاء يحقق دقة تبلغ نحو 70%. يجب أن يتفوق النموذج المفيد على هذه النتيجة بوضوح.
3. قارن بين بيانات التدريب وبيانات الاختبار
تشير درجة التدريب المرتفعة مع درجة اختبار أقل بكثير إلى فرط التكيّف. وتشير الدرجات المنخفضة في كليهما والقريبة من خط الأساس إلى نقص التكيّف. أما الدرجات الجيدة والمتقاربة في كليهما فتشير إلى تكيّف مناسب.
4. تحقّق من الاستقرار
يدرّب التحقق المتقاطع النموذج ويختبره عدة مرات على أجزاء مختلفة من بيانات التدريب، ثم يحسب متوسط النتائج. إذا تفاوتت الدرجات كثيرًا بين الأجزاء، فالنموذج غير متين.
5. اختر حلاً يناسب المشكلة
يتطلب فرط التكيّف ونقص التكيّف علاجين متعاكسين، لذا حدّد المشكلة قبل تغيير أي شيء.
كيف تعالج فرط التكيّف ونقص التكيّف؟
عالج فرط التكيّف بتبسيط النموذج أو جعل بياناته أكثر تمثيلًا للواقع، وعالج نقص التكيّف بتزويد النموذج بمعلومات أكثر فائدة أو منحه مزيدًا من المرونة. بعبارة بسيطة:
لمعالجة فرط التكيّف
أزِل الأعمدة التي تحدد هوية الأفراد بدلًا من سلوكهم، مثل معرّف العميل؛ واستخدم بيانات تدريب تمثل العملاء الذين ستقيّمهم فعليًا؛ وفضّل نموذجًا أبسط؛ وطبّق التنظيم، الذي يفرض عقوبة على التعقيد أثناء التدريب ليدفع النموذج إلى تفضيل الأنماط الأبسط.
لمعالجة نقص التكيّف
أضف سمات يُعقل أن تكون مرتبطة بالإلغاء، مثل عمليات التوصيل المتخطاة، أو الشكاوى الأخيرة، أو تغيّر السعر؛ وأتح استخدام نموذج أكثر مرونة؛ وتحقق من أن البيانات ليست مشوشة أو مصنّفة خطأ إلى درجة تمنع أي نموذج من التعلم منها.
لكليهما
اترك مجموعة الاختبار دون مساس حتى النهاية. إذا ضبطت النموذج مراراً بناءً على مجموعة الاختبار، تتسرّب معلومات منها إلى النموذج، ولا تعود درجة الاختبار تقديراً صادقاً لأدائه.
كيف يبدو القرار المتعلق بنموذج التنبؤ بفقدان العملاء في صورته الضعيفة وفي صورته المحسّنة؟
يختار القرار الضعيف النموذج أ لأن 99% هي أكبر نسبة في الشريحة. لكن أداءه الفعلي لا يتجاوز التخمين إلا بقليل، ويهدر فريق الاحتفاظ بالعملاء مكالماته على عملاء لم تكن لديهم نية للمغادرة أصلًا.
ينص القرار المحسّن على ما يلي: 'حفظ النموذج A عملاء بعينهم: فهو يتضمن معرّف العميل وتواريخ الطلبات الدقيقة، لذا تعرّف على أشخاص سبق أن رآهم بدلًا من تعلّم أسباب إلغاء الاشتراك. والنموذج B أبسط من أن يتجاوز خط الأساس البالغ 70%. الخطوة التالية: يستخدم النموذج C ست سمات سلوكية، منها عمليات التوصيل المتخطاة في الشهر الماضي، وتذاكر الدعم، وعدد الأسابيع منذ آخر تغيير في قائمة الطعام، مع استبعاد معرّف العميل والرمز البريدي. الهدف: نتيجة اختبار أعلى بوضوح من 70%، ولا تبعد عن نتيجة التدريب إلا ببضع نقاط، مع التحقق باستخدام التحقق المتقاطع بخمس طيات، قبل أن يعتمد عليه فريق الاحتفاظ بالعملاء.' تعرف سيان الآن لماذا فشل النموذج الذي حقق 99%، وما الذي تبدو عليه النتيجة الجيدة.
كيف تتحقق من أن النموذج لا يعاني من فرط التكيّف أو نقص التكيّف؟
تحقق من النموذج بالتأكد من أن درجته في الاختبار قريبة من درجته في التدريب، وأفضل بوضوح من خط الأساس، ومستقرة عبر طيات التحقق المتقاطع وعبر بيانات شهر جديد. واسأل أيضًا عما إذا كانت أي سمة لا تُعرف إلا بعد حدوث النتيجة، مثل سبب الإلغاء؛ فهذا تسرّب للبيانات، ويجعل الدرجتين تبدوان أفضل من الأداء الحقيقي للنموذج.
ما الأخطاء الشائعة المتعلقة بفرط التكيّف ونقص التكيّف؟
الخطأ الأكثر شيوعاً هو عرض دقة التدريب وكأنها الدقة في الواقع العملي. ومن الأخطاء الأخرى: تجاهل خط الأساس، فتبدو نسبة 70% مبهرة مع أن التخمين يحققها؛ وإضافة كل عمود متاح أملاً في رفع النتيجة؛ والاطلاع على مجموعة الاختبار أثناء الضبط؛ واعتبار فرط التكيّف سبباً لزيادة التعقيد، مع أنه يحتاج عادةً إلى العكس.
أين يقع هذا الدرس ضمن Tosheo.ai؟
يندرج هذا الدرس ضمن فئة تعلم الآلة، ويأتي بعد مقدمة النماذج في دورة تعلم الآلة. في Tosheo.ai، تعطيك المهمة التطبيقية تقريرًا افتراضيًا عن نموذج لتحليل مشكلاته، وتتحقق ملاحظات التقييم وفق دليل المعايير من أنك قارنت نتائج التدريب والاختبار وخط الأساس قبل التوصية بإصلاح. إنه أساس مهني للعمل إلى جانب فرق البيانات؛ ويغطي مسار البرمجة الاختياري تدريب النماذج وتقييمها برمجيًا.
المصادر والنطاق
دورة Google المكثفة في تعلّم الآلة: فرط التكيّف (تم التحقق في 19 أكتوبر 2026) ↗
دورة Google المكثفة في تعلّم الآلة: تعقيد النموذج والتنظيم (تم التحقق في 19 أكتوبر 2026) ↗
دليل مستخدم scikit-learn: التحقق المتقاطع (تم التحقق في 19 October 2026) ↗