একটি মডেল চমৎকার স্কোর করেও কীভাবে অকাজের হতে পারে?
একটি মডেল খুব ভালো নম্বর পেয়েও অকেজো হতে পারে, যদি যে তথ্য দিয়ে সেটি শিখেছে সেই তথ্য দিয়েই তার পরীক্ষা নেওয়া হয়। কারণ নতুন গ্রাহকের ক্ষেত্রেও কাজে লাগবে এমন কিছু শেখার বদলে সেটি ওই উদাহরণগুলো মুখস্থ করে থাকতে পারে।
প্যান্ট্রিবক্স নামে 120 জনের একটি কাল্পনিক মিল-কিট সাবস্ক্রিপশন ব্যবসার কথা ভাবুন। বিশ্লেষক কোফি এমন একটি মডেল তৈরি করেন, যা পূর্বাভাস দেয় আগামী মাসে কোন গ্রাহকেরা সাবস্ক্রিপশন বাতিল করবেন, যাতে গ্রাহক ধরে রাখার দল তাঁদের আগে ফোন করতে পারে। গ্রাহক বিভাগের প্রধান শানকে পাঠানো তাঁর আপডেটে লেখা: 'মডেল A: 99% নির্ভুলতা!! গ্রাহকের আইডি, পোস্টকোড, আগের প্রতিটি অর্ডারের তারিখসহ 85টি কলাম ব্যবহার করে। মডেল B (সহজ, 2টি কলাম): প্রশিক্ষণ ডেটায় 69%, পরীক্ষার ডেটায় 68%। গত মাসের নতুন ডেটায় মডেল A: 71%। প্রতি মাসে প্রায় 30% গ্রাহক বাতিল করেন।' শান জানতে চান কোন মডেলটি ব্যবহার করা উচিত এবং কেন 99% নির্ভুল মডেলটি গত মাসে এত খারাপ ফল করেছে।
| মডেল | প্রশিক্ষণের নির্ভুলতা | নির্ভুলতা পরীক্ষা করুন | এটি যা করার পরামর্শ দেয় |
|---|---|---|---|
| মডেল A, 85টি কলাম | 99% | 71% | ওভারফিটিং: প্রশিক্ষণে ব্যবহৃত গ্রাহকদের তথ্য মুখস্থ করেছে |
| মডেল B, 2টি কলাম | 69% | 68% | আন্ডারফিটিং: সব সময় 'থাকবে' অনুমান করার চেয়ে সামান্যই ভালো ফল দেয় |
ধাপে ধাপে অতিরিক্ত ও অপর্যাপ্ত খাপ খাওয়ানোর সমস্যা কীভাবে শনাক্ত করবেন?
প্রশিক্ষণের ডেটায় মডেলের কার্যকারিতার সঙ্গে মডেল আগে কখনও দেখেনি এমন ডেটায় তার কার্যকারিতা তুলনা করে, এবং দুটিকেই একটি সরল ভিত্তিমানের সঙ্গে তুলনা করে উভয় সমস্যা শনাক্ত করুন। এই তিনটি সংখ্যার ধরন দেখে বোঝা যায় কোন সমস্যাটি হয়েছে।
1. কিছু তথ্য আলাদা রাখুন
প্রশিক্ষণের আগে পরীক্ষার জন্য এমন একটি ডেটাসেট আলাদা করে রাখুন, যা মডেল কখনো দেখবে না। যে ডেটা থেকে মডেল শিখেছে, সেই ডেটা দিয়েই তাকে পরীক্ষা করা একটি মৌলিক ভুল, কারণ আগে দেখা তথ্য শুধু পুনরাবৃত্তি করে এমন মডেলও পূর্ণ নম্বর পায়, অথচ কোনো পূর্বাভাস দিতে পারে না।
2. তুলনার জন্য প্রাথমিক মান নির্ধারণ করুন
খুব সাধারণ একটি নিয়ম কত স্কোর পাবে, তা হিসাব করুন। প্যান্ট্রিবক্সে প্রতি মাসে প্রায় 70% গ্রাহক থেকে যান। তাই সবার ক্ষেত্রে 'থাকবেন' অনুমান করলেই প্রায় 70% স্কোর পাওয়া যায়। একটি কার্যকর মডেলের ফল এর চেয়ে স্পষ্টভাবে ভালো হতে হবে।
3. প্রশিক্ষণ ও পরীক্ষার তথ্য তুলনা করুন
প্রশিক্ষণে বেশি স্কোর কিন্তু পরীক্ষায় অনেক কম স্কোর অতিমাত্রায় খাপ খাওয়ার লক্ষণ। উভয় ক্ষেত্রেই ভিত্তিমানের কাছাকাছি কম স্কোর অপর্যাপ্তভাবে খাপ খাওয়ার লক্ষণ। উভয় ক্ষেত্রে কাছাকাছি ভালো স্কোর যথাযথভাবে খাপ খাওয়ার ইঙ্গিত দেয়।
4. স্থিতিশীলতা যাচাই করুন
ক্রস-ভ্যালিডেশনে প্রশিক্ষণের তথ্যের বিভিন্ন অংশ ব্যবহার করে মডেলকে একাধিকবার প্রশিক্ষণ ও পরীক্ষা দেওয়া হয়, তারপর ফলাফলের গড় নেওয়া হয়। একেক অংশে স্কোরের বড় হেরফের হলে মডেলটি স্থিতিশীল নয়।
5. সমস্যার সঙ্গে মানানসই সমাধান বেছে নিন
ওভারফিটিং ও আন্ডারফিটিংয়ের প্রতিকার বিপরীত, তাই কোনো পরিবর্তন করার আগে সমস্যাটি চিহ্নিত করুন।
ওভারফিটিং ও আন্ডারফিটিং কীভাবে ঠিক করবেন?
মডেলকে আরও সহজ করে বা তার তথ্যকে আরও প্রতিনিধিত্বমূলক করে অতিরিক্ত মানানসই হওয়ার সমস্যা দূর করুন। আর মডেলকে আরও কাজের তথ্য বা আরও নমনীয়তা দিয়ে অপর্যাপ্ত মানানসই হওয়ার সমস্যা দূর করুন। সহজ কথায়:
অতিরিক্ত মানানসই হওয়ার ক্ষেত্রে
আচরণের বদলে ব্যক্তিকে শনাক্ত করে এমন কলাম, যেমন গ্রাহকের পরিচিতি নম্বর, সরিয়ে দিন; বাস্তবে যেসব গ্রাহককে স্কোর দেবেন, তাঁদের প্রতিনিধিত্ব করে এমন প্রশিক্ষণ তথ্য ব্যবহার করুন; তুলনামূলক সরল মডেল বেছে নিন; এবং নিয়মিতকরণ প্রয়োগ করুন, যা প্রশিক্ষণের সময় জটিলতার জন্য দণ্ড আরোপ করে, যাতে মডেল সরলতর ধরনকে প্রাধান্য দেয়।
অপর্যাপ্ত মানানসই হওয়ার ক্ষেত্রে
বাতিল করার সঙ্গে যুক্তিসংগত সম্পর্ক থাকতে পারে এমন বৈশিষ্ট্য যোগ করুন, যেমন ডেলিভারি না নেওয়া, সাম্প্রতিক অভিযোগ বা দামের পরিবর্তন; আরও নমনীয় মডেল ব্যবহারের সুযোগ দিন; এবং যাচাই করুন, ডেটায় এত বেশি অসংগতি বা ভুল লেবেল নেই তো যে কোনো মডেলই তা থেকে শিখতে পারবে না।
উভয়ের জন্য
একেবারে শেষ পর্যন্ত পরীক্ষার তথ্যসমষ্টি ব্যবহার না করে আলাদা রাখুন। পরীক্ষার তথ্যসমষ্টির ফল দেখে বারবার মডেল সমন্বয় করলে সেই তথ্য মডেলে ঢুকে পড়ে, এবং পরীক্ষার স্কোর আর তার কার্যক্ষমতার নিরপেক্ষ অনুমান দেয় না।
গ্রাহক হারানোর পূর্বাভাসের মডেল নিয়ে দুর্বল ও উন্নত সিদ্ধান্ত কেমন হয়?
দুর্বল সিদ্ধান্তটিতে মডেল A বেছে নেওয়া হয়, কারণ স্লাইডে 99%-ই সবচেয়ে বড় সংখ্যা। বাস্তবে এটি আন্দাজের চেয়ে সামান্যই ভালো কাজ করে, আর গ্রাহক ধরে রাখার দল এমন গ্রাহকদের ফোন করে সময় নষ্ট করে, যাঁরা এমনিতেই চলে যেতেন না।
উন্নত সিদ্ধান্তটি হলো: 'মডেল A আলাদা আলাদা গ্রাহককে মুখস্থ করেছে: এতে গ্রাহক আইডি ও অর্ডারের সুনির্দিষ্ট তারিখ আছে, তাই মানুষ কেন বাতিল করেন তা শেখার বদলে এটি আগে দেখা মানুষদের চিনেছে। মডেল B এতটাই সরল যে 70% ভিত্তিমাত্রাকে ছাড়াতে পারে না। পরের ধাপ: মডেল C-তে আচরণভিত্তিক ছয়টি বৈশিষ্ট্য ব্যবহার করা হবে, যার মধ্যে আছে গত মাসে বাদ দেওয়া ডেলিভারি, সহায়তার অনুরোধ এবং শেষ মেনু পরিবর্তনের পর কেটে যাওয়া সপ্তাহের সংখ্যা; গ্রাহক আইডি ও পোস্টকোড বাদ দেওয়া হবে। লক্ষ্য: গ্রাহক ধরে রাখার দল এটির ওপর নির্ভর করার আগে পাঁচ ভাগে ক্রস-ভ্যালিডেশনের মাধ্যমে যাচাই করা পরীক্ষার স্কোর স্পষ্টভাবে 70%-এর ওপরে থাকতে হবে এবং প্রশিক্ষণের স্কোর থেকে ব্যবধান কয়েক পয়েন্টের মধ্যে থাকতে হবে।' সিয়ান এখন জানেন, 99% স্কোরের মডেলটি কেন ব্যর্থ হয়েছে এবং ভালো ফল কেমন হওয়া উচিত।
একটি মডেল প্রশিক্ষণ ডেটার সঙ্গে অতিরিক্ত বা অপর্যাপ্তভাবে খাপ খাইয়েছে কি না, তা কীভাবে যাচাই করবেন?
মডেল যাচাই করতে নিশ্চিত করুন, পরীক্ষার স্কোর প্রশিক্ষণের স্কোরের কাছাকাছি, ভিত্তিমান থেকে স্পষ্টভাবে ভালো এবং ক্রস-ভ্যালিডেশনের বিভিন্ন ভাগে ও নতুন এক মাসের ডেটাতেও স্থিতিশীল। আরও জিজ্ঞেস করুন, কোনো বৈশিষ্ট্য কি ফলাফল জানা যাওয়ার পরেই জানা সম্ভব, যেমন বাতিল করার কারণ। এটি তথ্য ফাঁস, যা দুটি স্কোরকেই মডেলের প্রকৃত সক্ষমতার চেয়ে ভালো দেখায়।
ওভারফিটিং ও আন্ডারফিটিং নিয়ে সাধারণ ভুলগুলো কী?
সবচেয়ে সাধারণ ভুল হলো প্রশিক্ষণের নির্ভুলতাকে বাস্তব ব্যবহারের নির্ভুলতা হিসেবে তুলে ধরা। অন্য ভুলগুলো হলো: তুলনার প্রাথমিক মান উপেক্ষা করা, ফলে অনুমান করেই 70% পাওয়া সম্ভব হলেও সেটিকে চমকপ্রদ মনে হওয়া; বেশি স্কোরের আশায় সব উপলব্ধ কলাম যোগ করা; মডেল সমন্বয়ের সময় পরীক্ষার ডেটা দেখে নেওয়া; এবং অতিরিক্ত মানিয়ে যাওয়া বা ওভারফিটিংকে জটিলতা বাড়ানোর কারণ মনে করা, যদিও সাধারণত উল্টোটাই দরকার।
Tosheo.ai-এ এই পাঠটি কোথায় রয়েছে?
এই পাঠটি মেশিন লার্নিং বিভাগের অন্তর্ভুক্ত এবং মেশিন লার্নিং কোর্সে মডেলের পরিচিতির পর আসে। Tosheo.ai-এর হাতে-কলমে কাজে আপনাকে সমস্যা শনাক্ত করার জন্য একটি কাল্পনিক মডেল প্রতিবেদন দেওয়া হয়। সংশোধনের পরামর্শ দেওয়ার আগে আপনি প্রশিক্ষণ, পরীক্ষা ও ভিত্তিমানের ফলাফল তুলনা করেছেন কি না, তা মানদণ্ডভিত্তিক মূল্যায়নের প্রতিক্রিয়ায় যাচাই করা হয়। এটি ডেটা দলের সঙ্গে কাজ করার পেশাগত ভিত্তি তৈরি করে; ঐচ্ছিক কোডিং ধারায় কোড লিখে মডেলের প্রশিক্ষণ ও মূল্যায়ন শেখানো হয়।
উৎস ও পরিধি
scikit-learn ব্যবহার নির্দেশিকা: ক্রস-ভ্যালিডেশন (যাচাই করা হয়েছে 19 October 2026) ↗