Perché un modello può ottenere punteggi eccellenti ed essere comunque inutile?
Un modello può ottenere un punteggio eccellente ed essere comunque inutile se viene valutato sugli stessi dati da cui ha imparato, perché potrebbe aver memorizzato quegli esempi anziché aver appreso qualcosa di applicabile a nuovi clienti.
Immagina un'azienda fittizia con 120 persone, Pantrybox, che vende kit pasto in abbonamento. Un analista, Kofi, crea un modello per prevedere quali abbonati disdiranno il mese prossimo, così che il team addetto alla fidelizzazione possa chiamarli per primi. Il suo aggiornamento alla responsabile clienti, Sian, recita: 'Modello A: accuratezza del 99%!! usa 85 colonne, tra cui ID cliente, codice postale, tutte le date degli ordini precedenti. Modello B (semplice, 2 colonne): 69% sui dati di addestramento, 68% sui dati di test. Modello A sui nuovi dati del mese scorso: 71%. Circa il 30% dei clienti disdice ogni mese.' Sian vuole sapere quale modello usare e perché quello con il 99% ha ottenuto risultati così scarsi il mese scorso.
| Modello | Accuratezza sui dati di addestramento | Accuratezza sui dati di test | Cosa suggerisce |
|---|---|---|---|
| Modello A, 85 colonne | 99% | 71% | Sovradattamento: clienti dei dati di addestramento memorizzati |
| Modello B, 2 colonne | 69% | 68% | Adattamento insufficiente: supera di poco il risultato che si otterrebbe rispondendo sempre 'rimane' |
Come si individua, passo dopo passo, se un modello si adatta troppo o troppo poco ai dati di addestramento?
Individua entrambi i problemi confrontando le prestazioni sui dati di addestramento con quelle sui dati che il modello non ha mai visto e confrontando entrambe con un semplice riferimento di base. Il rapporto tra questi tre valori indica quale problema si presenta.
1. Non condividere tutti i dati
Prima dell'addestramento, metti da parte un insieme di dati di test che il modello non vedrà mai. Testare un modello sui dati da cui ha imparato è un errore fondamentale, perché un modello che si limita a ripetere ciò che ha visto ottiene un punteggio perfetto senza prevedere nulla.
2. Stabilisci un valore di riferimento
Calcola il punteggio che otterrebbe una regola banale. In Pantrybox, circa il 70% dei clienti rimane ogni mese, quindi prevedere 'rimane' per tutti dà un punteggio di circa il 70%. Un modello utile deve superarlo nettamente.
3. Confronta addestramento e test
Un punteggio di addestramento alto con un punteggio sul test molto più basso segnala sovradattamento. Punteggi bassi su entrambi, vicini al riferimento di base, segnalano sottoadattamento. Punteggi simili e buoni su entrambi suggeriscono un adattamento ragionevole.
4. Verifica la stabilità
La validazione incrociata addestra e verifica il modello più volte su diverse porzioni dei dati di addestramento e calcola la media dei risultati. Se i punteggi variano molto tra le porzioni, il modello è fragile.
5. Scegli una soluzione adatta al problema
Sovradattamento e sottoadattamento richiedono rimedi opposti: identifica quindi il problema prima di cambiare qualcosa.
Come si risolvono i problemi di sovradattamento e sottoadattamento?
Correggi il sovradattamento rendendo il modello più semplice o i suoi dati più rappresentativi, e correggi il sottoadattamento fornendo al modello informazioni più utili o maggiore flessibilità. In parole semplici:
Per il sovradattamento
Rimuovi le colonne che identificano le persone anziché descriverne il comportamento, come l'identificativo cliente; usa dati di addestramento rappresentativi dei clienti che valuterai effettivamente; preferisci un modello più semplice; e applica la regolarizzazione, che penalizza la complessità durante l'addestramento, portando il modello a privilegiare schemi più semplici.
Per il sottoadattamento
Aggiungi variabili plausibilmente collegate alla disdetta, come consegne saltate, reclami recenti o una variazione di prezzo; consenti l'uso di un modello più flessibile; e verifica che i dati non contengano così tanto rumore o così tante etichette errate da impedire a qualsiasi modello di apprendere.
Per entrambi
Non utilizzare l'insieme di test fino alla fine. Se perfezioni ripetutamente il modello usando l'insieme di test, le informazioni filtrano nel modello e il punteggio del test smette di essere una stima attendibile.
Come si presenta una decisione debole basata su un modello di previsione dell'abbandono dei clienti rispetto a una migliorata?
La decisione poco solida sceglie il Modello A perché 99% è il numero più alto nella diapositiva. Nell'uso concreto il modello fa appena meglio di una scelta casuale e il team incaricato di trattenere i clienti spreca telefonate con persone che non avevano alcuna intenzione di andarsene.
La decisione migliorata recita: 'Il modello A ha memorizzato i singoli clienti: include l'ID cliente e le date esatte degli ordini, quindi ha riconosciuto persone già viste invece di imparare perché i clienti disdicono. Il modello B è troppo semplice per superare il riferimento del 70%. Prossimo passo: il modello C usa sei variabili comportamentali, tra cui le consegne saltate nell'ultimo mese, le richieste di assistenza e le settimane dall'ultima modifica del menu, escludendo l'ID cliente e il codice postale. Obiettivo: un punteggio di test nettamente superiore al 70% e distante solo pochi punti da quello di addestramento, verificato con una convalida incrociata a cinque partizioni, prima che il team incaricato della fidelizzazione vi faccia affidamento.' Ora Sian sa perché il modello al 99% ha fallito e quali risultati cercare.
Come si verifica che un modello non si adatti né troppo né troppo poco ai dati di addestramento?
Verifica un modello accertandoti che il punteggio sui dati di test sia vicino a quello sui dati di addestramento, nettamente superiore al riferimento di base e stabile tra le suddivisioni della validazione incrociata e su un nuovo mese di dati. Chiedi anche se qualche variabile sarebbe nota solo dopo l'esito, come il motivo di un annullamento: si tratta di una fuga di informazioni, che fa apparire entrambi i punteggi migliori delle reali prestazioni del modello.
Quali sono gli errori più comuni riguardo a sovradattamento e sottoadattamento?
L'errore più comune è presentare l'accuratezza sui dati di addestramento come se fosse l'accuratezza nel mondo reale. Altri errori: ignorare il valore di riferimento, facendo sembrare notevole un 70% che si otterrebbe anche tirando a indovinare; aggiungere ogni colonna disponibile nella speranza di un punteggio più alto; sbirciare nei dati di test durante la messa a punto; considerare il sovradattamento un motivo per aggiungere complessità, quando di solito richiede il contrario.
Dove si colloca questa lezione in Tosheo.ai?
Questa lezione rientra nella categoria Apprendimento automatico e segue l'introduzione ai modelli nel corso di apprendimento automatico. In Tosheo.ai l'attività pratica ti presenta un rapporto su un modello immaginario da analizzare; il riscontro basato sulla griglia di valutazione verifica che tu abbia confrontato i risultati di addestramento, test e riferimento prima di consigliare un intervento. Offre basi professionali per lavorare a fianco dei team che si occupano di dati; il percorso facoltativo di programmazione tratta l'addestramento e la valutazione dei modelli tramite codice.
Fonti e ambito
Guida utente di scikit-learn: validazione incrociata (verificata il 19 October 2026) ↗