Che Cos’è L’IA Spiegabile? Una Guida Semplice Alla XAI

L’intelligenza artificiale spiegabile, o XAI, mira ad aiutare le persone a capire cosa fa un sistema di IA e perché produce un certo risultato. Può significare esaminare direttamente un modello semplice, studiare quali dati in ingresso influenzino una previsione o verificare come cambia la risposta in condizioni diverse.

L’obiettivo è più utile che rendere eloquente una scatola nera. Se un sistema respinge una domanda o genera un allarme, serve un modo per indagare la decisione. «Il computer ha detto no» non è mai stata una conversazione soddisfacente, nemmeno quando il computer aggiunge un’emoji amichevole.

Che cos’è l’IA spiegabile?

La XAI è un insieme di approcci, non un singolo algoritmo. Alcuni spiegano una previsione individuale, altri il comportamento del modello su molti esempi. Una spiegazione per un ingegnere che cerca un errore può essere molto diversa da quella per una persona che contesta una decisione.

Si distingue spesso fra interpretabilità, cioè comprendere direttamente un modello, e spiegazione a posteriori, che applica un metodo esplicativo a un modello esistente. Nel settore i termini si sovrappongono: sono distinzioni utili, non definizioni rispettate universalmente.

Non tutte le spiegazioni, inoltre, rivelano l’intero percorso di calcolo, forniscono una confidenza calibrata o chiariscono ogni alternativa scartata. Uno strumento può rispondere bene a una domanda circoscritta lasciandone altre irrisolte.

Perché la spiegabilità è importante

Ricerca degli errori: un modello può imparare una scorciatoia che funziona sui dati di addestramento e fallisce altrove. Studiare le caratteristiche influenti può far notare a un gruppo di lavoro che un classificatore risponde a un motivo dello sfondo anziché al soggetto previsto.

Responsabilità: una spiegazione può rendere più facile contestare un dato errato o una decisione discutibile. Serve però un vero processo di revisione, non soltanto un grafico colorato accanto a una porta chiusa a chiave.

Obblighi giuridici: alcune decisioni comportano già requisiti specifici di spiegazione o comunicazione. Secondo le regole statunitensi sul credito della Regulation B, le motivazioni di un provvedimento sfavorevole devono identificare le ragioni principali effettivamente usate; dire soltanto che il richiedente non ha raggiunto il punteggio necessario non basta. La norma non prescrive grafici SHAP.

Obblighi diversi non vanno fusi in un’unica «legge sulla XAI» universale. Le regole di New York sugli strumenti automatizzati per le decisioni occupazionali riguardano gli strumenti coperti, gli audit sui bias, la pubblicazione di informazioni sugli audit e le comunicazioni. Una spiegazione individuale del contributo delle caratteristiche non sostituisce quell’audit.

L’articolo 86 dell’AI Act europeo prevede un diritto circoscritto a ottenere spiegazioni per certe decisioni rilevanti che coinvolgono specifici sistemi ad alto rischio. L’entrata in vigore del regolamento nel 2024 non va confusa con l’applicazione immediata di tutti gli obblighi: ambito e date di applicazione contano.

Scatole nere, scatole di vetro e accuratezza

Un piccolo albero decisionale si può seguire ramo per ramo. Un breve elenco di regole si può leggere direttamente. Anche modelli lineari o additivi possono essere interpretabili, se caratteristiche e relazioni restano gestibili.

«Famiglia di modelli semplice» non significa automaticamente «facile da capire per una persona». Migliaia di caratteristiche trasformate possono rendere un modello apparentemente modesto un compito di lettura molto impegnativo.

Grandi reti neurali e insiemi complessi di modelli sono più difficili da esaminare nel loro insieme. Questo motiva i metodi a posteriori, ma non dimostra che l’opacità sia necessaria per ogni compito. In un articolo del 2019, Cynthia Rudin sosteneva l’uso di modelli intrinsecamente interpretabili nei contesti ad alto impatto, invece di presumere che una scatola nera accompagnata da una spiegazione fosse la soluzione giusta.

La lezione pratica è confrontare modelli adatti al compito reale. Né «la trasparenza perde sempre» né «la trasparenza vince sempre» sono scorciatoie utili. La nostra guida a come funzionano gli LLM (in inglese) descrive una famiglia particolarmente complessa.

Le tecniche comuni di IA spiegabile

Importanza delle caratteristiche

I metodi di importanza delle caratteristiche chiedono quali dati in ingresso contino per un modello. L’importanza per permutazione rimescola una caratteristica e misura la variazione di un indicatore di prestazione scelto. L’importanza incorporata negli alberi può invece usare i miglioramenti associati alle suddivisioni: non è lo stesso calcolo.

Una graduatoria globale riassume il comportamento su un insieme di dati. Non spiega necessariamente il risultato di una singola persona. Anche caratteristiche correlate complicano l’interpretazione: il modello può conservare informazioni simili attraverso un altro dato in ingresso.

SHAP e LIME

SHAP assegna alle caratteristiche contributi a una previsione, usando un impianto collegato ai valori di Shapley della teoria dei giochi. Le sue proprietà matematiche valgono in un contesto esplicativo definito; non rendono ogni grafico l’unica risposta corretta a prescindere da dati di riferimento, ipotesi o approssimazioni.

LIME adatta un modello più semplice intorno a uno specifico esempio per approssimare localmente il modello originale. Il risultato dipende da come viene costruito e campionato quell’intorno. Controlla quanto sia fedele l’approssimazione, anziché presumere che il modellino catturi l’intero sistema.

Non esiste una graduatoria universale di velocità fra i due. Implementazioni, tipi di modello e quantità di calcolo richiesta fanno la differenza.

Spiegazioni controfattuali

Un controfattuale chiede quali cambiamenti nei dati in ingresso produrrebbero un risultato diverso. In un ipotetico modello per i prestiti, un debito registrato più basso potrebbe far superare a una domanda la soglia di approvazione.

Può essere utile, ma una variazione matematica non diventa automaticamente un consiglio pratico o una promessa di approvazione futura. I cambiamenti proposti dovrebbero essere fattibili, rispettare ciò che una persona può controllare e considerare le altre condizioni. «Avere dieci anni di meno» non è un piano d’azione.

Salienza e attenzione

I metodi di salienza evidenziano regioni o caratteristiche dell’input associate a una previsione secondo il calcolo del metodo. Una mappa di calore può orientare un’indagine, ma una zona luminosa non prova che il modello abbia capito correttamente un oggetto.

I pesi di attenzione sono un’altra visualizzazione allettante. L’articolo del 2019 Attention Is Not Explanation mostrava, nei contesti di elaborazione del linguaggio studiati, che distribuzioni di attenzione molto diverse potevano dare previsioni equivalenti. Tratta la mappa come un segnale da indagare, non come un’immagine letterale della comprensione.

Interpretabilità meccanicistica

Questo approccio studia i calcoli e le interazioni interne di un modello, spesso verificando ipotesi tramite interventi su di essi. Pone una domanda diversa da un riepilogo dei contributi delle caratteristiche destinato all’utente.

È una ricerca promettente, ma non una mappa completa di un grande modello, né l’unica strada legittima verso una comprensione utile. Domande diverse richiedono prove diverse.

Cosa possono aiutare a fare questi strumenti

Nella valutazione del credito, le spiegazioni possono collegare un esito ai fattori realmente considerati. Nelle operazioni di sicurezza, possono aiutare un analista a indagare un allarme. Nella ricerca medica o nello sviluppo di strumenti di supporto alle decisioni, possono aiutare a esaminare se il modello si affidi a segnali plausibili.

Sono usi possibili, non l’affermazione che ogni banca, ospedale o gruppo di sicurezza abbia installato la stessa dashboard. Le spiegazioni non sostituiscono validazione, competenza di settore o procedure per correggere gli errori.

Le citazioni di un chatbot hanno un’altra funzione utile: verificare il materiale di supporto. Come spiega la nostra guida alla RAG (in inglese), le fonti recuperate possono informare una risposta. Una citazione aiuta a esaminare le prove; da sola non rivela perché il modello abbia generato quella risposta, né dimostra che abbia usato fedelmente la fonte.

Dove le spiegazioni possono ingannare

Il comportamento del modello non è causalità nel mondo reale. L’attribuzione a una caratteristica può descrivere quanto il modello si affidi a una variabile, senza mostrare che cambiarla causi un certo esito nel mondo. Una spiegazione fedele di una cattiva scorciatoia può comunque essere preziosa: può esporre il problema.

Un resoconto ben confezionato può omettere influenze importanti. Nello studio di Anthropic dell’aprile 2025, i modelli di ragionamento testati spesso non riconoscevano suggerimenti che avevano influenzato le risposte. È una prova contro l’idea che il ragionamento generato sia una trascrizione garantita, non che ogni spiegazione di ogni modello sia falsa.

La stabilità non basta. Un metodo può ripetere con regolarità la stessa storia fuorviante. Al contrario, piccoli cambiamenti possono legittimamente modificare una spiegazione vicino a una soglia decisionale. Valuta la fedeltà al modello oltre alla ripetibilità.

La confidenza richiede controlli propri. Un punteggio non è necessariamente una probabilità calibrata. Aggiungere «sicuro al 99%» a una decisione può rendere l’interfaccia più persuasiva senza renderla più affidabile.

Il calcolo ha un costo. Alcuni metodi esplicativi richiedono molte valutazioni aggiuntive del modello. Altri sono relativamente economici. Scegli un metodo che risponda alla domanda necessaria entro i limiti di risorse e tempi di risposta dell’applicazione.

Come valutare una spiegazione

I principi del NIST del 2021 offrono un buon punto di partenza: fornire una spiegazione, renderla comprensibile al suo pubblico, rappresentare accuratamente il sistema e riconoscere i limiti della conoscenza.

Per una verifica pratica, chiedi:

A quale domanda precisa risponde questa spiegazione?
Descrive una singola previsione o il comportamento su un insieme di dati?
Come è stata verificata la sua fedeltà e quali ipotesi la influenzano?
Il lettore a cui è destinata può capirla?
Dati errati o decisioni contestate possono essere riesaminati da un responsabile?
Dichiara ciò che non può stabilire?

Una spiegazione non deve sempre suggerire azioni nello stesso modo. Un ricercatore che indaga un classificatore e un richiedente che cerca una correzione hanno esigenze diverse. L’interfaccia dovrebbe rifletterle.

Domande frequenti

Spiegabilità e interpretabilità sono la stessa cosa?

I termini si sovrappongono. Una distinzione utile separa la comprensione diretta di un modello dall’uso di un metodo aggiuntivo per spiegarne il comportamento. Controlla come li definisce l’autore.

La XAI riduce l’accuratezza?

Una spiegazione a posteriori lascia normalmente invariata la previsione sottostante. Scegliere un modello diverso e più interpretabile può cambiare le prestazioni: misura il compromesso invece di presumerlo.

Un chatbot può spiegare se stesso?

Può generare una spiegazione, ma quel testo non rivela necessariamente tutte le influenze dietro la risposta. Verifica le affermazioni rispetto alle prove e al comportamento del sistema.

SHAP è un certificato di conformità?

No. Gli obblighi giuridici dipendono dalla decisione, dalla giurisdizione e dalle regole applicabili. Un certo grafico non soddisfa automaticamente i requisiti di comunicazione, audit o spiegazione.

Da dove dovrebbe cominciare un principiante?

Prova un piccolo albero decisionale su un insieme di dati familiare, poi confrontalo con un modello più complesso e una spiegazione locale. Esamina gli errori oltre ai successi. Capire un esempio scomodo può insegnare più che collezionare una cartella di mappe di calore spettacolari.

L’obiettivo non è far sembrare rassicurante ogni macchina. È rendere le decisioni più facili da esaminare, contestare e migliorare. Il tuo gatto potrebbe non spiegarti mai il vaso rotto, ma un sistema software importante dovrebbe offrire qualcosa di più dell’equivalente digitale dell’andarsene.

Traduzione italiana dell’articolo originale in inglese del 2026-06-05. Tradotto il 30 ottobre 2026 con assistenza IA; i riferimenti temporali restano quelli dell’originale.