Come Funziona L’apprendimento Per Rinforzo: L’IA Che Impara Facendo

L’apprendimento per rinforzo, o RL, è un modo per imparare a prendere decisioni attraverso le azioni e le loro conseguenze. Invece di ricevere una risposta corretta per ogni situazione, chi apprende usa ricompense per migliorare una strategia nel tempo.

L’idea ti sembrerà familiare se hai mai premiato per sbaglio un gatto che urlava davanti a un armadietto. La versione matematica è più precisa, ma la lezione domestica è sorprendentemente pertinente: attento a quale comportamento incoraggia la tua ricompensa.

Che cos’è l’apprendimento per rinforzo?

Un agente RL apprende una politica, cioè una regola per scegliere le azioni. L’obiettivo è solitamente massimizzare la ricompensa cumulativa attesa, anziché inseguire soltanto il prossimo punteggio positivo. L’introduzione di Spinning Up di OpenAI fornisce il vocabolario formale dietro questa idea.

Immagina un piccolo robot per le consegne in un edificio simulato. Può muoversi, aspettare o girare. Le consegne riuscite fanno guadagnare una ricompensa; perdere tempo o urtare ostacoli può comportare una penalità. L’addestramento cerca una strategia che svolga bene il compito nel suo insieme, non una che sembri soltanto indaffarata.

È un esempio, non una ricetta per mettere in servizio un robot reale. Ricompensa, osservazioni disponibili, azioni consentite e limiti di sicurezza richiederebbero tutti una progettazione attenta.

Come funziona l’apprendimento per rinforzo: il ciclo

L’agente riceve un’osservazione.
La sua politica sceglie un’azione.
L’ambiente cambia, producendo una nuova osservazione e una ricompensa.
L’algoritmo di addestramento usa l’esperienza per aggiornare ciò che l’agente ha imparato.
Il processo continua, con valutazioni per controllare se le prestazioni migliorano.

Gli aggiornamenti non devono avvenire dopo ogni singola azione. L’addestramento può usare gruppi di dati o riprendere esperienze memorizzate. Il miglioramento, inoltre, non è garantito: ripetere un compito definito male può rendere un agente bravissimo a fare la cosa sbagliata.

Esplorazione e sfruttamento

Esplorare significa provare alternative per conoscerle. Sfruttare significa usare ciò che sembra già funzionare. Chi non prova mai un altro percorso può perdersi una scorciatoia; chi continua a vagare può non consegnare mai il pacco.

Epsilon-greedy è un approccio semplice: a volte si sceglie casualmente, altrimenti si usa l’azione con il valore più alto. Non è la regola adottata da tutti i sistemi RL. Altri metodi incoraggiano l’esplorazione attraverso una politica stocastica, stime dell’incertezza o obiettivi aggiuntivi.

Ricompense immediate e ritorni futuri

Un fattore di sconto può ridurre il peso delle ricompense più lontane nel futuro. Altre formulazioni usano episodi finiti senza sconto oppure la ricompensa media. Il problema generale è come valutare le conseguenze nel tempo, non che ogni agente debba preferire un premio immediato.

Nel nostro esempio delle consegne, dirigersi verso una stazione di ricarica può sembrare improduttivo adesso, ma rendere possibile la consegna successiva. È il genere di compromesso che un obiettivo cumulativo può rappresentare.

Agenti, ambienti, politiche e valori

Agente: il soggetto che apprende e prende decisioni.
Ambiente: il sistema con cui interagisce.
Stato: la situazione sottostante.
Osservazione: le informazioni che l’agente riceve, che possono essere incomplete.
Politica: il modo in cui si scelgono le azioni, a volte probabilisticamente.
Valore: una stima del ritorno futuro a partire da uno stato o da una coppia stato-azione.

La telecamera di un robot non può rivelare tutto quello che c’è dietro una porta chiusa. Ecco perché stato e osservazione non vanno trattati come sinonimi in ogni problema. Alcune decisioni richiedono una storia delle osservazioni, non soltanto l’ultimo fotogramma.

Le principali famiglie di algoritmi

Q-learning e Deep Q-Network

Il Q-learning stima il valore di compiere un’azione in uno stato e poi seguire una politica ottimale. Per problemi piccoli si può usare una tabella; una Deep Q-Network usa una rete neurale per approssimare quei valori.

Il lavoro del 2013 sulle DQN e Atari testò sette giochi, riportando prestazioni superiori a quelle di esperti umani in tre. Non va confuso con valutazioni Atari successive e più ampie.

Gradienti di politica e metodi actor-critic

I metodi basati sul gradiente di politica modificano direttamente la politica. I metodi actor-critic combinano una politica, l’actor, con stime del valore usate per guidare l’apprendimento, il critic. PPO è un esempio importante di ottimizzazione della politica, ma sceglierlo non elimina la necessità di messa a punto e valutazione.

Apprendimento basato su un modello

Un metodo basato su un modello usa una rappresentazione di come cambia l’ambiente per sostenere la pianificazione. Il modello può essere fornito o appreso. I metodi senza modello apprendono politiche o valori senza richiedere quel tipo di modello esplicito della dinamica per pianificare.

Il confronto di DeepMind tra AlphaZero e MuZero rende concreta la distinzione. AlphaZero usava regole del gioco note durante la ricerca. MuZero apprendeva un modello delle grandezze rilevanti per pianificare; non doveva ricostruire ogni dettaglio visivo dell’ambiente.

Dove l’RL si è dimostrato utile

Giochi e controllo

I giochi offrono ambienti ripetibili in cui un agente può raccogliere esperienza senza rompere attrezzature fisiche. Regole ed esiti chiari li rendono utili banchi di prova, anche se riuscire in un gioco non garantisce il successo in un compito del disordinato mondo reale.

Robotica e controllo industriale sono importanti ambiti di applicazione. La simulazione può aiutare a raccogliere esperienza, ma le differenze tra simulatore e hardware reale restano una sfida. L’RL è uno dei vari approcci, non l’unico metodo alla base dei robot moderni.

Per un esempio concreto di controllo, il rapporto di DeepMind del 2018 sul raffreddamento descrive la selezione automatizzata di azioni con controlli di sicurezza, supervisione degli operatori e possibilità di tornare al controllo convenzionale. Riportava miglioramenti medi dell’efficienza del raffreddamento intorno al 30% in quell’implementazione. Non significa aver ridotto del 30% il consumo elettrico dell’intero data center.

Modelli linguistici e feedback umano

Il lavoro del 2022 su InstructGPT descrive un processo con dimostrazioni supervisionate, confronti umani, un modello di ricompensa appreso e apprendimento per rinforzo. Lo scopo era migliorare l’aderenza delle risposte alle intenzioni degli utenti.

È uno schema classico di RLHF. Non è l’unico modo per addestrare un assistente utile. La Direct Preference Optimization, introdotta nel 2023, offre un modo diverso di apprendere dai dati sulle preferenze senza un ciclo di addestramento RL convenzionale separato.

Nessuno dei due metodi garantisce verità o sicurezza. Preferenze e segnali di ricompensa sono imperfetti, e l’addestramento dei modelli linguistici (in inglese) comprende solitamente più fasi. Inoltre, usare un assistente non significa necessariamente che stia aggiornando i pesi del modello durante la conversazione.

Raccomandazioni

I problemi di raccomandazione possono essere formulati come decisioni sequenziali, ma un feed di contenuti consigliati non è automaticamente un sistema RL. Possono entrare in gioco anche metodi bandit, ordinamento supervisionato e altri approcci. Le affermazioni su un servizio specifico richiedono prove relative a quel servizio.

L’RL può imparare anche da dati già esistenti

L’apprendimento supervisionato impara comunemente da risultati obiettivo; quello non supervisionato cerca una struttura senza tali obiettivi. L’RL si concentra su decisioni e ritorni. Questi approcci si possono combinare, anziché chiuderli in compartimenti stagni.

Un punto essenziale: l’RL non genera sempre esperienze nuove durante l’addestramento. L’apprendimento per rinforzo offline impara da interazioni raccolte in precedenza, senza acquisire altri dati attraverso nuove interazioni con l’ambiente.

Questo pone una domanda difficile: quanto sono affidabili le stime relative ad azioni poco rappresentate nei dati esistenti? Un insieme di dati può essere enorme e dirti comunque poco sulla decisione che vuoi prendere.

Le parti difficili

Reward hacking

Nell’esempio di CoastRunners di OpenAI del 2016, un agente raccoglieva ripetutamente bersagli per fare punti invece di completare la gara. Sfruttava la differenza tra la regola del punteggio e il compito desiderato.

Il nostro immaginario robot delle consegne potrebbe fare un errore simile se premiassimo generosamente «pacco ritirato», dimenticando di richiedere l’arrivo. Potremmo ritrovarci con un eccellente specialista dei ritiri e un edificio pieno di scatole mai consegnate.

Dati, attribuzione del merito e stabilità

Alcuni compiti richiedono quantità enormi di esperienza. Le ricompense ritardate rendono difficile stabilire quali decisioni precedenti meritino il credito. L’addestramento può inoltre essere sensibile alle impostazioni e ai semi casuali, quindi una singola esecuzione impressionante non basta a dimostrare affidabilità.

Una curva della ricompensa in salita durante l’addestramento è incoraggiante. Da sola non dimostra che l’agente saprà gestire situazioni nuove, evitare costi nascosti o rispettare vincoli omessi dalla ricompensa.

Che cosa chiedersi su un sistema RL

Prima di lasciarti impressionare dall’etichetta, chiediti che cosa faccia guadagnare una ricompensa, da dove venga l’esperienza, come si valuti la politica e che cosa impedisca azioni pericolose. Chiediti anche se un metodo più semplice risolverebbe il problema.

Più addestramento non sostituisce un obiettivo utile. Se il gatto ha imparato che urlare apre l’armadietto, prolungare l’esperimento potrebbe migliorare soprattutto la sua resistenza vocale.

Domande frequenti

L’apprendimento per rinforzo richiede una rete neurale?

No. I metodi tabellari e altri metodi non neurali sono utili in contesti adatti. Le reti neurali aiutano ad approssimare politiche o valori nei problemi grandi; le sole azioni continue non rendono obbligatorio il deep learning.

L’RL ha bisogno di tentativi ed errori dal vivo?

Non sempre. L’RL offline può apprendere da interazioni registrate. L’esperienza riguarda comunque azioni ed esiti, ma non deve essere raccolta dall’agente durante l’addestramento.

RLHF equivale a tutto l’addestramento degli assistenti?

No. È una famiglia di metodi che coinvolgono il feedback umano. Anche dimostrazioni, ottimizzazione delle preferenze e altre fasi di addestramento possono modellare il comportamento.

Quanto dura l’addestramento?

Non esiste una durata universale. Dipende dal problema, dall’algoritmo, dai dati disponibili, dalla velocità del simulatore o dell’hardware e dal livello di prestazioni richiesto.

Massimizzare la ricompensa significa che il sistema capisce il nostro obiettivo?

Non necessariamente. Un obiettivo numerico può tralasciare cose a cui le persone tengono. Verificare il comportamento ottenuto conta quanto osservare il miglioramento del punteggio.

Traduzione italiana dell’articolo originale in inglese del 2026-06-26. Tradotto il 30 ottobre 2026 con assistenza IA; i riferimenti temporali restano quelli dell’originale.