Scrivi una frase in ChatGPT, Claude o Gemini e ricevi un paragrafo che sembra scritto da una persona. La domanda interessante viene dopo: come funzionano davvero gli LLM, sotto il cofano? La risposta onesta è che un modello linguistico di grandi dimensioni è un enorme motore statistico addestrato a prevedere il prossimo frammento di testo, un pezzo alla volta. Questo singolo trucco, portato a una scala sufficiente, produce codice, saggi, traduzioni e argomentazioni. La guida ripercorre ogni passaggio in parole semplici: token, embedding, attenzione, addestramento, inferenza e ragioni per cui questi sistemi continuano a sbagliare. Alla fine saprai che cosa accade fra il prompt e la risposta e avrai motivi migliori per controllare una risposta anziché fidarti del suo tono.
Indice
- Che cos’è davvero un LLM
- Token ed embedding: come gli LLM vedono il testo
- Il transformer e la self-attention
- Come vengono addestrati gli LLM
- Inferenza: dal prompt alla risposta
- Perché gli LLM hanno allucinazioni
- Finestre di contesto, RAG e uso degli strumenti
- Domande frequenti
Che cos’è davvero un LLM
Un modello linguistico di grandi dimensioni è una rete neurale addestrata a rappresentare schemi nel linguaggio. Per molti modelli generativi, prevedere il token successivo è centrale nel preaddestramento. Il comportamento in chat riflette anche l’addestramento successivo e l’applicazione costruita attorno al modello. Questa guida si concentra sul comune approccio transformer autoregressivo, non su ogni possibile architettura di modello linguistico.
Le informazioni apprese sono codificate in parametri numerici, anziché in una normale tabella ricercabile di frasi. Non significa che il modello non possa memorizzare testi: la ricerca sull’estrazione dei dati di addestramento ne ha dimostrato il recupero parola per parola in alcune condizioni. Durante la generazione, il modello calcola i punteggi dei possibili token successivi a partire dal contesto disponibile.
Tre cose che un LLM non è
Il modello non è un database convenzionale. La risposta generata non è automaticamente un record recuperato. Un’applicazione può collegarlo alla ricerca o a database, ma sono meccanismi aggiuntivi.
Una risposta scorrevole non è una finestra trasparente sul modo in cui è stata prodotta. Generare passaggi intermedi può fornire più calcolo e aiutare in alcuni compiti, ma una spiegazione nell’output non è necessariamente un resoconto fedele del processo interno.
Il prodotto è più di un singolo checkpoint. I fornitori possono cambiare modelli, istruzioni, recupero delle informazioni e strumenti. Un comportamento diverso non implica necessariamente che siano cambiati soltanto i pesi sottostanti.
Token ed embedding: come gli LLM vedono il testo
Prima di fare qualsiasi cosa con il prompt, un LLM deve trasformare il testo in numeri. Succede in due passaggi: tokenizzazione ed embedding. Entrambi sono più semplici di quanto sembrino ed entrambi influenzano il comportamento del modello più di quanto spesso si pensi.
Tokenizzazione: affettare il testo in pezzi
Un tokenizer divide il testo in unità chiamate token. Secondo il tokenizer e il testo esatto, un token può rappresentare parte di una parola, punteggiatura, spazi o un’altra unità. «Tokenizzazione» potrebbe essere divisa in frammenti, ma serve il tokenizer effettivo per sapere come venga codificato «Pudgy Cat». Il gatto non ha un conteggio universale di token.
La byte-pair encoding è un metodo comune: costruisce unità riutilizzabili unendo coppie frequenti. Esistono altri schemi, fra cui la tokenizzazione unigram. SentencePiece supporta entrambi. I metodi basati su sottoparole e byte possono rappresentare stringhe sconosciute attraverso pezzi più piccoli, ma vocabolari e gestione dei caratteri insoliti cambiano.
Per stimare costi e lunghezza, conta i token con il tokenizer usato dal modello effettivo. Prosa inglese, codice, spazi e sistemi di scrittura diversi possono essere tokenizzati in modi differenti. Le regole indicative sul numero di parole sono approssimazioni, e una lunghezza uguale in byte non garantisce che un file Python usi più token della prosa.
Embedding: trasformare i token in vettori
I token vengono associati a vettori numerici chiamati embedding. Le loro dimensioni dipendono dall’architettura. Sono una rappresentazione iniziale, non un contenitore di tutto ciò che il modello sa su una parola; gli strati successivi trasformano le rappresentazioni usando il contesto circostante.
Le rappresentazioni apprese possono cogliere somiglianze utili, ma la loro geometria non è un semplice dizionario con ogni sinonimo ordinatamente accanto agli altri. Il contesto conta. L’inglese «bank» in una frase su un fiume richiede un trattamento diverso da «bank» in una frase su un prestito, anche se il token iniziale è lo stesso.
Il transformer e la self-attention
Il transformer fu introdotto nel 2017 in «Attention Is All You Need» e diventò molto influente nella modellazione del linguaggio. Non è l’unica architettura: la ricerca su Mamba esplora un’alternativa basata su modelli a spazio di stato. Neppure le informazioni pubbliche consentono di affermare quale sia l’esatto progetto interno di ogni modello proprietario.
Che cosa fa davvero l’attenzione
Per ogni token del prompt, il modello deve capire quali altri token contano. Prendi la frase inglese «The cat sat on the mat because it was tired», cioè «Il gatto si è seduto sul tappetino perché era stanco». «It» si riferisce al gatto, non al tappetino. Una persona lo capisce subito. Il modello deve calcolarlo.
L’attenzione calcola combinazioni pesate di vettori value usando le relazioni fra query e key. In un generatore causale di testo, una posizione non può esaminare liberamente i token futuri. Nell’esempio del gatto e del tappetino, il contesto può aiutare a rappresentare la relazione del pronome, ma nessun peso specifico dell’attenzione dovrebbe essere considerato una spiegazione grammaticale garantita.
Attenzione multi-head e sovrapposizione degli strati
Più teste di attenzione usano proiezioni apprese diverse, permettendo di combinare le informazioni in modi differenti. È allettante assegnare a ogni testa una mansione precisa, ma il comportamento è più distribuito e variabile. Il numero di teste è una scelta architetturale, non un intervallo fisso per ogni modello moderno.
I blocchi transformer usano anche trasformazioni feed-forward, normalizzazione e connessioni residue. Ripetere i blocchi costruisce rappresentazioni contestuali. Numero e disposizione variano, e la parte feed-forward non è necessariamente un’aggiunta marginale nel calcolo.
Come vengono addestrati gli LLM
L’addestramento modifica i parametri del modello. Una distinzione generale utile separa il preaddestramento, che apprende da grandi raccolte di dati, dal post-addestramento, che può modellare la capacità di seguire istruzioni e altri comportamenti. I processi reali possono contenere più fasi di questa divisione semplificata.
Preaddestramento: la grande raccolta
I dati di preaddestramento possono includere testi e codice da più fonti, secondo il modello. Nell’addestramento sul token successivo, il sistema calcola una funzione di perdita dalle previsioni; la retropropagazione calcola i gradienti e un ottimizzatore li usa per aggiornare i parametri. Non è semplicemente un interruttore binario «risposta sbagliata». Composizione dei dati, filtraggio e scala variano.
Le grandi sessioni di addestramento richiedono risorse di calcolo consistenti. I costi dipendono da dimensione del modello, dati, hardware e scelte di addestramento: attribuire un unico prezzo non documentato a ogni modello di frontiera sarebbe fuorviante. Addestrare un piccolo modello sperimentale e un sistema di frontiera sono progetti molto diversi.
Fine-tuning e RLHF
Un modello che ha svolto solo il preaddestramento è un motore fluente di completamento del testo. Se gli fai una domanda, potrebbe semplicemente continuarla nello stile di una discussione su un forum. Per trasformarlo in un assistente utile, i fornitori aggiungono una seconda fase.
Un approccio influente, descritto nell’articolo del 2022 su InstructGPT, combina esempi supervisionati, confronti di preferenza e apprendimento per rinforzo. I confronti aiutano ad addestrare un modello di ricompensa, che guida l’ottimizzazione successiva. Esistono altri metodi di post-addestramento. Nessuna singola tecnica spiega da sola ogni frase cortese, rifiuto o sintesi prodotta da un’applicazione di chat.
I ricercatori continuano a studiare come obiettivi di addestramento e architetture influenzino le capacità. La lezione pratica è distinguere il compito del preaddestramento dal sistema completo che risponde. Uno slogan sulla previsione non risolve ogni domanda su ragionamento o comprensione.
Inferenza: dal prompt alla risposta
Durante la normale inferenza, i pesi del modello distribuito sono generalmente fissi. Prompt e contesto accumulato influenzano l’output senza richiedere un nuovo aggiornamento dei pesi per ogni conversazione. La generazione può comunque essere non deterministica e la memoria a livello di applicazione è distinta dall’addestramento.
Il ciclo di generazione
Il sistema elabora il prompt, calcola i punteggi dei possibili token successivi, ne sceglie uno attraverso la procedura di decodifica e continua. La generazione termina a una condizione di arresto o a un limite. È il ciclo autoregressivo di base; un prodotto può anche fermarsi per usare strumenti o svolgere altri passaggi attorno a esso.
Le implementazioni evitano di rifare tutto da zero. La cache key-value di un transformer può riutilizzare informazioni di attenzione già calcolate; la ricerca su PagedAttention studia come gestire efficientemente quella cache. I nuovi token richiedono ancora calcolo, ma né «rielaborare tutto il prompt ogni volta» né «attivare ogni parametro» descrivono universalmente l’inferenza.
Temperatura e campionamento
La decodifica greedy sceglie il token successivo con il punteggio più alto. Il campionamento estrae invece da una distribuzione, spesso dopo averla modificata. Il metodo dipende da sistema e compito; non tutti i servizi campionano sempre.
La temperatura cambia quanto è concentrata la distribuzione di campionamento. Valori più bassi solitamente concentrano le scelte, mentre valori più alti distribuiscono la probabilità più ampiamente. Top-k e top-p restringono i candidati in modi diversi. Una temperatura bassa non promette riproducibilità fra hardware o implementazioni, e una temperatura alta non garantisce creatività o qualità.
Perché gli LLM hanno allucinazioni
Un LLM può generare testo plausibile ma falso. Una forma fluente non garantisce fondamento fattuale e gli errori possono emergere anche quando le informazioni pertinenti sono presenti. I modelli possono imparare a esprimere incertezza o ad astenersi, ma questi comportamenti sono imperfetti. La domanda utile è se la risposta specifica sia supportata, non se sembri esitante o sicura.
Forme comuni di allucinazione
Citazioni false: quando gli si chiedono fonti, il modello genera stringhe che sembrano riferimenti accademici reali perché quel modello di testo è molto comune nei dati di addestramento. Il formato è corretto, autori e titoli sono inventati.
Date e quantità sbagliate: un modello può produrre un numero plausibile che non corrisponde alle prove. Verificalo su una fonte appropriata, anziché presumere che una precisione espressa con sicurezza rifletta una ricerca.
Funzioni fantasma: chiedi a un LLM come fare qualcosa in un software e potrebbe inventare una chiamata API plausibile ma inesistente, perché lo schema «la libreria ha un metodo che fa questo» è forte.
Come ridurre le allucinazioni
Un modo per migliorare il fondamento delle risposte è recuperare materiale pertinente e fornirlo al modello. La ricerca sulla retrieval-augmented generation combina recupero e generazione. Può aiutare, ma un recupero sbagliato o l’uso scorretto di un documento possono ancora produrre errori. La nostra guida alla RAG (in inglese) spiega il modello applicativo più in dettaglio.
Finestre di contesto, RAG e uso degli strumenti
Le applicazioni possono fornire documenti, cronologia della conversazione e risultati degli strumenti insieme alle tue parole. Queste aggiunte possono contare quanto la domanda visibile. Tre elementi utili del sistema sono gestione del contesto, recupero e strumenti.
La finestra di contesto
Una finestra di contesto limita la quantità di materiale tokenizzato con cui il modello può lavorare in una determinata configurazione. L’applicazione decide che cosa includere, riassumere o recuperare. Il materiale fuori dal contesto immediato non viene necessariamente eliminato dall’archivio del prodotto, ma il modello non può contare di vederlo finché il sistema non lo fornisce di nuovo.
Retrieval-augmented generation
Un sistema di recupero seleziona materiale da una raccolta esterna e lo rende disponibile per la generazione. Può usare somiglianza vettoriale, ricerca per parole chiave o una combinazione. Questo può offrire informazioni più recenti o specifiche per il compito senza riaddestrare il modello. È una scelta di progettazione utile, non un requisito seguito da ogni implementazione seria.
Uso degli strumenti e MCP
Un’applicazione dotata di strumenti può permettere al modello di richiedere una ricerca, un calcolo o un’operazione su un database, eseguire la richiesta e restituire il risultato come contesto. MCP fu presentato nel novembre 2024 come protocollo per collegare applicazioni di IA a sistemi esterni; l’uso degli strumenti non è nato con esso. Vedi la nostra spiegazione di MCP (in inglese) per questo livello di collegamento.
Domande frequenti
Come funzionano gli LLM in una frase?
Un LLM è una gigantesca rete neurale addestrata a prevedere il token successivo di una sequenza, e «chattare» è quel ciclo di previsione ripetuto usando il prompt come punto di partenza.
Qual è la differenza fra LLM e IA?
L’IA è il campo più ampio, che comprende riconoscimento delle immagini, robotica, ricerca e sistemi che giocano. Un LLM è un tipo specifico di IA: un modello linguistico di grandi dimensioni addestrato su testi per generare testi. ChatGPT, Claude e Gemini sono prodotti basati su LLM.
Gli LLM capiscono davvero il linguaggio?
«Capire» può significare cose diverse, dall’usare bene il linguaggio all’avere esperienze simili a quelle umane. I modelli apprendono rappresentazioni che sostengono comportamenti utili, ma questo non risolve da solo la questione filosofica. Alcuni sistemi elaborano anche immagini o audio, quindi dire che tutti questi modelli sono privi di input sensoriali è troppo generale.
Perché gli LLM inventano cose?
Generare una risposta ben formata e generarne una corretta sono requisiti diversi. Addestramento e ancoraggio alle fonti possono ridurre gli errori, ma nessuno dei due garantisce la correttezza. Controlla le prove per le affermazioni importanti, soprattutto citazioni, numeri e istruzioni.
Posso addestrare il mio LLM?
Puoi addestrare un piccolo modello per imparare oppure adattarne uno esistente se hardware, dati e metodo lo consentono. Il fine-tuning non è automaticamente economico in ogni configurazione. Eseguire un modello in locale è un compito distinto; la nostra guida all’IA locale (in inglese) è un punto di partenza.
Che cosa portarsi a casa
Il quadro utile ha diverse parti: input tokenizzati, rappresentazioni apprese, un processo di generazione e un’applicazione che può aggiungere recupero o strumenti. Prevedere il token successivo spiega un meccanismo importante, non ogni comportamento del prodotto completo. Capire questi pezzi aiuta a fare domande migliori e verificare le risposte. Un paragrafo sicuro di sé ti deve comunque delle prove, per quanto bene sia formattato.
Traduzione italiana dell’articolo originale in inglese del 2026-05-22. Tradotto il 30 ottobre 2026 con assistenza IA; i riferimenti temporali restano quelli dell’originale.




