Come eseguire l’IA in locale sul computer: guida pratica 2026

Puoi eseguire un modello linguistico sul tuo computer senza inviare ogni domanda a un servizio di IA remoto. Un piccolo modello, un’applicazione compatibile e un po’ di memoria libera bastano per iniziare a sperimentare. Non serve una sala server; la ventola del portatile potrebbe comunque avere qualcosa da dire.

Il primo obiettivo utile è modesto: far funzionare un modello locale, provarlo su un compito che conosci e valutare se il risultato meriti le risorse utilizzate. Questa guida segue quella strada, con strumenti consolidati e il nome preciso di un modello, anziché una lista della spesa di hardware costoso.

Che cosa viene davvero eseguito in locale?

Un modello linguistico contiene pesi numerici appresi durante l’addestramento. L’inferenza è il calcolo che usa quei pesi e il tuo input per generare una risposta, normalmente un token alla volta. I token possono rappresentare parti di parole, parole intere o punteggiatura.

Con l’inferenza locale, il calcolo avviene sul dispositivo. L’applicazione può usare la CPU, una GPU supportata o una combinazione. È un’attività distinta dall’addestrare un modello da zero, impresa molto più grande.

Controlla modello e impostazioni dell’applicazione prima di presumere che l’intero flusso sia locale. Per esempio, Ollama ha introdotto modelli ospitati nel cloud nel settembre 2025. La stessa interfaccia familiare può quindi usare la tua macchina oppure risorse di calcolo remote. Un modello cloud non diventa locale perché lo avvii da un terminale.

Memoria: lascia spazio oltre il file del modello

La quantizzazione riduce la precisione usata per rappresentare i valori del modello, abbassando il fabbisogno di memoria. Può influire anche sulla qualità delle risposte e sulle prestazioni; il compromesso dipende dal metodo e dal modello.

Come esempio approssimativo, sette miliardi di pesi memorizzati a 16 bit richiedono circa 14 GB soltanto per quei pesi. A quattro bit il calcolo dà circa 3,5 GB, prima di dati aggiuntivi e costi accessori. Nessuno dei due numeri rappresenta l’intero fabbisogno di memoria del sistema.

Il motore di esecuzione ha bisogno di spazio di lavoro e anche il contesto della conversazione consuma memoria. Sistema operativo e altre applicazioni richiedono la propria parte. Che il modello scaricato entri nel disco non dimostra che una conversazione lunga stia comodamente in RAM o VRAM.

Un approccio pratico è cominciare con un piccolo modello quantizzato e un contesto breve. Controlla i requisiti hardware e la stima della memoria nell’applicazione. Se la macchina comincia a usare intensamente la memoria di scambio o risponde con lentezza esasperante, prova un modello più piccolo prima di pensare a un acquisto.

Non esiste un limite universale di 70B per l’uso domestico, né la garanzia che un certo numero di parametri funzioni bene su ogni macchina con la stessa RAM. Contano anche larghezza di banda della memoria, supporto all’accelerazione e architettura del modello.

Scegli un’interfaccia che userai davvero

Ollama: una strada semplice dal terminale

Ollama gestisce il download dei modelli e permette di eseguirli dalla riga di comando o tramite un’API locale. La pagina di Llama 3.2 nella sua libreria offre un esempio compatto di partenza, usato qui sotto. Per questo esercizio scegli un modello locale scaricabile.

LM Studio: un’interfaccia grafica

LM Studio offre un catalogo di modelli e un’interfaccia di chat. La documentazione sul funzionamento offline indica che i modelli scaricati, l’elaborazione locale dei documenti e un server di inferenza locale possono funzionare senza internet. Ricerca dei modelli, download e controlli degli aggiornamenti richiedono una connessione.

Se ti trovi meglio con un’interfaccia grafica, usa quella. Imparare la riga di comando è facoltativo; capire dove viene eseguito il modello non lo è.

llama.cpp: un controllo più diretto

llama.cpp è un progetto di inferenza in C/C++ con supporto ai modelli quantizzati, esecuzione su CPU e diverse opzioni di accelerazione hardware. Permette anche di suddividere il lavoro tra CPU e GPU. È utile per chi vuole un controllo più ravvicinato della configurazione.

Nessuno di questi strumenti è automaticamente il più veloce su ogni computer. Parti dall’opzione più semplice che supporti il tuo hardware e il modello desiderato.

La prima chat locale con Ollama

1. Installa l’applicazione. Usa il programma di installazione o le istruzioni per il tuo sistema operativo dalla pagina ufficiale di download di Ollama. Prevedi il tempo necessario per installazione e download del modello; la velocità della connessione varia.
2. Scarica un piccolo modello specifico. Apri un terminale e inserisci ollama pull llama3.2:3b. Ollama indica circa 2 GB per il download quantizzato predefinito di questo modello. È la dimensione del download, non la memoria totale utilizzata.
3. Avvialo. Inserisci ollama run llama3.2:3b. Per un punto di partenza ancora più piccolo, la libreria offre anche llama3.2:1b.
4. Prova un compito semplice. Chiedi una breve riscrittura di un paragrafo scritto da te, poi confrontala con l’originale. Controlla che nomi, numeri e significato siano rimasti invariati.
5. Esci dalla chat. Digita /bye. Potrai tornare sullo stesso modello in seguito senza scaricarlo di nuovo.

I modelli testuali Llama 3.2 sono da 1B e 3B, non da 8B. La scheda del modello di Meta ne descrive usi previsti e licenza. Qui la versione 3B è un esempio gestibile, non l’affermazione che un modello del 2024 sia il migliore per ogni compito nel 2026.

Una volta completati installazione e download, una chat di base con questo modello locale può funzionare offline. Se colleghi strumenti che richiedono internet, avranno requisiti propri.

Prova compiti diversi prima di modelli più grandi

Un modello che produce un paragrafo gradevole può comunque sbagliare un calcolo o inventare una funzione software. Valutalo su esempi di cui puoi verificare le risposte. Per la programmazione, usa un piccolo progetto di prova e ispeziona le modifiche prima di eseguire il codice generato.

Un’alternativa consolidata orientata alla programmazione è Qwen2.5-Coder-7B-Instruct. Verifica che il programma di esecuzione supporti il formato e la quantizzazione che scarichi. Nome del modello, numero di parametri, formato del file e licenza rispondono a domande diverse.

La più ampia competizione tra strumenti di programmazione con IA (in inglese) ricorda che un flusso utile richiede più di un punteggio in un benchmark. Scegli per le attività che svolgi realmente, non per il numero più impressionante che riesci a far caricare al computer.

Informazioni fresche e privacy dipendono dal flusso di lavoro

I pesi del modello non acquisiscono automaticamente le notizie di ieri. Puoi fornire documenti o collegare strumenti di recupero e ricerca. L’annuncio della ricerca web di Ollama del settembre 2025 è un esempio di questo livello aggiuntivo.

Questi collegamenti cambiano il quadro della privacy. Una ricerca remota o un’integrazione cloud possono inviare informazioni fuori dalla macchina anche se il modello linguistico gira in locale. I file delle chat locali possono inoltre finire nei backup del computer o essere accessibili ad altri software.

Per una configurazione privata di base, usa un modello locale, comprendi quali integrazioni sono attive e proteggi il computer stesso. Il materiale riservato merita una revisione dell’intero flusso, non soltanto la parola «locale» su una pagina prodotto.

Costi e API locale

Puoi cominciare con strumenti e pesi disponibili gratuitamente, rispettando le relative licenze. Eseguirli consuma comunque hardware, elettricità, spazio e tempo. Che costi meno di un servizio ospitato dipende dall’utilizzo; non è garantito che ripaghi un nuovo computer.

Gli sviluppatori possono collegare applicazioni al server locale di Ollama. Le FAQ di Ollama documentano l’indirizzo predefinito, 127.0.0.1:11434. Tenerlo sulla macchina locale basta per questa configurazione introduttiva. Renderlo raggiungibile da altri dispositivi introduce un compito separato di controllo degli accessi.

Il premio è il controllo e uno spazio utile per sperimentare. Comincia in piccolo, continua a verificare le risposte ed espandi soltanto quando lo richiede un compito reale. Il modello non deve essere enorme per aiutarti a scrivere un’email. Il gatto, naturalmente, insisterà comunque per correggerla con tutte e quattro le zampe.

Traduzione italiana dell’articolo originale in inglese del 2026-04-10. Tradotto il 30 ottobre 2026 con assistenza IA; i riferimenti temporali restano quelli dell’originale.