Gemma 4 in locale: cosa gira su un laptop e quando al tuo team serve di più

Digiti ollama run gemma4, dopo un minuto il modello è installato e risponde sul tuo laptop. Google però ha pubblicato Gemma 4 come una famiglia di cinque modelli, e i risultati dei benchmark citati ovunque appartengono al più grande, misurato nella precisione con cui Google lo ha addestrato. Quello che quasi tutti eseguono sul proprio computer è un altro modello con lo stesso nome. Per chi fa esperimenti in autonomia non è un problema. Lo diventa quando un team sceglie l'hardware, valuta la qualità o costruisce un prodotto partendo da un'ipotesi sbagliata.

Prima di comprare una scheda grafica o un piccolo server AI per un LLM in locale, o di mettere Gemma 4 a disposizione di colleghi e clienti, conviene quindi sapere per quale Gemma 4 basta la tua memoria, che effetto ha la quantizzazione e quanto veloce sarà il modello. Due numeri rispondono alla maggior parte di queste domande, e valgono per qualsiasi modello.

Cinque modelli Gemma 4, un solo nome

Gemma 4 è la famiglia di modelli open-weight di Google DeepMind, pubblicata ad aprile 2026 con licenza Apache 2.0. Puoi quindi scaricare il modello, eseguirlo sul tuo hardware e usarlo a fini commerciali senza pagare nulla a Google. Il contesto è spiegato nel nostro articolo sui modelli open-weight. Gemma 4 comprende testo e immagini, è stato addestrato su più di 140 lingue e, secondo Google, è pensato per il ragionamento, la programmazione e le attività degli agenti, con function calling nativo. Come usi tipici Google indica chatbot, riassunti ed estrazione di informazioni da documenti e immagini. Per l'uso in locale è tra le famiglie di modelli più scaricate, con oltre 27 milioni di download nella sola libreria di Ollama.

Le cinque taglie condividono il nome e il metodo di addestramento, ma sono pensate per hardware molto diversi.

Memoria per i pesi del modello secondo Google, incluso circa il 20% di overhead in fase di caricamento. La memoria per la conversazione si aggiunge, come vedremo più avanti.

Il download predefinito è il modello piccolo: ollama run gemma4 installa il modello E4B, compresso a 4 bit, da 6,6 GB. Anche i tag dei modelli più grandi sono compressi a circa 4 bit: gemma4:31b è un download da 19-20 GB, mentre gemma4:31b-it-bf16 pesa 63 GB. Per avere 8 o 16 bit devi scegliere esplicitamente il tag giusto.

Il 26B A4B è un modello mixture of experts: dei suoi 25,2 miliardi di parametri totali, solo 3,8 miliardi lavorano su ogni token generato. Per questo è veloce quasi quanto un modello piccolo, ma tutti i 25,2 miliardi di parametri devono comunque stare in memoria. In velocità si comporta come un modello piccolo, in memoria come uno grande.

Quando leggi che Gemma 4 31B ottiene buoni risultati nei benchmark di ragionamento o di programmazione, il risultato si riferisce al 31B in BF16, cioè alla versione da 69,9 GB.

Cosa dà e cosa toglie la quantizzazione

Un modello è fatto di miliardi di numeri, i suoi pesi. Con una precisione a 16 bit ogni numero occupa due byte. La quantizzazione memorizza gli stessi numeri con meno bit: 8 bit dimezzano la memoria necessaria, 4 bit la riducono a un quarto. È così che un modello da 70 GB diventa un file da 17,5 GB che entra in una scheda grafica.

Con meno bit, ogni numero viene memorizzato in modo meno preciso. Quanta precisione serva al tuo lavoro lo dice la ricerca, con più chiarezza del marketing.

A 8 bit la perdita è quasi nulla. Uno studio di Red Hat e Neural Magic con oltre 500.000 valutazioni ha giudicato l'FP8 praticamente senza perdite per modelli di ogni dimensione. Con interi a 8 bit i risultati sono rimasti al massimo 1-3% sotto l'originale (Kurtic et al., ACL 2025).

A 4 bit i modelli reggono bene nei benchmark in inglese, ma perdono di più altrove. Secondo lo stesso studio, i modelli a 4 bit ben calibrati raggiungono il 96-99% dei risultati originali nei test standard in inglese. Altri studi hanno esaminato ciò che quei test non misurano. Cohere ha fatto valutare modelli quantizzati da persone: i benchmark automatici mostravano in giapponese un calo medio dell'1,7%, mentre i valutatori umani, su prompt realistici, hanno rilevato un calo del 16% (Marchisio et al., EMNLP 2024). Con input da 64K token in su, a 8 bit i risultati sono rimasti entro circa lo 0,8% dall'originale, mentre i metodi a 4 bit hanno perso fino al 59% in alcuni compiti, e ancora di più con input non in inglese (Mekala et al., EMNLP 2025). Un terzo studio rileva infine che i modelli quantizzati faticano spesso a seguire le istruzioni e a riconoscere le allucinazioni, i modelli piccoli più di quelli grandi (Lee et al., IJCAI 2025).

Se lavori in italiano, tedesco o danese, con documenti lunghi, o ti serve un modello che segua le istruzioni alla lettera, sono proprio questi i punti da testare per primi.

Esistono poi due tipi di modelli a 4 bit. La maggior parte dei file della community, compreso il download predefinito gemma4 (Q4_K_M), viene arrotondata dopo l'addestramento: i pesi del modello finito vengono compressi a posteriori. Con il quantization-aware training (QAT), invece, il modello impara già durante l'addestramento a lavorare con pesi a 4 bit. Google pubblica versioni QAT di tutti i modelli Gemma 4 e afferma che raggiungono una qualità vicina a bfloat16, ma non ha pubblicato numeri. In Ollama hanno tag propri, per esempio gemma4:31b-it-qat.

Che i 4 bit non siano automaticamente peggiori lo mostra con più chiarezza gpt-oss: OpenAI ha addestrato il modello in un formato a 4 bit (MXFP4) e lo ha valutato così. Per gpt-oss, quindi, i 4 bit sono la precisione nativa. Per Gemma 4 la precisione nativa è BF16, e i 4 bit sono un compromesso che scegli tu.

Due numeri determinano la velocità

Un modello genera testo un token alla volta, e per ogni token deve leggere dalla memoria tutti i suoi pesi attivi. Su una singola macchina con un solo utente è quindi la velocità di lettura della memoria a dettare il ritmo. Ne deriva una regola pratica, valida per qualsiasi modello su qualsiasi hardware:

Token al secondo massimi ≈ larghezza di banda della memoria ÷ dimensione dei pesi letti per token

Il primo numero si trova nella scheda tecnica del tuo hardware, il secondo dipende dal modello e dalla precisione. Per Gemma 4 31B su hardware locale diffuso, la regola dà questi valori:

Limiti superiori calcolati per un singolo utente, in base alla larghezza di banda dichiarata dai produttori. I pesi letti per token sono un po' meno della memoria indicata sopra, che comprende anche l'overhead di caricamento e l'encoder delle immagini. I valori reali sono più bassi, perché la regola non tiene conto della memoria per la conversazione, del calcolo e dell'overhead del software.

Nella pratica la regola funziona. Su una DGX Spark, le misurazioni della community indicano circa 3,7 token al secondo per il 31B a 16 bit e circa 10,6 a 4 bit, cioè tra due terzi e l'85% del limite (forum degli sviluppatori NVIDIA).

Una DGX Spark e un Mac da 128 GB hanno memoria a sufficienza per il 31B completo nella precisione nativa, cosa che nessuna scheda grafica consumer offre. Con 273 GB/s, però, la Spark genera il testo più lentamente di quanto la maggior parte delle persone legga. Che un modello entri in memoria non significa che giri velocemente.

Con il modello mixture of experts il calcolo cambia. Il 26B A4B legge solo 3,8 miliardi di parametri per token, circa 2 GB a 4 bit, e quindi sullo stesso hardware è diverse volte più veloce del 31B (misurazioni della community su DGX Spark: circa 24 token al secondo a 16 bit). Per molte configurazioni locali è il compromesso migliore, purché la qualità basti per il tuo compito.

La stessa regola ti aiuta a dimensionare la prossima macchina. Dividi la larghezza di banda della scheda tecnica per la dimensione del modello che vuoi eseguire e conosci il risultato migliore possibile prima di spendere.

Dove si fermano le soluzioni in locale

Un Gemma 4 in locale va benissimo per molte cose: esperimenti, documenti riservati che non devono uscire dalla tua scrivania, uso offline, una persona che lavora con il modello tutto il giorno senza costi per token. I limiti emergono quando le esigenze crescono, di solito in questo ordine: prima il contesto, poi più utenti, infine la gestione quotidiana.

Contesto

Anche ogni token della conversazione occupa memoria, nella cosiddetta KV cache: il prompt, i documenti che incolli e la risposta fin lì. Gemma 4 la mantiene piccola grazie a una struttura intelligente, perché la maggior parte dei livelli ricorda solo gli ultimi 1.024 token. Comunque, la memoria si accumula. Per il 31B, con una conversazione e una cache a 16 bit:

Su una scheda grafica da 24 GB il 31B a 4 bit occupa 18-20 GB a seconda del file, quindi restano 4-6 GB. Una conversazione da 32K ci sta. Per il context window (in italiano finestra di contesto) da 256K indicato nella scheda del modello, la memoria è del tutto insufficiente.

Più di un utente

Ogni utente ha bisogno di memoria propria per la sua conversazione, e tutti condividono la stessa larghezza di banda della memoria. Una macchina che offre a una persona 50 token al secondo non offre 50 token al secondo a ciascuna di cinque persone. Per un team, un'applicazione o un agente che invia molte richieste in parallelo, questo diventa il limite molto prima che l'hardware sia "pieno".

La gestione quotidiana

Un modello sulla scrivania è un progetto. Un modello su cui conta un team è un servizio: qualcuno deve installare gli aggiornamenti quando esce una nuova versione, intervenire quando smette di rispondere e tenere la macchina disponibile. Questo lavoro non è compreso nel prezzo dell'hardware.

Quando arrivi al limite

Quando il locale non basta più, le strade sono tre. Quale sia quella giusta dipende dai tuoi volumi, dal tuo team e dai tuoi dati.

Un altro modello sull'hardware che hai

Se il problema è la velocità, spesso aiuta il 26B A4B. Se il problema è la memoria, il 12B a 8 bit può darti per il tuo compito una qualità migliore del 31B a 4 bit. Prova entrambi: ti costa solo un pomeriggio.

Hardware più grande, acquistato o noleggiato

Il 31B completo nella precisione nativa richiede circa 70 GB solo per i pesi. Con le schede grafiche significa una scheda da data center della classe da 80 GB, con poco spazio per il contesto. In pratica servono spesso due schede, oppure gli 8 bit. Questo hardware puoi acquistarlo o noleggiarlo a ore da un provider cloud. In entrambi i casi gestisci tu il software di serving (vLLM o simili), scegli la precisione e paghi l'hardware che sia usato o no. Se noleggi, chiedi dove vengono trattati i dati, secondo quale legge e chi vi ha accesso. Con volumi alti e costanti e un team proprio per la gestione, può essere la scelta giusta.

Un'API ospitata

Qui il modello lo gestisce qualcun altro: tu invii richieste e paghi per token. Le domande delle sezioni precedenti restano valide, solo in un'altra forma: quale Gemma 4 ottieni, con quale precisione e a che velocità? Le misurazioni indipendenti delle API ospitate per Gemma 4 31B vanno da circa 20 a oltre 500 token al secondo. Uno dei provider più veloci offre una versione a 4 bit, e la maggior parte non indica affatto la propria precisione (Artificial Analysis). Chiedilo.

Infercom è pensato per questa terza strada: per team, prodotti e agenti che hanno bisogno del Gemma 4 31B completo senza gestire l'hardware in proprio.

• Trattamento nell'UE. Le richieste a Gemma 4 girano sul nostro hardware a Monaco di Baviera, e prompt e risposte non vengono mai archiviati in modo persistente. Trovi i dettagli nella nostra pagina Trust.
• Il modello completo, non una versione compressa. Offriamo Gemma 4 31B nella precisione nativa (BF16), cioè la versione dei benchmark di Google.
• Una velocità che non dipende dalla tua macchina. Usiamo le RDU di SambaNova, chip sviluppati per l'inferenza AI anziché GPU, con un'architettura progettata per superare il collo di bottiglia della memoria descritto sopra. Gemma 4 31B genera 486 token al secondo, con un time to first token (il tempo al primo token) di 1.302ms per un prompt da 10.000 token (mediana lato server, una richiesta alla volta, 1.000 token di output, misurato a ottobre 2026; metodo e tutti i modelli nella nostra pagina sulle prestazioni).
• Contesto e capacità a sufficienza. Fino a 128K token di contesto per richiesta, e nessun hardware da dimensionare per l'ora di punta, perché quella capacità la gestiamo noi.

L'API è compatibile con OpenAI. Il codice scritto per un server Ollama o vLLM locale continua a funzionare con una nuova base URL, una nuova chiave API e un nuovo nome del modello:

from openai import OpenAI

client = OpenAI(base_url="https://api.infercom.ai/v1", api_key="LA_TUA_CHIAVE_API_INFERCOM")
reply = client.chat.completions.create(
    model="gemma-4-31B-it",
    messages=[{"role": "user", "content": "Riassumi questo contratto in cinque punti: ..."}],
)
print(reply.choices[0].message.content)

Puoi anche usare entrambi: un Gemma 4 piccolo in locale per gli esperimenti e il 31B completo tramite API per tutto ciò su cui contano colleghi e clienti.

Offriamo solo il 31B, non i modelli Gemma 4 più piccoli. Un Gemma 4 che hai affinato con i tuoi dati non gira sulla Inference API: lo ospitiamo su Dedicated Capacity, cioè capacità riservata a te sulla stessa infrastruttura.

Quale soluzione scegliere

Spesso il percorso passa per più di queste tappe: molti imparano prima in locale con E4B o 12B cosa sa fare il modello, e poi passano al 31B completo tramite API quando qualità, contesto o numero di utenti lo richiedono. La famiglia di modelli resta la stessa, e anche i prompt.

In sintesi

Per una persona singola, eseguire Gemma 4 in proprio è spesso la scelta giusta. Basta sapere cosa si sta eseguendo:

• Sulla tua macchina gira di solito un Gemma 4 più piccolo o compresso. I risultati dei benchmark di Google appartengono al 31B nella precisione nativa, un modello da 70 GB.
• La quantizzazione costa di più con le lingue diverse dall'inglese, con i documenti lunghi e con le istruzioni precise, cioè nel lavoro quotidiano della maggior parte dei team europei.
• Dimensione e velocità della memoria ti dicono come girerà il modello. Controlla entrambe prima di comprare hardware.
• Il locale arriva al limite dove inizia il team: con il contesto lungo, con più utenti contemporanei e con la domanda su chi interviene quando il modello smette di rispondere.

Eseguire Gemma 4 in proprio è quindi possibile. Quello che devi decidere è quale Gemma 4 serve al tuo lavoro, e per scoprirlo non ti serve una macchina da 70 GB. Invia i prompt che già usi in locale al Gemma 4 31B completo nel nostro playground e confronta le risposte. Così saprai se al tuo team serve il modello completo.

Domande

Posso eseguire Gemma 4 in locale?

Sì. Con 8 GB di memoria girano i modelli E2B o E4B a 4 bit, con 12-16 GB il 12B e con 24-32 GB il 26B A4B o il 31B a 4 bit. Il 31B nella precisione nativa (BF16) richiede circa 70 GB, che solo macchine con una grande memoria unificata offrono, per esempio una DGX Spark o un Mac da 128 GB.

Quanta memoria richiede Gemma 4 31B?

Secondo Google circa 69,9 GB in BF16, 34,9 GB a 8 bit e 17,5 GB a 4 bit. Questi valori riguardano solo i pesi. Al contesto serve altra memoria: per una conversazione con cache a 16 bit circa 1,5 GB a 8K token, 3,5 GB a 32K e 11,6 GB a 128K.

Che differenza c'è tra Q4_K_M e QAT?

Q4_K_M è una versione a 4 bit ottenuta dopo l'addestramento, arrotondando i pesi del modello finito. È la versione che installa il tag predefinito gemma4 di Ollama. Con la QAT (Quantization-Aware Training) il modello impara già durante l'addestramento a lavorare con pesi a 4 bit. Google pubblica versioni QAT di tutti i modelli Gemma 4 e afferma che la qualità resta vicina all'originale, ma non ha pubblicato numeri.

Quanti token al secondo raggiunge Gemma 4 su una DGX Spark?

Le misurazioni della community sul forum degli sviluppatori NVIDIA riportano, per un singolo utente, circa 3,7 token al secondo per il 31B in BF16, circa 10,6 a 4 bit e circa 24 per il 26B A4B in BF16. Il limite è la larghezza di banda della memoria, pari a 273 GB/s.

Un LLM in locale è conforme al GDPR?

Un modello eseguito in locale mantiene i dati sul tuo hardware, quindi non ti devi chiedere dove un provider li tratta. La conformità al GDPR dipende però dall'intero trattamento: finalità, base giuridica, controllo degli accessi e registrazione. Un modello locale è un buon punto di partenza, non una garanzia.