Gemma 4 på egen hardware: Hvad en laptop kan klare - og hvornår dit team har brug for mere

Du skriver ollama run gemma4, og et minut senere er modellen installeret og svarer på din laptop. Google har dog udgivet Gemma 4 som en familie af fem modeller, og de benchmark-resultater, der blev omtalt overalt, hører til den største af dem, målt i den præcision, Google har trænet den i. Det, de fleste kører på deres egen maskine, er en anden model med samme navn. For én person, der eksperimenterer, er det ikke et problem. Det bliver et problem, når et team vælger hardware, vurderer kvaliteten eller bygger et produkt på den forkerte antagelse.

Før du køber et grafikkort eller en lille AI-server til en lokal LLM, eller giver dine kolleger og kunder adgang til Gemma 4, bør du derfor vide, hvilken Gemma 4 din hukommelse rækker til, hvad kvantiseringen gør ved den, og hvor hurtigt den kommer til at køre. De fleste af svarene følger af to tal, og det gælder for enhver model.

Fem Gemma 4-modeller med samme navn

Gemma 4 er Google DeepMinds familie af open-weight-modeller, udgivet i april 2026 under licensen Apache 2.0. Du må altså downloade modellen, køre den på din egen hardware og bruge den kommercielt uden at betale Google. Baggrunden kan du læse om i vores artikel om open-weight-modeller. Gemma 4 forstår tekst og billeder, er trænet på mere end 140 sprog og er ifølge Google bygget til ræsonnering, programmering og agentopgaver med indbygget function calling. Som typiske anvendelser nævner Google chatbots, opsummeringer og udtræk af information fra dokumenter og billeder. Til lokal brug er familien blandt de mest downloadede modeller, med over 27 millioner downloads alene i Ollama-biblioteket.

De fem størrelser deler navn og træningsmetode, men er lavet til meget forskellig hardware.

Hukommelse til modellens vægte ifølge Google, inklusive omkring 20% overhead ved indlæsning. Hukommelsen til din samtale kommer oveni, mere om det nedenfor.

Som standard får du den lille model: ollama run gemma4 installerer E4B-modellen, komprimeret til 4-bit, på 6,6 GB. Også tags for de større modeller er komprimeret til omkring 4-bit: gemma4:31b er en download på 19-20 GB, mens gemma4:31b-it-bf16 fylder 63 GB. 8-bit eller 16-bit får du kun, hvis du selv vælger det rigtige tag.

26B A4B er en mixture of experts-model: Af i alt 25,2 milliarder parametre arbejder kun 3,8 milliarder på hvert token, den genererer. Derfor kører den næsten lige så hurtigt som en lille model, men alle 25,2 milliarder parametre skal stadig ligge i hukommelsen. Den er hurtig som en lille model og kræver hukommelse som en stor.

Når du læser, at Gemma 4 31B klarer sig godt i benchmarks for ræsonnering eller kode, gælder resultatet 31B i BF16, altså versionen på 69,9 GB.

Hvad kvantisering giver, og hvad den koster

En model består af milliarder af tal, dens vægte. I 16-bit-præcision fylder hvert tal to bytes. Kvantisering gemmer de samme tal med færre bits: 8 bits halverer hukommelsesbehovet, 4 bits kvarterer det. Sådan bliver en model på 70 GB til en fil på 17,5 GB, der kan være på et grafikkort.

Med færre bits gemmes hvert tal mindre præcist. Hvor meget præcision dit arbejde kræver, besvarer forskningen tydeligere end markedsføringen.

8-bit er næsten tabsfrit. En undersøgelse fra Red Hat og Neural Magic med over 500.000 evalueringer vurderede FP8 som praktisk talt tabsfrit på tværs af alle modelstørrelser. Med heltals-8-bit lå resultaterne højst 1-3% under originalen (Kurtic et al., ACL 2025).

4-bit klarer sig godt i engelske benchmarks, men taber mere andre steder. Ifølge samme undersøgelse når veljusterede 4-bit-modeller 96-99% af de oprindelige resultater i engelske standardtests. Andre undersøgelser har set på det, de tests ikke måler. Cohere lod mennesker bedømme kvantiserede modeller: Automatiske benchmarks viste et gennemsnitligt fald på 1,7% på japansk, mens de menneskelige bedømmere så et fald på 16% ved realistiske prompts (Marchisio et al., EMNLP 2024). Ved input på 64K tokens og derover lå 8-bit inden for omkring 0,8% af originalen, mens 4-bit-metoder mistede op til 59% på nogle opgaver og endnu mere ved input, der ikke var på engelsk (Mekala et al., EMNLP 2025). Og ifølge en tredje undersøgelse har kvantiserede modeller ofte svært ved at følge instruktioner og opdage hallucinationer, små modeller mere end store (Lee et al., IJCAI 2025).

Hvis du arbejder på dansk, tysk eller italiensk, med lange dokumenter, eller har brug for en model, der følger instruktioner nøje, er det netop de punkter, du bør teste først.

Der findes desuden to slags 4-bit-modeller. De fleste filer fra fællesskabet, også standard-downloaden gemma4 (Q4_K_M), afrundes efter træningen, så den færdige models vægte komprimeres bagefter. Ved quantization-aware training (QAT) lærer modellen allerede under træningen at håndtere 4-bit-vægte. Google udgiver QAT-versioner af alle Gemma 4-modeller og oplyser, at de opnår en kvalitet tæt på bfloat16, men har ikke offentliggjort tal for det. I Ollama har de deres egne tags, for eksempel gemma4:31b-it-qat.

At 4-bit ikke automatisk er dårligere, ses tydeligst ved gpt-oss: OpenAI har trænet modellen i et 4-bit-format (MXFP4) og evalueret den sådan. For gpt-oss er 4-bit altså den native præcision. For Gemma 4 er den native præcision BF16, og 4-bit er et kompromis, du selv vælger.

To tal bestemmer din hastighed

En model skriver tekst ét token ad gangen, og for hvert token skal den læse alle sine aktive vægte fra hukommelsen. På en enkelt maskine med én bruger er det derfor hukommelsens læsehastighed, der sætter tempoet. Det giver en tommelfingerregel, der gælder for enhver model på enhver hardware:

Maksimalt antal tokens per sekund ≈ hukommelsesbåndbredde ÷ størrelsen af de vægte, der læses per token

Det første tal står i databladet for din hardware, det andet følger af modellen og præcisionen. For Gemma 4 31B på almindelig lokal hardware giver reglen disse værdier:

Beregnede øvre grænser for én bruger ud fra producenternes båndbredde. De vægte, der læses per token, fylder lidt mindre end hukommelsesbehovet ovenfor, som også dækker overhead ved indlæsning og billed-encoderen. De faktiske værdier er lavere, fordi reglen ikke medregner hukommelsen til samtalen, selve beregningerne og softwarens overhead.

Reglen holder i praksis. På en DGX Spark viser målinger fra brugere omkring 3,7 tokens per sekund for 31B i 16-bit og omkring 10,6 i 4-bit, altså mellem to tredjedele og 85% af grænsen (NVIDIAs udviklerforum).

En DGX Spark og en Mac med 128 GB har plads til hele 31B i native præcision, hvilket intet grafikkort til forbrugere har. Med 273 GB/s genererer Spark dog teksten langsommere, end de fleste mennesker læser. At en model kan være i hukommelsen, betyder ikke, at den kører hurtigt.

Med mixture of experts-modellen ser regnestykket anderledes ud. 26B A4B læser kun 3,8 milliarder parametre per token, omkring 2 GB i 4-bit, og kører derfor flere gange hurtigere end 31B på samme hardware (målinger fra brugere på DGX Spark: omkring 24 tokens per sekund i 16-bit). Til mange lokale opsætninger er den det bedste kompromis, så længe kvaliteten er god nok til din opgave.

Du kan bruge samme regel til at dimensionere din næste maskine. Divider båndbredden fra databladet med størrelsen af den model, du vil køre, så kender du det bedst mulige resultat, før du bruger penge.

Hvor lokal drift støder på grænser

En lokal Gemma 4 egner sig til meget: eksperimenter, fortrolige dokumenter, der ikke skal forlade dit skrivebord, offline-brug og én person, der arbejder med en model hele dagen uden pris per token. Grænserne viser sig, når kravene vokser, som regel i denne rækkefølge: først konteksten, så flere brugere og til sidst den daglige drift.

Kontekst

Hvert token i din samtale optager også hukommelse, i den såkaldte KV-cache: prompten, de dokumenter, du indsætter, og svaret indtil nu. Gemma 4 holder den lille med et smart design, fordi de fleste lag kun husker de seneste 1.024 tokens. Alligevel løber det op. For 31B med én samtale og 16-bit-cache:

På et grafikkort med 24 GB fylder 31B i 4-bit 18-20 GB afhængigt af filen, så der er 4-6 GB tilbage. En samtale på 32K kan være der. Til modelkortets context window (på dansk kontekstvindue) på 256K rækker hukommelsen langtfra.

Mere end én bruger

Hver bruger skal have sin egen hukommelse til samtalen, og alle deler den samme hukommelsesbåndbredde. En maskine, der giver én person 50 tokens per sekund, giver ikke fem personer 50 tokens per sekund hver. For et team, en applikation eller en agent, der sender mange forespørgsler samtidig, bliver det grænsen, længe før hardwaren er "fuld".

Den daglige drift

En model på skrivebordet er et projekt. En model, som et team er afhængig af, er en tjeneste: Nogen skal installere opdateringer, når der kommer en ny version, gribe ind, når den holder op med at svare, og holde maskinen kørende. Det arbejde er ikke med i prisen på hardwaren.

Når du rammer grænsen

Når lokal drift ikke længere slår til, er der tre veje videre. Hvilken der passer, afhænger af din volumen, dit team og dine data.

En anden model på den hardware, du har

Er hastigheden problemet, hjælper 26B A4B ofte. Er hukommelsen problemet, kan 12B i 8-bit give dig bedre kvalitet til din opgave end 31B i 4-bit. Test begge, det koster kun en eftermiddag.

Større hardware, købt eller lejet

Den fulde 31B i native præcision kræver omkring 70 GB alene til vægtene. Med grafikkort betyder det et datacenterkort i 80 GB-klassen med næsten ingen plads tilbage til konteksten. I praksis bliver det ofte to kort eller 8-bit. Den slags hardware kan du købe eller leje per time hos en cloududbyder. I begge tilfælde kører du selv serving-softwaren (vLLM eller lignende), vælger præcisionen og betaler for hardwaren, uanset om den bliver brugt eller ej. Hvis du lejer, så spørg, hvor dataene behandles, efter hvilket lands lovgivning, og hvem der har adgang. Med en stabil, høj volumen og dit eget team til driften kan det være det rigtige valg.

Et hostet API

Her kører en anden modellen, mens du sender forespørgsler og betaler per token. Spørgsmålene fra afsnittene ovenfor gælder stadig, bare i en anden form: Hvilken Gemma 4 får du, i hvilken præcision, og hvor hurtigt? Uafhængige målinger af hostede API'er til Gemma 4 31B spænder fra omkring 20 til over 500 tokens per sekund. En af de hurtigste udbydere kører en 4-bit-version, og de fleste oplyser slet ikke deres præcision (Artificial Analysis). Spørg efter det.

Infercom er lavet til denne tredje vej: til teams, produkter og agenter, der har brug for den fulde Gemma 4 31B uden selv at drive hardwaren.

• Behandling i EU. Forespørgsler til Gemma 4 kører på vores egen hardware i München, og prompts og svar gemmes aldrig permanent. Detaljerne finder du på vores Trust-side.
• Den fulde model i stedet for en komprimeret version. Vi kører Gemma 4 31B i native præcision (BF16), altså den version, der står i Googles benchmarks.
• Hastighed, der ikke afhænger af din maskine. Vi bruger SambaNovas RDU'er, chips udviklet til AI-inferens i stedet for GPU'er, med en arkitektur, der er udviklet til at undgå den flaskehals i hukommelsen, som er beskrevet ovenfor. Gemma 4 31B genererer 486 tokens per sekund på dem, med en time to first token på 1.302ms for en prompt på 10.000 tokens (median på serversiden, én forespørgsel ad gangen, 1.000 output-tokens, målt i oktober 2026; metode og alle modeller på vores performance-side).
• Plads til kontekst og kapacitet. Op til 128K tokens kontekst per forespørgsel, og du skal ikke dimensionere hardware til din travleste time, for den kapacitet driver vi.

API'et er OpenAI-kompatibelt. Kode, der er skrevet til en lokal Ollama- eller vLLM-server, virker videre med en ny base URL, en ny API-nøgle og et nyt modelnavn:

from openai import OpenAI

client = OpenAI(base_url="https://api.infercom.ai/v1", api_key="DIN_INFERCOM_API_NØGLE")
reply = client.chat.completions.create(
    model="gemma-4-31B-it",
    messages=[{"role": "user", "content": "Opsummer denne kontrakt i fem punkter: ..."}],
)
print(reply.choices[0].message.content)

Du kan også bruge begge dele: en lille Gemma 4 lokalt til eksperimenter og den fulde 31B via API'et til alt, hvad dine kolleger og kunder er afhængige af.

Vi kører kun 31B, ikke de mindre Gemma 4-modeller. En Gemma 4, du har finjusteret med dine egne data, kører ikke via Inference API. Den hoster vi på Dedicated Capacity, altså kapacitet, der er reserveret til dig på den samme infrastruktur.

Hvilken løsning der passer

Ofte går vejen gennem flere af disse trin: Mange lærer først lokalt med E4B eller 12B, hvad modellen kan, og skifter så til den fulde 31B via et API, når kvaliteten, konteksten eller antallet af brugere kræver det. Modelfamilien er den samme, og det er prompterne også.

Konklusion

For én person er det ofte det rigtige valg selv at køre Gemma 4. Du skal bare vide, hvad du kører:

• På din maskine kører som regel en mindre eller komprimeret Gemma 4. Googles benchmark-resultater hører til 31B i native præcision, en model på 70 GB.
• Kvantisering koster mest på andre sprog end engelsk, i lange dokumenter og ved præcise instruktioner, og dermed i det daglige arbejde i de fleste europæiske teams.
• Hukommelsens størrelse og hastighed fortæller dig, hvordan modellen vil køre. Tjek begge, før du køber hardware.
• Lokal drift støder på grænser, hvor teamet begynder: ved lang kontekst, ved flere samtidige brugere og ved spørgsmålet om, hvem der griber ind, når modellen holder op med at svare.

Du kan altså godt køre Gemma 4 selv. Det, du skal tage stilling til, er, hvilken Gemma 4 dit arbejde har brug for, og det kræver ikke en maskine med 70 GB at finde ud af. Send de prompts, du allerede bruger lokalt, til den fulde Gemma 4 31B i vores playground, og sammenlign svarene. Så ved du, om dit team har brug for den fulde model.

Spørgsmål

Kan jeg køre Gemma 4 lokalt?

Ja. Med 8 GB hukommelse kører E2B- eller E4B-modellen i 4-bit, med 12-16 GB kører 12B, og med 24-32 GB kører 26B A4B eller 31B i 4-bit. 31B i native præcision (BF16) kræver omkring 70 GB, og det har kun maskiner med stor delt hukommelse, for eksempel en DGX Spark eller en Mac med 128 GB.

Hvor meget hukommelse kræver Gemma 4 31B?

Ifølge Google omkring 69,9 GB i BF16, 34,9 GB i 8-bit og 17,5 GB i 4-bit. Det gælder kun vægtene. Konteksten kræver hukommelse oveni: for én samtale med 16-bit-cache omkring 1,5 GB ved 8K tokens, 3,5 GB ved 32K og 11,6 GB ved 128K.

Hvad er forskellen på Q4_K_M og QAT?

Q4_K_M er en 4-bit-version, der laves efter træningen ved at afrunde den færdige models vægte. Det er den version, standard-tagget gemma4 i Ollama installerer. Ved QAT (Quantization-Aware Training) lærer modellen allerede under træningen at håndtere 4-bit-vægte. Google udgiver QAT-versioner af alle Gemma 4-modeller og oplyser, at kvaliteten ligger tæt på originalen, men har ikke offentliggjort tal for det.

Hvor mange tokens per sekund når Gemma 4 på en DGX Spark?

Målinger fra brugere i NVIDIAs udviklerforum viser for én bruger omkring 3,7 tokens per sekund for 31B i BF16, omkring 10,6 i 4-bit og omkring 24 for 26B A4B i BF16. Grænsen sættes af hukommelsesbåndbredden på 273 GB/s.

Er en lokal LLM GDPR-compliant?

En lokalt kørt model holder dataene på din egen hardware, så spørgsmålet om, hvor en udbyder behandler dem, falder bort. Om GDPR overholdes, afhænger dog af hele behandlingen: formål, retsgrundlag, adgangskontrol og logning. En lokal model er et godt udgangspunkt, men ingen garanti.