Gemma 4 selbst betreiben: Was auf dem Laptop läuft - und wann Ihr Team mehr braucht

Sie geben ollama run gemma4 ein, eine Minute später ist das Modell geladen und antwortet auf Ihrem Laptop. Google hat Gemma 4 allerdings als Familie aus fünf Modellen veröffentlicht, und die viel zitierten Benchmark-Ergebnisse gehören zum größten davon, gemessen in der Präzision, in der Google es trainiert hat. Was die meisten auf dem eigenen Rechner betreiben, ist ein anderes Modell mit demselben Namen. Für jemanden, der allein experimentiert, ist das kein Problem. Zum Problem wird es, wenn ein Team auf dieser falschen Annahme Hardware auswählt, die Qualität beurteilt oder ein Produkt baut.

Bevor Sie also eine Grafikkarte oder einen kleinen KI-Server für ein lokales LLM kaufen oder Gemma 4 Ihren Kollegen und Kunden zur Verfügung stellen, sollten Sie wissen, für welches Gemma 4 Ihr Speicher reicht, was die Quantisierung damit macht und wie schnell es laufen wird. Die meisten dieser Fragen lassen sich mit zwei Zahlen beantworten, und das gilt für jedes Modell.

Fünf Gemma-4-Modelle, ein Name

Gemma 4 ist die Familie von Open-Weight-Modellen von Google DeepMind, veröffentlicht im April 2026 unter der Lizenz Apache 2.0. Sie dürfen das Modell also herunterladen, auf eigener Hardware betreiben und kommerziell nutzen, ohne Gebühren an Google. Die Hintergründe erklärt unser Artikel über Open-Weight-Modelle. Gemma 4 versteht Text und Bilder, wurde mit mehr als 140 Sprachen trainiert und ist laut Google für Reasoning, Programmierung und Agenten-Aufgaben mit nativem Function Calling ausgelegt. Als typische Einsatzzwecke nennt Google Chatbots, Zusammenfassungen und das Extrahieren von Informationen aus Dokumenten und Bildern. Für den lokalen Einsatz gehört die Familie zu den am häufigsten heruntergeladenen Modellen, allein in der Ollama-Bibliothek mit mehr als 27 Millionen Downloads.

Die fünf Größen teilen sich den Namen und das Trainingsverfahren, sind aber für sehr unterschiedliche Hardware gedacht.

Speicherbedarf der Modellgewichte laut Google, einschließlich rund 20% Overhead beim Laden. Der Speicher für Ihre Konversation kommt hinzu, dazu weiter unten mehr.

Standardmäßig wird das kleine Modell geladen: ollama run gemma4 installiert das E4B-Modell, auf 4-Bit komprimiert, mit 6,6 GB. Auch die Tags der größeren Modelle sind auf rund 4-Bit komprimiert: gemma4:31b ist ein Download von 19-20 GB, gemma4:31b-it-bf16 dagegen hat 63 GB. 8-Bit oder 16-Bit erhalten Sie nur, wenn Sie den passenden Tag ausdrücklich wählen.

Das 26B A4B ist ein Mixture-of-Experts-Modell: Von insgesamt 25,2 Milliarden Parametern arbeiten für jedes erzeugte Token nur 3,8 Milliarden. Es läuft daher fast so schnell wie ein kleines Modell, alle 25,2 Milliarden Parameter müssen aber im Speicher liegen. Bei der Geschwindigkeit verhält es sich wie ein kleines Modell, beim Speicher wie ein großes.

Wenn Sie lesen, dass Gemma 4 31B in Reasoning- oder Coding-Benchmarks gut abschneidet, bezieht sich das auf das 31B in BF16, also auf die Version mit 69,9 GB.

Was Quantisierung bringt und was sie kostet

Ein Modell besteht aus Milliarden von Zahlen, seinen Gewichten. In 16-Bit-Präzision belegt jede Zahl zwei Byte. Die Quantisierung speichert dieselben Zahlen mit weniger Bits: 8 Bit halbieren den Speicherbedarf, 4 Bit vierteln ihn. So wird aus einem Modell mit 70 GB eine Datei mit 17,5 GB, die auf eine Grafikkarte passt.

Mit weniger Bits wird jede Zahl ungenauer gespeichert. Wie viel davon Ihre Anwendung braucht, beantwortet die Forschung klarer als das Marketing.

8-Bit ist nahezu verlustfrei. Eine Studie von Red Hat und Neural Magic mit über 500.000 Auswertungen stufte FP8 über alle Modellgrößen hinweg als praktisch verlustfrei ein. Mit Integer-8-Bit lagen die Ergebnisse um höchstens 1-3% unter dem Original (Kurtic et al., ACL 2025).

4-Bit hält in englischen Benchmarks gut mit, verliert aber an anderer Stelle mehr. Laut derselben Studie erreichen gut abgestimmte 4-Bit-Modelle in englischen Standardtests 96-99% der ursprünglichen Ergebnisse. Andere Studien haben untersucht, was diese Tests nicht erfassen. Cohere ließ quantisierte Modelle von Menschen bewerten: Automatische Benchmarks zeigten auf Japanisch einen durchschnittlichen Rückgang von 1,7%, die menschlichen Bewerter sahen bei realistischen Prompts einen Rückgang von 16% (Marchisio et al., EMNLP 2024). Bei Eingaben ab 64K Token blieb 8-Bit innerhalb von rund 0,8% des Originals, während 4-Bit-Verfahren bei einigen Aufgaben bis zu 59% verloren, bei nicht englischen Eingaben noch mehr (Mekala et al., EMNLP 2025). Und laut einer weiteren Studie tun sich quantisierte Modelle oft schwer damit, Anweisungen zu befolgen und Halluzinationen zu erkennen, kleine Modelle stärker als große (Lee et al., IJCAI 2025).

Wenn Sie auf Deutsch, Italienisch oder Dänisch arbeiten, mit langen Dokumenten oder ein Modell brauchen, das Anweisungen genau befolgt, sollten Sie genau diese Punkte zuerst testen.

Es gibt außerdem zwei Arten von 4-Bit-Modellen. Die meisten Dateien aus der Community, auch der Standard-Download gemma4 (Q4_K_M), werden nach dem Training gerundet, die Gewichte des fertigen Modells werden also nachträglich komprimiert. Beim Quantization-Aware Training (QAT) lernt das Modell schon im Training, mit 4-Bit-Gewichten umzugehen. Google veröffentlicht QAT-Versionen aller Gemma-4-Modelle und gibt an, dass sie eine ähnliche Qualität wie bfloat16 erreichen, hat dazu aber keine Zahlen veröffentlicht. In Ollama sind das eigene Tags, etwa gemma4:31b-it-qat.

Dass 4-Bit nicht automatisch schlechter ist, zeigt gpt-oss am deutlichsten: OpenAI hat das Modell in einem 4-Bit-Format (MXFP4) trainiert und so auch ausgewertet. Bei gpt-oss ist 4-Bit also die native Präzision. Bei Gemma 4 ist die native Präzision BF16, und 4-Bit ist ein Kompromiss, für den Sie sich entscheiden.

Zwei Zahlen bestimmen Ihre Geschwindigkeit

Ein Modell erzeugt Text Token für Token, und für jedes Token muss es alle aktiven Gewichte aus dem Speicher lesen. Auf einem einzelnen Rechner mit einem Nutzer gibt deshalb die Lesegeschwindigkeit des Speichers das Tempo vor. Daraus ergibt sich eine Faustregel, die für jedes Modell auf jeder Hardware gilt:

Maximale Token pro Sekunde ≈ Speicherbandbreite ÷ Größe der pro Token gelesenen Gewichte

Die erste Zahl steht im Datenblatt Ihrer Hardware, die zweite ergibt sich aus Modell und Präzision. Für Gemma 4 31B auf gängiger lokaler Hardware ergibt die Regel folgende Werte:

Berechnete Obergrenzen für einen Nutzer, auf Basis der Bandbreite laut Hersteller. Die pro Token gelesenen Gewichte liegen etwas unter dem Speicherbedarf weiter oben, der den Overhead beim Laden und den Bild-Encoder einschließt. Reale Werte liegen niedriger, weil die Regel den Speicher für die Konversation, die Rechenzeit und den Software-Overhead nicht berücksichtigt.

In der Praxis bestätigt sich die Regel. Auf einer DGX Spark zeigen Messungen aus der Community rund 3,7 Token pro Sekunde für das 31B in 16-Bit und rund 10,6 in 4-Bit, also zwischen zwei Dritteln und 85% der Obergrenze (NVIDIA-Entwicklerforum).

Die DGX Spark und ein Mac mit 128 GB haben genug Speicher für das vollständige 31B in nativer Präzision, was keine Grafikkarte für Endkunden bietet. Mit 273 GB/s erzeugt die Spark den Text allerdings langsamer, als die meisten Menschen lesen. Dass ein Modell in den Speicher passt, heißt noch nicht, dass es schnell läuft.

Beim Mixture-of-Experts-Modell sieht die Rechnung anders aus. Das 26B A4B liest pro Token nur 3,8 Milliarden Parameter, in 4-Bit rund 2 GB, und läuft deshalb auf derselben Hardware um ein Mehrfaches schneller als das 31B (Messungen der Community auf der DGX Spark: rund 24 Token pro Sekunde in 16-Bit). Für viele lokale Installationen ist es der beste Kompromiss, sofern seine Qualität für Ihre Aufgabe ausreicht.

Mit derselben Regel können Sie auch Ihre nächste Hardware dimensionieren. Teilen Sie die Bandbreite laut Datenblatt durch die Größe des gewünschten Modells, dann kennen Sie den bestmöglichen Wert, bevor Sie Geld ausgeben.

Wo der lokale Betrieb an Grenzen stößt

Ein lokales Gemma 4 eignet sich für vieles: für Experimente, für vertrauliche Dokumente, die Ihren Schreibtisch nicht verlassen sollen, für den Offline-Einsatz und für eine Person, die den ganzen Tag mit einem Modell arbeitet, ohne Kosten pro Token. Die Grenzen zeigen sich, sobald die Anforderungen wachsen, und meist in dieser Reihenfolge: zuerst beim Kontext, dann bei mehreren Nutzern und schließlich im laufenden Betrieb.

Kontext

Jedes Token Ihrer Konversation belegt ebenfalls Speicher, im sogenannten KV-Cache: der Prompt, die eingefügten Dokumente und die bisherige Antwort. Gemma 4 hält diesen Speicher durch eine geschickte Bauweise klein, denn die meisten Schichten merken sich nur die letzten 1024 Token. Trotzdem summiert er sich. Für das 31B mit einer Konversation und einem 16-Bit-Cache:

Auf einer Grafikkarte mit 24 GB belegt das 31B in 4-Bit je nach Datei 18-20 GB, es bleiben also 4-6 GB. Eine Konversation mit 32K passt hinein. Für das Context Window von 256K aus der Modellkarte reicht der Speicher bei Weitem nicht.

Mehr als ein Nutzer

Jeder Nutzer braucht eigenen Speicher für seine Konversation, und alle teilen sich dieselbe Speicherbandbreite. Ein Rechner, der einer Person 50 Token pro Sekunde liefert, liefert fünf Personen nicht jeweils 50 Token pro Sekunde. Für ein Team, eine Anwendung oder einen Agenten, der viele Requests parallel schickt, wird das zur Grenze, lange bevor die Hardware "voll" ist.

Der laufende Betrieb

Ein Modell auf dem Schreibtisch ist ein Projekt. Ein Modell, auf das sich ein Team verlässt, ist ein Dienst: Jemand spielt Updates ein, wenn eine neue Version erscheint, greift ein, wenn es nicht mehr antwortet, und hält den Rechner verfügbar. Dieser Aufwand ist im Hardwarepreis nicht enthalten.

Wenn Sie an die Grenze stoßen

Reicht der lokale Betrieb nicht mehr aus, gibt es drei Wege. Welcher passt, hängt von Ihrem Volumen, Ihrem Team und Ihren Daten ab.

Ein anderes Modell auf der vorhandenen Hardware

Ist die Geschwindigkeit das Problem, hilft oft das 26B A4B. Ist der Speicher das Problem, liefert das 12B in 8-Bit für Ihre Aufgabe womöglich bessere Qualität als das 31B in 4-Bit. Testen Sie beides, das kostet Sie nur einen Nachmittag.

Größere Hardware, gekauft oder gemietet

Das vollständige 31B in nativer Präzision braucht allein für seine Gewichte rund 70 GB. Bei Grafikkarten bedeutet das eine Rechenzentrumskarte der 80-GB-Klasse, auf der kaum Platz für den Kontext bleibt. In der Praxis sind es oft zwei Karten oder 8-Bit. Solche Hardware können Sie kaufen oder stundenweise bei einem Cloud-Anbieter mieten. In beiden Fällen betreiben Sie die Serving-Software selbst (vLLM oder Ähnliches), wählen die Präzision und zahlen für die Hardware, ob sie ausgelastet ist oder nicht. Wenn Sie mieten, fragen Sie, wo die Daten verarbeitet werden, nach welchem Recht und wer Zugriff hat. Bei hohem, gleichmäßigem Volumen und einem eigenen Team für den Betrieb kann das die richtige Wahl sein.

Eine gehostete API

Hier betreibt jemand anderes das Modell, Sie schicken Requests und zahlen pro Token. Die Fragen aus den Abschnitten oben stellen sich dabei weiterhin, nur in anderer Form: Welches Gemma 4 erhalten Sie, in welcher Präzision und wie schnell? Unabhängige Messungen gehosteter APIs für Gemma 4 31B reichen von rund 20 bis über 500 Token pro Sekunde. Einer der schnellsten Anbieter stellt eine 4-Bit-Version bereit, und die meisten nennen ihre Präzision überhaupt nicht (Artificial Analysis). Fragen Sie nach.

Für diesen dritten Weg ist Infercom gemacht: für Teams, Produkte und Agenten, die das vollständige Gemma 4 31B brauchen, ohne die Hardware selbst zu betreiben.

• Verarbeitung in der EU. Requests an Gemma 4 laufen auf unserer eigenen Hardware in München, und Prompts und Antworten werden nicht dauerhaft gespeichert. Die Details finden Sie auf unserer Trust-Seite.
• Das vollständige Modell statt einer komprimierten Version. Wir stellen Gemma 4 31B in nativer Präzision (BF16) bereit, also in der Version aus Googles Benchmarks.
• Geschwindigkeit, die nicht von Ihrem Rechner abhängt. Wir setzen RDUs von SambaNova ein, speziell für KI-Inferenz entwickelte Chips statt GPUs, deren Architektur auf den oben beschriebenen Speicherengpass ausgelegt ist. Gemma 4 31B erzeugt darauf 486 Token pro Sekunde, bei einer Zeit bis zum ersten Token von 1302ms für einen Prompt mit 10.000 Token (serverseitiger Median, ein Request zur Zeit, 1000 Output-Token, gemessen im Oktober 2026; Methode und alle Modelle auf unserer Performance-Seite).
• Genug Kontext und Kapazität. Bis zu 128K Token Kontext pro Request, und Sie müssen keine Hardware für Ihre Spitzenlast dimensionieren, denn diese Kapazität betreiben wir.

Die API ist OpenAI-kompatibel. Code, der für einen lokalen Ollama- oder vLLM-Server geschrieben wurde, funktioniert mit neuer Base URL, neuem Key und neuem Modellnamen weiter:

from openai import OpenAI

client = OpenAI(base_url="https://api.infercom.ai/v1", api_key="IHR_INFERCOM_API_KEY")
reply = client.chat.completions.create(
    model="gemma-4-31B-it",
    messages=[{"role": "user", "content": "Fasse diesen Vertrag in fünf Punkten zusammen: ..."}],
)
print(reply.choices[0].message.content)

Sie können auch beides nutzen: ein kleines Gemma 4 lokal für Experimente und das vollständige 31B über die API für alles, worauf sich Ihre Kollegen und Kunden verlassen.

Wir stellen nur das 31B bereit, nicht die kleineren Gemma-4-Modelle. Ein Gemma 4, das Sie mit eigenen Daten feinabgestimmt haben, läuft nicht über die Inference API. Wir betreiben es auf Dedicated Capacity, also auf für Sie reservierter Kapazität auf derselben Infrastruktur.

Welcher Weg passt

Häufig führt der Weg durch mehrere dieser Stationen: Viele lernen zunächst lokal mit E4B oder 12B, was das Modell kann, und wechseln dann über eine API zum vollständigen 31B, wenn Qualität, Kontext oder die Zahl der Nutzer es verlangen. Die Modellfamilie bleibt dieselbe, die Prompts auch.

Das Wichtigste in Kürze

Für eine einzelne Person ist der eigene Betrieb von Gemma 4 oft die richtige Wahl. Sie sollten nur wissen, was Sie dabei betreiben:

• Auf Ihrem Rechner läuft meist ein kleineres oder komprimiertes Gemma 4. Googles Benchmark-Ergebnisse gehören zum 31B in nativer Präzision, einem Modell mit 70 GB.
• Die Quantisierung kostet am meisten bei nicht englischen Sprachen, langen Dokumenten und präzisen Anweisungen, und damit bei der täglichen Arbeit der meisten europäischen Teams.
• Speichergröße und Speichergeschwindigkeit verraten Ihnen, wie das Modell laufen wird. Prüfen Sie beides, bevor Sie Hardware kaufen.
• Der lokale Betrieb stößt dort an Grenzen, wo das Team beginnt: bei langem Kontext, bei mehreren gleichzeitigen Nutzern und bei der Frage, wer eingreift, wenn das Modell nicht mehr antwortet.

Gemma 4 selbst zu betreiben, ist also möglich. Entscheiden müssen Sie, welches Gemma 4 Ihre Arbeit braucht, und dafür brauchen Sie keinen Rechner mit 70 GB. Schicken Sie die Prompts, die Sie lokal bereits nutzen, im Playground an das vollständige Gemma 4 31B und vergleichen Sie die Antworten. Dann wissen Sie, ob Ihr Team das vollständige Modell braucht.

Fragen

Kann ich Gemma 4 lokal betreiben?

Ja. Mit 8 GB Speicher laufen das E2B- oder das E4B-Modell in 4-Bit, mit 12-16 GB das 12B und mit 24-32 GB das 26B A4B oder das 31B in 4-Bit. Das 31B in nativer Präzision (BF16) braucht rund 70 GB. Das schaffen nur Geräte mit großem gemeinsamem Speicher, etwa eine DGX Spark oder ein Mac mit 128 GB.

Wie viel Speicher braucht Gemma 4 31B?

Laut Google rund 69,9 GB in BF16, 34,9 GB in 8-Bit und 17,5 GB in 4-Bit. Das gilt nur für die Gewichte. Für den Kontext kommt Speicher hinzu: für eine Konversation mit 16-Bit-Cache etwa 1,5 GB bei 8K Token, 3,5 GB bei 32K und 11,6 GB bei 128K.

Was ist der Unterschied zwischen Q4_K_M und QAT?

Q4_K_M ist eine 4-Bit-Version, die nach dem Training entsteht, indem die Gewichte des fertigen Modells gerundet werden. Diese Version installiert der Standard-Tag gemma4 in Ollama. Bei QAT (Quantization-Aware Training) lernt das Modell schon im Training, mit 4-Bit-Gewichten umzugehen. Google veröffentlicht QAT-Versionen aller Gemma-4-Modelle und gibt an, dass ihre Qualität nah am Original liegt, hat dazu aber keine Zahlen veröffentlicht.

Wie viele Token pro Sekunde erreicht Gemma 4 auf einer DGX Spark?

Messungen aus der Community im NVIDIA-Entwicklerforum nennen für einen Nutzer rund 3,7 Token pro Sekunde für das 31B in BF16, rund 10,6 in 4-Bit und rund 24 für das 26B A4B in BF16. Die Grenze setzt die Speicherbandbreite von 273 GB/s.

Ist ein lokales LLM DSGVO-konform?

Ein lokal betriebenes Modell hält die Daten auf Ihrer eigenen Hardware, damit entfällt die Frage, wo ein Anbieter sie verarbeitet. Ob die DSGVO eingehalten wird, hängt aber von der gesamten Verarbeitung ab: Zweck, Rechtsgrundlage, Zugriffskontrolle und Protokollierung. Ein lokales Modell ist ein guter Ausgangspunkt, aber keine Garantie.