Parameter

Was eine Parameterzahl wirklich bedeutet

Ein neuronales Netz ist eine sehr große Menge von Zahlen - seine Parameter, auch Weights genannt -, in Schichten organisiert. Das Training setzt diese Werte so, dass die Ausgaben des Modells zu den Mustern in seinen Daten passen; nach dem Training sind sie eingefroren, und das Modell auszuführen heißt, Eingaben durch sie hindurch zu multiplizieren. Wird ein Modell als "120B" beschrieben, sind das 120 Milliarden solcher Zahlen. Die Parameterzahl ist der plakative Näherungswert für Kapazität, aber nicht die ganze Geschichte: Wie ein Modell trainiert wurde, zählt ebenso wie seine Größe. Die Chinchilla-Studie zeigte, dass bei festem Compute-Budget Modellgröße und Trainingsdatenmenge gemeinsam skalieren sollten - viele Modelle sind nicht leistungsfähiger, weil sie größer sind, sondern weil sie mit mehr Daten trainiert wurden.

Nicht jeder Parameter ist zwangsläufig bei jedem Token aktiv. Dense-Modelle (etwa Gemma 4 31B) nutzen für jedes Token alle Parameter. Mixture-of-Experts-Modelle (MoE) leiten jedes Token nur durch einen Bruchteil - DeepSeeks Architektur trägt Hunderte Milliarden Gesamtparameter, aktiviert aber nur zweistellige Milliarden je Token -, weshalb ein sehr großes MoE-Modell weit schneller laufen kann, als seine Gesamtgröße vermuten lässt. Beim Vergleich von Modellen ist die Zahl, die das Inferenzverhalten vorhersagt, die aktive Parameterzahl, nicht die Gesamtzahl.

Warum die Parameterzahl Geschwindigkeit und Kosten bestimmt

Ein Token zu erzeugen erfordert, die aktiven Parameter aus dem Speicher zu lesen. Die Rechnung selbst ist billig; die Zahlen zu bewegen nicht. Zweistellige Milliarden Parameter für jedes einzelne Token zu lesen, Token für Token, ist ein Memory-Bandbreiten-Problem - und der dominierende Kostenfaktor der Decode-Phase. Das ist der Kerngrund, warum größere Modelle langsamer generieren: nicht weil die Mathematik schwerer ist, sondern weil bei jedem Schritt mehr Weights aus dem Speicher zu streamen sind. Deshalb folgen auch Inter-Token-Latenz und Tokens pro Sekunde der Modellgröße so eng.

Die Parameterzahl bestimmt auch den Hardware-Footprint. Weights müssen in schnellem Speicher liegen, um effizient ausgeliefert zu werden - bei 16-Bit-Präzision entspricht eine Milliarde Parameter rund zwei Gigabyte -, sodass ein Modell in Frontier-Größe weit mehr Speicher braucht, als ein einzelner Beschleuniger bietet, und über viele verteilt werden muss. Spezialisierte Inferenz-Hardware setzt genau hier an: SambaNovas RDU nutzt ein dreistufiges Speichersystem, das Weights nah an der Recheneinheit hält und mehrere große Modelle gleichzeitig resident halten kann, sodass der Wechsel zwischen ihnen Millisekunden dauert. Quantisierung - Parameter in geringerer Präzision zu speichern, etwa 8-Bit - ist der andere gängige Hebel und verringert Speicher und Bandbreite, die eine gegebene Parameterzahl fordert, meist mit geringem Qualitätsverlust.

Größer ist nicht automatisch besser

Für die meisten Produktions-Workloads ist das größte verfügbare Modell selten die richtige Standardwahl. Ein aktuelles mittelgroßes Modell, schnell ausgeliefert, schlägt oft ein größeres, das langsam antwortet - und kostet pro Token weniger im Betrieb. Weil die Parameterzahl Speicher, Bandbreite und damit sowohl Geschwindigkeit als auch Preis treibt, ist die Modellwahl eine Kapazitäts-gegen-Kosten-Entscheidung, kein "mehr ist besser". Die praktische Frage ist, welches Modell für die Aufgabe leistungsfähig genug ist - und dann, welcher Anbieter es am schnellsten betreibt und die Daten in der richtigen Jurisdiktion hält. Open-Weight-Modelle (siehe Open Weights) machen diese Wahl zu Ihrer - statt zu der des Modellanbieters.

Auch hier zählt das Hosting. Ein einzelner SambaRack fasst 16 RDUs, betreibt Modelle in Frontier-Größe bis zur 671-Milliarden-Parameter-Klasse und hält mehrere davon gleichzeitig im Speicher resident - so wechselt er zwischen Modellen in Millisekunden, statt für jede Anfrage zweistellige Gigabyte an Weights neu zu laden, und jede Aufgabe läuft auf dem richtig dimensionierten Modell ohne Cold-Start-Nachteil. Auf unserer geteilten EU-Plattform steckt das hinter einer einzigen OpenAI-kompatiblen API; wenn Sie garantierte Kapazität oder vollständige Datenisolation brauchen, trägt dieselbe SambaNova-Architektur unsere Dedicated-Capacity- und On-Premises-Angebote.

Verwandte Begriffe