Der SambaNova-Vorteil
GPUs wurden nicht für KI entwickelt. Sie wurden für Videospielgrafik konzipiert, und das zeigt sich in der Architektur. SambaNova ging einen anderen Weg und entwickelte Chips, die von Grund auf für KI-Inferenz optimiert sind. Unabhängige Benchmarks zeigen bis zu 10x schnellere Inferenz – die schnellste verfügbare LLM-Inferenztechnologie. So funktioniert es.
GPUs verbringen die meiste Zeit mit Warten
Wenn eine GPU KI-Antworten generiert, folgt sie einem sich wiederholenden Zyklus: Daten aus dem Speicher abrufen, berechnen, zurück in den Speicher schreiben, wiederholen. Der Weg zum Speicher dauert viel länger als die eigentliche Berechnung. GPUs verbringen die meiste Zeit damit, auf Daten zu warten, nicht sie zu verarbeiten.
Ingenieure nennen das "speichergebunden". Der Prozessor wartet, während Daten hin und her bewegt werden. Bei KI-Inferenz, wo jeder Token diesen Abruf-Berechnung-Schreib-Zyklus erfordert, summieren sich die Verzögerungen. Eine Antwort mit 1.000 Token bedeutet 1.000 Speicherzugriffe.
GPU-Hersteller haben schnelleren Speicher und größere Caches versucht. Das Kernproblem bleibt: Daten werden ständig zwischen Prozessor und Speicher hin- und herbewegt.
Dataflow streamt Daten durch den Chip statt sie zu verschieben
SambaNovass Reconfigurable Dataflow Units (RDUs) arbeiten anders. Anstatt Daten wiederholt abzurufen und zu speichern, verteilen sie Operationen räumlich über den Chip und streamen Daten kontinuierlich hindurch. Daten bewegen sich in einer Richtung durch die Berechnung, wie Teile auf einem Fließband, anstatt bei jedem Schritt geladen und entladen zu werden.
Das gesamte KI-Modell bleibt resident im Speicher. Daten fließen durch Operationen ohne Zwischenschreibvorgänge. Operationen, die auf einer GPU separate Schritte erfordern würden, werden zusammengeführt. SambaNova nennt das "kontinuierliches Execution-Streaming über den Prozessor". Es ist das Gegenteil der Kernel-für-Kernel-Ausführung bei GPUs.
Weniger Warten. Mehr Durchsatz.
Ein dreistufiges Speichersystem ermöglicht 600B+ Parameter-Modelle auf einem Rack
SambaNova verwendet eine dreistufige Speicherhierarchie, die Geschwindigkeit und Kapazität ausbalanciert. Auf der schnellsten Ebene befinden sich 520 Megabyte SRAM direkt auf jedem Chip, der die heißesten Daten verarbeitet und Operationen ohne Speicherzugriffe fusionieren lässt. Darunter halten 64 Gigabyte High-Bandwidth Memory (HBM) Modellgewichte und aktive Daten. Anders als traditionelle Caches ist diese Schicht softwaregesteuert – das System entscheidet genau, was hier liegt, statt auf automatische Verdrängungsrichtlinien zu vertrauen.
Die dritte Stufe bietet bis zu 1,5 Terabyte DDR-Speicher pro Chip für Prompt-Caching und das gleichzeitige Hosting mehrerer Modelle. Jeder Chip kann auf Speicher aller Chips im Rack zugreifen und bildet einen massiven gemeinsamen Speicherpool als flachen Adressraum.
Ein einzelnes Rack kann Modelle mit Hunderten von Milliarden Parametern ausführen. Konkurrenten mit reinen SRAM-Architekturen benötigen Tausende von Chips für die gleiche Fähigkeit. Der dreistufige Ansatz tauscht etwas Spitzengeschwindigkeit gegen bessere Kapazität und Flexibilität.
Bis zu 10x schneller als GPU-Inferenz, 5x bessere Energieeffizienz
Unabhängige Benchmarks von Artificial Analysis bestätigen den Leistungsunterschied: SambaNovas Dataflow-Architektur liefert bis zu 10x schnellere Inferenz als GPU-Alternativen, mit bis zu 5x besserer Energieeffizienz. Ein einzelnes Rack verbraucht etwa 10 bis 15 Kilowatt gegenüber 40 bis 50 Kilowatt oder mehr für vergleichbare GPU-Infrastruktur. Es läuft mit Standard-Luftkühlung, ohne exotische Flüssigkühlungssysteme oder speziell gebaute Rechenzentren.
Bei Echtzeit-Anwendungen zeigt sich das in der Benutzererfahrung. Ein KI-Assistent, der in 200 Millisekunden statt 2 Sekunden antwortet, ist ein anderes Produkt. Man nutzt ihn ständig, statt auf ihn zu warten. Schnellere Token bedeuten auch mehr Reasoning-Schritte im gleichen Zeitbudget, was für agentische Workflows und komplexe mehrstufige Aufgaben wichtig ist.
SambaNova-Technologie in Europa: Infercom ist der erste und einzige öffentliche Anbieter
All diese Leistung ist über SambaNovas Cloud verfügbar. Aber diese Cloud läuft in den Vereinigten Staaten. Für europäische Unternehmen mit DSGVO-Compliance-Anforderungen, Datensouveränitätsvorgaben oder der Präferenz, sensible Daten innerhalb der EU-Jurisdiktion zu halten, stellt das eine Barriere dar.
Infercom bringt SambaNova nach Europa. Wir betreiben die erste und einzige öffentliche SambaNova-Cloud in der EU, gehostet in München, Deutschland. Die Latenz von Frankfurt beträgt unter 10 Millisekunden. Mit Geschwindigkeiten von über 400 Token pro Sekunde bei Modellen wie MiniMax M2.7 Ultraspeedist es die schnellste LLM-API in Europa – mit vollständiger EU-Datensouveränität. Ihre Prompts und Antworten verlassen niemals europäischen Boden. Kein CLOUD Act. Keine Drittland-Datentransfers. Vollständig DSGVO-konform.
Wenn Sie KI-Anwendungen entwickeln, die sowohl Geschwindigkeit als auch Souveränität benötigen, ist dies die Infrastruktur.
Mehr erfahren?
Weiterführende Lektüre: Technische Paper & Benchmarks
