Il Vantaggio SambaNova
Le GPU non sono state costruite per l'AI. Sono state progettate per la grafica dei videogiochi, e l'architettura lo dimostra. SambaNova ha scelto un percorso diverso, progettando chip costruiti appositamente per l'inference AI da zero. I benchmark indipendenti mostrano inference fino a 10x più veloce – la tecnologia di inference LLM più veloce disponibile. Ecco come funziona.
Le GPU passano la maggior parte del tempo ad aspettare
Quando una GPU genera risposte AI, segue un ciclo ripetitivo: recupera dati dalla memoria, calcola, scrivi in memoria, ripeti. Il viaggio verso la memoria richiede molto più tempo del calcolo effettivo. Le GPU passano la maggior parte del tempo ad aspettare i dati, non a elaborarli.
Gli ingegneri chiamano questo "memory-bound". Il processore resta inattivo mentre i dati vengono spostati avanti e indietro. Per l'inference AI, dove ogni token richiede questo ciclo di recupero-calcolo-scrittura, i ritardi si accumulano. Una risposta di 1.000 token significa 1.000 viaggi in memoria.
I produttori di GPU hanno provato memoria più veloce e cache più grandi. Il problema fondamentale rimane: i dati continuano a rimbalzare tra processore e memoria.
Dataflow fa scorrere i dati attraverso il chip invece di spostarli
Le Reconfigurable Dataflow Unit (RDU) di SambaNova funzionano diversamente. Invece di recuperare e memorizzare dati ripetutamente, dispongono le operazioni spazialmente sul chip e fanno scorrere i dati continuamente attraverso di esse. I dati si muovono in una direzione attraverso il calcolo, come parti su una catena di montaggio, invece di essere caricati e scaricati ad ogni passo.
L'intero modello AI rimane residente in memoria. I dati fluiscono attraverso le operazioni senza scritture intermedie. Operazioni che richiederebbero passi separati su una GPU vengono fuse insieme. SambaNova chiama questo "execution streaming continuo attraverso il processore". È l'opposto dell'esecuzione kernel-by-kernel delle GPU.
Meno attesa. Più throughput.
Un sistema di memoria a tre livelli permette a un rack di eseguire modelli con 600B+ parametri
SambaNova utilizza una gerarchia di memoria a tre livelli che bilancia velocità e capacità. Al livello più veloce, 520 megabyte di SRAM risiedono direttamente su ogni chip, gestendo i dati più caldi e permettendo alle operazioni di fondersi senza viaggi in memoria. Sotto, 64 gigabyte di high-bandwidth memory (HBM) contengono i pesi del modello e i dati attivi. A differenza delle cache tradizionali, questo livello è controllato via software – il sistema decide esattamente cosa risiede qui invece di affidarsi a politiche di eviction automatiche.
Il terzo livello fornisce fino a 1,5 terabyte di memoria DDR per chip per il caching dei prompt e l'hosting simultaneo di più modelli. Ogni chip può indirizzare la memoria di tutti i chip nel rack, creando un enorme pool di memoria condivisa che opera come uno spazio di indirizzi piatto.
Un singolo rack può eseguire modelli con centinaia di miliardi di parametri. I concorrenti con architetture pure SRAM hanno bisogno di migliaia di chip per ottenere la stessa capacità. L'approccio a tre livelli scambia una piccola quantità di velocità di picco per migliore capacità e flessibilità.
Fino a 10x più veloce dell'inference GPU, 5x migliore efficienza energetica
I benchmark indipendenti di Artificial Analysis confermano la differenza di prestazioni: l'architettura dataflow di SambaNova offre inference fino a 10x più veloce delle alternative GPU, con efficienza energetica fino a 5x migliore. Un singolo rack consuma circa 10-15 kilowatt contro 40-50 kilowatt o più per infrastruttura GPU equivalente. Funziona con raffreddamento ad aria standard, senza sistemi di raffreddamento a liquido esotici o datacenter costruiti appositamente.
Per le applicazioni in tempo reale, questo si manifesta nell'esperienza utente. Un assistente AI che risponde in 200 millisecondi invece di 2 secondi è un prodotto diverso. Lo usi costantemente invece di aspettarlo. Token più veloci significano anche più passaggi di ragionamento nello stesso budget di tempo, il che conta per i workflow agentici e i compiti complessi multi-step.
Tecnologia SambaNova in Europa: Infercom è il primo e unico provider pubblico
Tutte queste prestazioni sono disponibili attraverso il cloud di SambaNova. Ma quel cloud opera negli Stati Uniti. Per le aziende europee con requisiti di conformità GDPR, mandati di sovranità dei dati o una preferenza per mantenere i dati sensibili entro la giurisdizione UE, questo crea una barriera.
Infercom porta SambaNova in Europa. Gestiamo il primo e unico cloud SambaNova pubblico nell'UE, ospitato a Monaco, Germania. La latenza da Francoforte è inferiore a 10 millisecondi. Con velocità superiori a 400 token al secondo su modelli come MiniMax M2.7 Ultraspeed, è l'API LLM più veloce in Europa – con completa sovranità dei dati UE. I tuoi prompt e le risposte non lasciano mai il suolo europeo. Nessuna esposizione al CLOUD Act. Nessun trasferimento dati verso paesi terzi. Pienamente conforme al GDPR.
Se stai costruendo applicazioni AI che necessitano sia di velocità che di sovranità, questa è l'infrastruttura.
Vuoi approfondire?
Letture aggiuntive: Paper tecnici & Benchmark
