L'Inference LLM più Veloce d'Europa

Infercom eroga modelli open-weight come gpt-oss-120b su hardware dataflow SambaNova a Monaco di Baviera. Il nostro output massimo misurato è di 713 token al secondo, con picchi fino a 772 tok/s su prompt più corti - fino a 10x più veloce delle alternative su GPU. Ogni valore è un p50 lato server della nostra API di produzione, non una stima del fornitore, e puoi riprodurlo con il nostro strumento di benchmark open source.

gpt-oss-120b guida l'output throughput con 713 tok/s e ha anche il nostro Time to First Token più basso, 388 ms: è la scelta predefinita per chat, voice e loop di agenti ad alto volume. MiniMax M2.7 Ultraspeed è il nostro modello di reasoning di frontiera da 229B a 428 tok/s con una finestra di contesto da 192K, per esecuzioni agentiche lunghe e compiti di coding difficili. Gemma 4 31B misura 199 tok/s e accetta nativamente immagine e testo. Chat e voice dipendono dal Time to First Token, agenti e coding dal throughput.

Sì. Ogni valore è un p50 lato server con 10K token di input e 1K di output, richiesta singola, misurato sulla nostra API di produzione con il nostro strumento di benchmark open source. Eseguilo online sulla nostra API con la tua chiave, oppure clona il repository ed eseguilo in locale con i tuoi prompt. I risultati lato client varieranno in base alla posizione e alle condizioni di rete.

L'hardware dataflow tiene occupata la propria pipeline di calcolo già con batch piccoli, quindi la velocità per richiesta non dipende dall'accumulare molte richieste insieme come avviene con le GPU. Il batching aumenta comunque il throughput complessivo del sistema, ma non è ciò che produce i valori per richiesta qui sopra. I numeri pubblicati sono p50 su richiesta singola. Se il comportamento in concorrenza conta per il tuo workload, lo strumento di benchmark ha una modalità real-workload che riproduce frequenze di richiesta variabili sulla nostra API.

L'architettura dataflow su cui gira Infercom è sottoposta a benchmark continui da Artificial Analysis ed è stata trattata da VentureBeat e TechRadar, mentre la metodologia sull'efficienza energetica è stata validata da Stanford Hazy Research. Queste fonti riguardano la tecnologia: i valori per modello di questa pagina sono nostre misurazioni sulla nostra infrastruttura di Monaco. Proprio per questo pubblichiamo lo strumento di benchmark, così puoi verificarli.

Una GPU sposta continuamente pesi del modello e attivazioni tra calcolo e memoria e, durante la decodifica token per token, passa gran parte del tempo ad attendere quel traffico di memoria. Un'architettura dataflow mappa il modello sul chip e vi fa scorrere attraverso i dati, così molto più silicio compie lavoro utile per ogni token. Da qui il vantaggio di velocità fino a 10x rispetto all'inference su GPU, insieme a un'efficienza energetica fino a 5 volte migliore.