Question 1

Le prestazioni dedicate sono le stesse dell'API condivisa?

Accepted Answer

Sì - è lo stesso hardware e le stesse velocità. Ciò che cambia è che la capacità è riservata solo a te: nessun altro tenant, nessuna coda condivisa, nessuna contesa. Ottieni un throughput costante perché nessun altro sta usando il tuo rack.

Question 2

Quando la Capacità Dedicata ha davvero senso rispetto al pay-per-token?

Accepted Answer

Due fattori guidano la decisione, e solo uno riguarda i costi. Sul piano economico, ha senso al di sopra di un utilizzo elevato e sostenuto - quando il tuo volume costante supera regolarmente ciò che i piani condivisi coprono (il punto esatto di pareggio dipende dal tuo modello e dal tuo pattern di traffico); al di sotto, il pay-as-you-go sull'Inference API è di solito la scelta migliore. L'altro fattore non ha nulla a che vedere con il carico: se vuoi eseguire il tuo mix di modelli, o i tuoi checkpoint fine-tuned (BYOC), su hardware riservato solo a te, la Capacità Dedicata è il modo per ottenerlo - a qualsiasi volume. È anche la risposta per capacità garantita, SLA, o quando hai superato i rate limit dei piani condivisi. Se il tuo carico di lavoro è variabile o esplorativo e non hai bisogno di quel controllo, ti diremo di restare sul modello a consumo.

Question 3

Posso eseguire il mio modello ottimizzato?

Accepted Answer

Sì, se è un'ottimizzazione di un'architettura che già supportiamo - si carica e viene servito immediatamente. Tu esegui il fine-tuning su GPU e ci consegni i pesi; noi li serviamo sul tuo rack. Un'architettura genuinamente nuova richiede lavoro di ingegneria, che è oggetto di una discussione commerciale. Dicci quale modello hai in mente e confermeremo che possa funzionare.

Question 4

Potete ottimizzare il modello per noi?

Accepted Answer

No - il fine-tuning e l'addestramento vengono eseguiti su GPU, non su questa architettura, che è costruita per l'inferenza. Tu (o il tuo partner ML) esegui il fine-tuning su GPU, e noi ospitiamo e serviamo il checkpoint risultante a piena velocità. Siamo trasparenti su questo affinché non ci siano disallineamenti nelle aspettative.

Question 5

Quanto velocemente potete commutare tra modelli o checkpoint?

Accepted Answer

Millisecondi - tipicamente meno di 600ms - contro i secondi-minuti su GPU. Poiché la memoria risiede direttamente sul chip, un unico rack può contenere diversi checkpoint ottimizzati e commutare tra di essi a ogni richiesta, eseguendo persino modelli diversi in passi diversi di un flusso agentico.

Question 6

Quali modelli posso eseguire e quanto possono essere grandi?

Accepted Answer

Qualsiasi modello nel catalogo, più i checkpoint personalizzati supportati. Su un unico rack, i modelli fino a ~700B di parametri funzionano bene - un modello di classe 670B entra comodamente, e MiniMax M2.7 Ultraspeed è un punto ideale. I modelli oltre ~1T di parametri oggi non entrano in un singolo rack - l'aggregazione multi-rack arriverà con una futura generazione di hardware.

Question 7

Di quanti rack ho bisogno?

Accepted Answer

Lo dimensioniamo in base al tuo carico di lavoro - numero totale di utenti, concorrenza di picco, tipo di carico (interattivo, agentico, batch) e obiettivi di throughput - calcolati a ritroso dalla concorrenza misurata. Preferiamo dimensionarlo correttamente piuttosto che venderti capacità in eccesso che non riempirai.

Question 8

Posso fare una prova prima di impegnarmi?

Accepted Answer

Sì, e lo consigliamo. Dimostra prima il valore sull'Inference API condivisa (è tecnicamente identica), poi possiamo organizzare un carico di prova a tempo limitato prima della firma. Un rack dedicato è un impegno reale - dovrebbe seguire un valore dimostrato, non precederlo.

Question 9

Quanto tempo richiede il deployment?

Accepted Answer

Un rack dedicato è tipicamente pronto in circa due settimane. (L'hardware on-premises nel tuo datacenter richiede più tempo - vedi la pagina On-Premises.)

Question 10

Quale throughput otterrò realmente - non il numero da benchmark?

Accepted Answer

Il throughput reale dipende dalla lunghezza del tuo contesto e dal rapporto input/output. Le cifre di token al secondo dei titoli sono numeri di picco su carichi favorevoli; il traffico a contesto lungo e con molto output è più basso. Indichiamo il throughput in base al tuo carico di lavoro reale, non a un singolo benchmark nel caso migliore - questo è il modo onesto di dimensionare un rack.

Question 11

Quanto costa?

Accepted Answer

La Capacità Dedicata è un costo mensile fisso per rack riservato, con sconti per impegni più lunghi. Poiché la configurazione giusta dipende dai tuoi modelli, dal throughput e dalla durata del contratto, i prezzi sono definiti per singolo accordo anziché pubblicati - parlaci e metteremo rapidamente numeri reali sul tavolo.

Question 12

Devo impegnarmi per un lungo periodo?

Accepted Answer

No - impegni più lunghi ottengono tariffe migliori, ma sappiamo che il panorama dei modelli si muove in fretta e non vuoi restare vincolato alla configurazione dell'anno scorso. Offriamo anche durate più brevi, ed esiste un percorso di upgrade verso generazioni di hardware più recenti, così un impegno preso oggi non ti lascia bloccato. Dicci la tua tolleranza al rischio e struttureremo qualcosa di adatto.

Question 13

Posso rivenderla o eseguire su di essa i carichi di lavoro dei miei clienti?

Accepted Answer

Sì. È la tua capacità riservata - come noleggiare un tuo server - quindi sei libero di costruirvi sopra qualsiasi modello commerciale preferisci, incluso servire i tuoi clienti. Gli integratori di sistema e le agenzie fanno esattamente questo. Parlaci e la configureremo in base al modo in cui vai sul mercato.

	Inference API	Capacità Dedicata
Infrastruttura	Condivisa (multi-tenant)	Riservata (single-tenant)
Fatturazione	Pay-per-token	Costo mensile fisso
Rate limit	In base al piano	Personalizzati o nessuno
Contese	Coda condivisa sotto carico	Nessuna - è tutto tuo
Modelli personalizzati (BYOC)	Solo catalogo	Catalogo + i tuoi checkpoint
Supporto	In base al piano	Team dedicato
SLA	Best-effort	Personalizzati, garantiti

Prestazioni garantite,
sui modelli che scegli

La stessa piattaforma sovrana - riservata solo a te

Quando scegliere la Capacità Dedicata

Volume elevato e costante

SLA garantiti

Modelli personalizzati

Isolamento

Un motore di inferenza di produzione, gestito per te

Infrastruttura

Supporto e SLA

Esegui i modelli di cui hai bisogno

Disponibile sul tuo rack

Cambia checkpoint in millisecondi

Capacità Dedicata vs Inference API

Domande, risposte dirette

Hai bisogno della proprietà completa?

Pronto a dimensionare un rack dedicato?

Prestazioni garantite,sui modelli che scegli