Question 1

Er dedikeret performance det samme som den delte API?

Accepted Answer

Ja - det er samme hardware og samme hastigheder. Det, der ændrer sig, er, at kapaciteten er reserveret til dig alene: ingen andre tenants, ingen delt kø, ingen contention. Du får konsistent throughput, fordi ingen andre bruger dit rack.

Question 2

Hvornår giver Dedikeret kapacitet faktisk mening kontra pay-per-token?

Accepted Answer

To ting afgør beslutningen, og kun den ene handler om omkostninger. Økonomisk giver det mening over vedvarende høj udnyttelse - når dit stabile volumen konsekvent overstiger, hvad de delte tiers dækker (det præcise vippepunkt afhænger af din model og dit trafikmønster); under det er pay-as-you-go på Inference API som regel den bedre løsning. Den anden grund har intet med belastning at gøre: hvis du vil køre dit eget mix af modeller, eller dine egne fine-tunede checkpoints (BYOC), på hardware der er reserveret til dig alene, er Dedikeret kapacitet måden at få det på - uanset volumen. Det er også svaret på garanteret kapacitet, SLA'er, eller når du er forbi de delte tiers rate limits. Hvis dit workload er variabelt eller eksplorativt, og du ikke har brug for den kontrol, vil vi sige, at du skal blive på forbrug.

Question 3

Kan jeg køre min egen fine-tunede model?

Accepted Answer

Ja, hvis det er en fine-tune af en arkitektur, vi allerede understøtter - den indlæses og serveres med det samme. Du fine-tuner på GPU'er og giver os vægtene; vi serverer dem på dit rack. En helt ny arkitektur kræver engineering-arbejde, hvilket er en kommerciel samtale. Fortæl os, hvilken model du har i tankerne, og vi bekræfter, at den kan køre.

Question 4

Kan I fine-tune modellen for os?

Accepted Answer

Nej - fine-tuning og træning kører på GPU'er, ikke på denne arkitektur, som er bygget til inferens. Du (eller din ML-partner) fine-tuner på GPU'er, og vi hoster og serverer det resulterende checkpoint med fuld hastighed. Vi er transparente omkring dette, så der ikke er nogen uoverensstemmelse i forventningerne.

Question 5

Hvor hurtigt kan I skifte mellem modeller eller checkpoints?

Accepted Answer

Millisekunder - typisk under 600ms - mod sekunder-til-minutter på GPU'er. Fordi hukommelsen sidder direkte på chippen, kan ét rack holde flere fine-tunede checkpoints og skifte mellem dem per forespørgsel, selv køre forskellige modeller på forskellige trin i et agentic flow.

Question 6

Hvilke modeller kan jeg køre, og hvor store kan de være?

Accepted Answer

Enhver model i kataloget, plus understøttede tilpassede checkpoints. På ét rack kører modeller op til ~700B parametre godt - en model i 670B-klassen passer komfortabelt, og MiniMax M2.7 Ultraspeed er et sweet spot. Modeller over ~1T parametre passer ikke på et enkelt rack i dag - multi-rack-aggregering kommer med en fremtidig hardwaregeneration.

Question 7

Hvor mange racks har jeg brug for?

Accepted Answer

Vi dimensionerer det ud fra dit workload - samlet antal brugere, peak concurrency, workload-type (interaktiv, agentic, batch) og throughput-mål - regnet tilbage fra målt concurrency. Vi vil hellere right-size det end at oversælge dig kapacitet, du ikke fylder.

Question 8

Kan jeg teste, før jeg forpligter mig?

Accepted Answer

Ja, og vi anbefaler det. Bevis værdien på den delte Inference API først (den er teknisk identisk), derefter kan vi arrangere en tidsbegrænset testbelastning, før du underskriver. Et dedikeret rack er en reel forpligtelse - det bør følge bevist værdi, ikke gå forud for den.

Question 9

Hvor lang tid tager deployment?

Accepted Answer

Et dedikeret rack er typisk klar på cirka to uger. (On-premises hardware i dit eget datacenter tager længere tid - se On-Premises-siden.)

Question 10

Hvilken throughput får jeg faktisk - ikke benchmark-tallet?

Accepted Answer

Reel throughput afhænger af din context length og input/output-ratio. Fremhævede tokens-per-sekund-tal er peak-tal på gunstige workloads; long-context og output-tung trafik kører lavere. Vi angiver throughput mod dit faktiske workload, ikke et enkelt best-case benchmark - det er den ærlige måde at dimensionere et rack på.

Question 11

Hvad koster det?

Accepted Answer

Dedikeret kapacitet er en fast månedlig omkostning per reserveret rack, med rabatter for længere forpligtelser. Fordi den rette konfiguration afhænger af dine modeller, throughput og kontraktlængde, fastsættes prissætningen per engagement frem for at blive offentliggjort - tal med os, og vi lægger hurtigt reelle tal på bordet.

Question 12

Skal jeg forpligte mig for en lang periode?

Accepted Answer

Nej - længere forpligtelser giver bedre priser, men vi ved, at modellandskabet bevæger sig hurtigt, og du vil ikke være låst til sidste års opsætning. Vi tilbyder også kortere perioder, og der er en opgraderingssti til nyere hardwaregenerationer, så en forpligtelse i dag efterlader dig ikke strandet. Fortæl os din risikotolerance, og vi strukturerer noget, der passer.

Question 13

Kan jeg videresælge det eller køre mine egne kunders workloads på det?

Accepted Answer

Ja. Det er din reserverede kapacitet - som at leje din egen server - så du er fri til at bygge hvilken som helst kommerciel model, du vil, oven på det, inklusive at servere dine egne kunder. Systemintegratorer og bureauer gør præcis dette. Tal med os, og vi sætter det op, så det passer til, hvordan du går til markedet.

	Inference API	Dedikeret kapacitet
Infrastruktur	Delt (multi-tenant)	Reserveret (single-tenant)
Fakturering	Pay-per-token	Fast månedligt
Rate limits	Tier-baseret	Tilpasset eller ingen
Contention	Delt kø under belastning	Ingen - det hele er dit
Tilpassede modeller (BYOC)	Kun katalog	Katalog + dine checkpoints
Support	Tier-baseret	Dedikeret team
SLA'er	Best-effort	Tilpasset, garanteret

Garanteret performance,
på de modeller, du vælger

Den samme suveræne platform - reserveret til dig alene

Hvornår du skal vælge Dedikeret kapacitet

Højt, stabilt volumen

Garanterede SLA'er

Tilpassede modeller

Isolation

En produktions-inferens-motor, drevet for dig

Infrastruktur

Support & SLA'er

Kør de modeller, du har brug for

Tilgængeligt på dit rack

Skift checkpoints på millisekunder

Dedikeret kapacitet vs Inference API

Spørgsmål, besvaret ligeud

Har du brug for fuldt ejerskab?

Klar til at dimensionere et dedikeret rack?

Garanteret performance,på de modeller, du vælger