Question 1

Er on-premises-ydeevnen den samme som vores cloud?

Accepted Answer

Ja - det er den samme hardware, så du får præcis de samme hastigheder. Det, on-premises ændrer, er placering og ejerskab, ikke ydeevne: rackene står i dit datacenter, og du besidder nøglerne.

Question 2

Betaler det sig faktisk at eje hardware frem for at forbruge managed tokens?

Accepted Answer

On-premises er en kapitalinvestering med et minimums-fodaftryk og en leveringstid, kontra managed tokens uden kapitaludgift og med øjeblikkelig adgang. Om det betaler sig er reelt fra sag til sag - ved vedvarende, tung udnyttelse over en flerårig horisont kan det økonomisk give mening at eje hardwaren, men det afhænger af, hvor hårdt du kører den, så vi ville modellere det sammen med dig frem for at love det. Ofte er den afgørende faktor slet ikke omkostningen: kildekode eller data, der ikke kan forlade din bygning, en kunde eller tilsynsmyndighed, der kræver det, eller en strategisk beslutning om at eje infrastrukturen. Ydeevnen er identisk med vores cloud uanset hvad. Hvis dit tilfælde ikke har et hårdt krav, og økonomien er marginal, er Inference API eller Dedicated Capacity som regel den bedre beslutning, og det vil vi fortælle dig.

Question 3

Kan vi teste, før vi køber hardware?

Accepted Answer

Ja, og det anbefaler vi. Bevis værdien på det delte Inference API først - det er teknisk identisk - derefter eventuelt på et dedikeret rack i vores datacenter, før nogen kapitaludgift. En lille pilot hører hjemme i cloud'en, ikke on-premises.

Question 4

Hvad er den mindste levedygtige størrelse, og hvilken skala af investering er dette?

Accepted Answer

On-premises er strategisk infrastruktur i enterprise-skala - ikke en lille installation. Det praktiske minimum er et deployment med flere noder plus et Core Services Rack til kontrolplanet, der skalerer i faste trin, hvilket repræsenterer en betydelig kapitalinvestering. Det minimum er bevidst: det leverer reel modstandsdygtighed (mister du en node, mister du kun en lille brøkdel af kapaciteten, mens alt stadig kører), plads til både lang- og kortkontekst-modeller og burst-hovedrum. Hvis du er et lille team eller stadig er ved at bevise use casen, så kør det på den delte eller dedikerede cloud først - on-premises giver mening, når du driver AI i stor skala, og et krav driver ejerskabet.

Question 5

Hvad har vi brug for i vores datacenter - plads, strøm, køling?

Accepted Answer

Standard datacenterforhold. Systemerne er luftkølede (ingen eksotisk væskekøling) ved strømniveauer for high-density-racks, i et standard rack-fodaftryk - så de glider ind i et datacenter, du allerede har, frem for at kræve en specialbygget facilitet. Det, du stiller til rådighed, er plads, strøm, køling og netværk; selve platformen - inklusive dens Kubernetes-kontrolplan og understøttende tjenester - leveres og kører på det Core Services Rack, vi leverer, så du ikke selv skal opsætte eller drive Kubernetes. Vi gennemfører en site-undersøgelse for at bekræfte din præcise parathed med hensyn til strøm, køling, netværk og lagring, før noget leveres.

Question 6

Hvordan fungerer et air-gapped deployment - og hvordan opdaterer eller diagnosticerer du det?

Accepted Answer

SambaStack kører fuldt offline. I en air-gap leveres og installeres software- og modelopdateringer manuelt (du stiller en artefakt-staging-server og et lokalt registry til rådighed), og diagnostik sker via filoverførsel og webkonference - vi har ingen direkte netværksadgang til dit cluster. Det fungerer godt, og vi har reel erfaring med det, men vær klar over, at en air-gap bytter noget support-responsivitet for total isolation: hver opdatering er et bevidst, manuelt trin frem for et automatisk pull.

Question 7

Hvor lang tid tager deployment?

Accepted Answer

Planlæg med omkring 90 dage fra kontrakt til produktion, dækkende hardware-levering, installation, konfiguration og model-opstart. Tidsplaner varierer med hardware-ordrevolumen og -tilgængelighed, datacenterets parathed hos dig, og om nye modelarkitekturer skal startes op - vi forpligter os først til en fast dato efter en site-undersøgelse.

Question 8

Hvilke modeller kan vi køre - og kan vi medbringe vores egne?

Accepted Answer

Enhver model i vores katalog kører on-premises, og et dedikeret deployment kan også køre modeller ud over det offentlige katalog, som vi starter op for dig. Bring Your Own Checkpoint fungerer også: fine-tunes af understøttede arkitekturer indlæses med det samme. Selve fine-tuningen kører på GPU'er - du træner og indlæser derefter vægtene på dine racks. Support til helt nye arkitekturer er en kommerciel samtale.

Question 9

Hvordan fungerer modelopdateringer, når det først er i vores bygning?

Accepted Answer

Hver SambaStack-udgivelse samler nye modeller, vi har startet op. Du vælger, hvilke du vil deploye, tester dem og anvender selv allokeringen - for eksempel ved at flytte noder mellem to modeller. At omkonfigurere en node (f.eks. fra lang kontekst til kort kontekst) tager omkring 30 minutter. I en air-gap leveres og installeres disse opdateringer manuelt.

Question 10

Hvordan håndterer platformen belastning, når mange brugere rammer den på én gang?

Accepted Answer

Inferens-routeren lader dig anvende quality-of-service-regler - prioritering af bestemte brugere eller trafik og rate-limiting af enkelte brugere, så ingen enkelt kan udsulte clusteret. Forespørgsler sættes i kø frem for at fejle, og ved deploymentets skala er der betydeligt hovedrum, så det er reelt svært for én bruger at forårsage et problem. Du besidder disse kontroller, da du driver platformen.

Question 11

Kan vi udrulle i vores eget datacenter, eller hoster du det?

Accepted Answer

Begge dele. Vi kan sælge hardwaren ind i dit datacenter, co-lokere den for dig eller tilbyde colocation-as-a-service - alt efter hvad der passer til dine krav til kontrol og drift.

Question 12

Kan du kontraktligt garantere, at ingen uden for vores organisation kan se vores data?

Accepted Answer

On-premises, air-gapped er den stærkest mulige position: du besidder alle nøgler, vi har ingen runtime-adgang, og intet forlader dit netværk. Det er præcis derfor, det tilbydes - det er det skudsikre svar på de strengeste krav til fortrolighed og regulering. (For fuldstændighedens skyld: KV-cachen ligger kun i hukommelsen og skrives aldrig til disk, men ligesom hos enhver udbyder er den ikke krypteret i hukommelsen - en branchedækkende begrænsning, ikke specifik for os.)

Question 13

Hvor selvforsynende er vi, når det først er installeret?

Accepted Answer

Til daglig driver du den: du ejer hardwaren, besidder nøglerne og driver platformen på dit eget netværk. Der, hvor vi forbliver i loopet, er modelpipelinen - opstart af nye modeller, pakning af udgivelsesbundter og levering af rettelser - på samme måde som du ville forlade dig på enhver platformleverandør for opdateringer. Platformen bevæger sig også støt mod mere selvbetjening, så mere af den pipeline kommer i dine hænder over tid. Uanset hvad får du fuld driftskontrol og dataisolation, med et løbende softwareforhold for modeller og support.

On-premises AI-inferens.
Fuld kontrol, cloud-hastighed.

Når dine data ikke må forlade huset, er dette svaret

Hvornår man skal vælge On-Premises

Data, der ikke må forlade huset

Et krav, der skal opfyldes

Fuld kontrol

Uafhængighed af udbyder

En premium-token-motor, du ejer

Hardware

Software og support

Fra kontrakt til produktion

Konsultation og site-undersøgelse

Hardware-levering

Konfiguration

Produktion

Hele kataloget, i din bygning

Den samme dataflow-arkitektur

Spørgsmål, besvaret ligeud

Usikker på, hvad der er rigtigt?

Inference API

Dedicated Capacity

Klar til at udforske on-premises?

On-premises AI-inferens.Fuld kontrol, cloud-hastighed.