Question 1

Le prestazioni on-premises sono le stesse del tuo cloud?

Accepted Answer

Sì - è lo stesso hardware, quindi ottieni esattamente le stesse velocità. Ciò che on-premises cambia è la posizione e la proprietà, non le prestazioni: i rack si trovano nel tuo datacenter e tu detieni le chiavi.

Question 2

Possedere l'hardware conviene davvero rispetto al consumo di token gestiti?

Accepted Answer

On-premises è un investimento di capitale con un ingombro minimo e un tempo di consegna, rispetto a token gestiti immediati e senza capex. Se convenga è davvero una questione caso per caso - con un utilizzo sostenuto e intenso su un orizzonte pluriennale, possedere l'hardware può risultare economicamente vantaggioso, ma questo dipende da quanto intensamente lo utilizzi, quindi lo modelleremmo insieme a tu piuttosto che prometterlo. Spesso il fattore decisivo non è affatto il costo: codice sorgente o dati che non possono lasciare il tuo edificio, un cliente o un'autorità di regolamentazione che lo impone, o una decisione strategica di possedere l'infrastruttura. Le prestazioni sono identiche al nostro cloud in entrambi i casi. Se il tuo caso non presenta un requisito vincolante e l'aspetto economico è marginale, l'Inference API o la Dedicated Capacity è di solito la scelta migliore, e te lo diremo.

Question 3

Possiamo testare prima di acquistare l'hardware?

Accepted Answer

Sì, e lo raccomandiamo. Dimostra prima il valore sull'Inference API condivisa - è tecnicamente identica - poi, facoltativamente, su un rack dedicato nel nostro datacenter, prima di qualsiasi esborso di capitale. Un piccolo progetto pilota va nel cloud, non on-premises.

Question 4

Qual è la dimensione minima praticabile e di quale scala di investimento si tratta?

Accepted Answer

On-premises è un'infrastruttura strategica di scala enterprise - non una piccola installazione. Il minimo pratico è un deployment multi-nodo più un Core Services Rack per il control plane, con scalabilità a incrementi fissi, il che rappresenta un investimento di capitale significativo. Quel minimo è deliberato: offre una vera resilienza (perdete un nodo e perdete solo una piccola frazione della capacità, con tutto il resto ancora in funzione), spazio sia per i modelli a contesto lungo che a contesto breve, e margine per i picchi. Se sei un piccolo team o state ancora validando il caso d'uso, eseguilo prima sul cloud condiviso o dedicato - on-premises ha senso quando gestisci l'AI su larga scala e un requisito impone la proprietà.

Question 5

Cosa ci serve nel nostro datacenter - spazio, alimentazione, raffreddamento?

Accepted Answer

Condizioni standard di un datacenter. I sistemi sono raffreddati ad aria (nessun raffreddamento a liquido esotico) a livelli di potenza da rack ad alta densità, in un ingombro rack standard - quindi si inseriscono in un datacenter che hai già anziché richiedere una struttura appositamente costruita. Ciò che fornisci è spazio, alimentazione, raffreddamento e rete; la piattaforma stessa - incluso il suo control plane Kubernetes e i servizi di supporto - viene spedita e funziona sul Core Services Rack che consegniamo noi, così non devi configurare o gestire Kubernetes in prima persona. Effettuiamo un sopralluogo per confermare la tua esatta predisposizione in termini di alimentazione, raffreddamento, rete e storage prima che qualsiasi cosa venga spedita.

Question 6

Come funziona un deployment air-gapped - e come lo aggiorni o diagnostichi?

Accepted Answer

SambaStack funziona completamente offline. In un ambiente air-gap, gli aggiornamenti del software e dei modelli vengono spediti e installati manualmente (fornisci tu un server di staging per gli artefatti e un registry locale), e la diagnostica avviene tramite trasferimento di file e web conference - non abbiamo accesso di rete diretto al tuo cluster. Funziona bene e abbiamo un'esperienza concreta nel farlo, ma è bene chiarire che un air-gap sacrifica una certa reattività del supporto in cambio di un isolamento totale: ogni aggiornamento è un passaggio manuale e deliberato anziché un pull automatico.

Question 7

Quanto tempo richiede il deployment?

Accepted Answer

Prevedi circa 90 giorni dal contratto alla produzione, comprendendo la consegna dell'hardware, l'installazione, la configurazione e l'attivazione dei modelli. Le tempistiche variano in base al volume e alla disponibilità degli ordini hardware, alla predisposizione del datacenter dalla tua parte e all'eventuale necessità di attivare nuove architetture di modelli - ci impegniamo su una data definitiva solo dopo un sopralluogo.

Question 8

Quali modelli possiamo eseguire - e possiamo portare i nostri?

Accepted Answer

Qualsiasi modello del nostro catalogo gira on-premises, e un deployment dedicato può eseguire anche modelli oltre il catalogo pubblico che attiviamo per tu. Anche Bring Your Own Checkpoint funziona: i fine-tune delle architetture supportate si caricano immediatamente. Il fine-tuning in sé viene eseguito su GPU - tu addestrate, poi caricate i pesi sui tuoi rack. Il supporto per architetture completamente nuove è una questione commerciale.

Question 9

Come funzionano gli aggiornamenti dei modelli una volta che è nel nostro edificio?

Accepted Answer

Ogni release di SambaStack include nuovi modelli che abbiamo attivato. Scegli tu quali deployare, li testi e applichi l'allocazione in autonomia - per esempio spostando nodi tra due modelli. Riconfigurare un nodo (ad esempio da contesto lungo a contesto breve) richiede circa 30 minuti. In un ambiente air-gap, questi aggiornamenti vengono consegnati e installati manualmente.

Question 10

Come gestisce la piattaforma la contesa quando molti utenti la utilizzano contemporaneamente?

Accepted Answer

L'router di inferenza ti consente di applicare regole di quality-of-service - dando priorità a determinati utenti o tipi di traffico e limitando la frequenza (rate-limiting) dei singoli utenti, affinché nessuno da solo possa saturare il cluster. Le richieste vengono messe in coda anziché fallire e, alla scala del deployment, c'è un margine sostanziale, quindi è davvero difficile che un singolo utente causi un problema. Questi controlli sono nelle tue mani, poiché sei tu a gestire la piattaforma.

Question 11

Possiamo effettuare il deployment nel nostro datacenter, o lo ospiti tu?

Accepted Answer

Entrambe le opzioni. Possiamo vendere l'hardware per il tuo datacenter, ospitarlo in colocation per tu o offrire colocation-as-a-service - a seconda di quale soluzione sia adatta ai tuoi requisiti di controllo e operativi.

Question 12

Puoi garantire contrattualmente che nessuno al di fuori della nostra organizzazione possa vedere i nostri dati?

Accepted Answer

On-premises, in modalità air-gapped, è la posizione più solida possibile: detieni tutte le chiavi, noi non abbiamo accesso in runtime e nulla lascia la tua rete. È esattamente per questo che viene offerta - è la risposta a prova di bomba per i requisiti di riservatezza e di conformità più rigorosi. (Per completezza: la KV cache risiede solo in memoria e non viene mai scritta su disco, ma come per ogni fornitore non è cifrata in memoria - una limitazione dell'intero settore, non specifica di noi.)

Question 13

Quanto siamo autosufficienti una volta installato?

Accepted Answer

Nella gestione quotidiana, sei tu a farla funzionare: possiedi l'hardware, detieni le chiavi e gestisci la piattaforma sulla tua rete. Dove restiamo coinvolti è la pipeline dei modelli - attivare nuovi modelli, confezionare i bundle di release e distribuire le correzioni - proprio come ti affideresti a qualsiasi fornitore di piattaforme per gli aggiornamenti. La piattaforma si sta inoltre orientando costantemente verso un maggiore self-service, quindi una parte crescente di quella pipeline passa nelle tue mani nel tempo. In ogni caso ottieni pieno controllo operativo e isolamento dei dati, con un rapporto software continuativo per i modelli e il supporto.

Inferenza AI on-premises.
Controllo completo, velocità del cloud.

Quando i tuoi dati non possono uscire, questa è la risposta

Quando scegliere On-Premises

Dati che non possono uscire

Un obbligo da rispettare

Controllo completo

Indipendenza dal fornitore

Un motore premium-token di tua proprietà

Hardware

Software e supporto

Dal contratto alla produzione

Consulenza e sopralluogo

Consegna dell'hardware

Configurazione

Produzione

L'intero catalogo, nel tuo edificio

La stessa architettura dataflow

Domande, con risposte dirette

Non sei sicuro di quale sia la scelta giusta?

Inference API

Dedicated Capacity

Pronto a esplorare l'opzione on-premises?

Inferenza AI on-premises.Controllo completo, velocità del cloud.