Parametri

Cosa significa davvero un numero di parametri

Una rete neurale è un insieme molto grande di numeri - i suoi parametri, chiamati anche pesi - organizzati in strati. L'addestramento imposta questi valori affinché gli output del modello si adattino ai pattern nei suoi dati; una volta terminato l'addestramento sono congelati, ed eseguire il modello significa moltiplicare gli input attraverso di essi. Quando un modello è descritto come "120B", si tratta di 120 miliardi di tali numeri. Il numero di parametri è l'indicatore di primo piano della capacità, ma non è tutta la storia: come un modello è stato addestrato conta quanto la sua dimensione. Lo studio Chinchilla ha mostrato che, per un budget di calcolo fisso, dimensione del modello e volume dei dati di addestramento dovrebbero scalare insieme - molti modelli sono più capaci non perché sono più grandi, ma perché sono stati addestrati su più dati.

Non ogni parametro è necessariamente attivo su ogni token. I modelli dense (come Gemma 4 31B) usano tutti i loro parametri per ogni token. I modelli Mixture-of-Experts (MoE) instradano ogni token solo attraverso una frazione dei propri - l'architettura di DeepSeek porta centinaia di miliardi di parametri totali ma ne attiva solo decine di miliardi per token - ed è per questo che un modello MoE molto grande può girare molto più velocemente di quanto la sua dimensione totale suggerisca. Nel confrontare i modelli, il numero che predice il comportamento in inferenza è il numero di parametri attivi, non quello totale.

Perché il numero di parametri governa velocità e costo

Generare un token richiede di leggere i parametri attivi dalla memoria. L'aritmetica in sé è economica; spostare i numeri no. Leggere decine di miliardi di parametri per ogni singolo token, un token alla volta, è un problema di larghezza di banda della memoria - ed è il costo dominante della fase di decode. È la ragione fondamentale per cui i modelli più grandi generano più lentamente: non perché la matematica sia più difficile, ma perché ci sono più pesi da trasferire in streaming dalla memoria a ogni passo. È anche il motivo per cui la inter-token latency e i token al secondo in output seguono così da vicino la dimensione del modello.

Il numero di parametri determina anche l'impronta hardware. I pesi devono risiedere in memoria veloce per essere serviti in modo efficiente - a precisione a 16 bit, un miliardo di parametri è circa due gigabyte - quindi un modello di scala frontier può richiedere molta più memoria di quanta ne offra un singolo acceleratore, costringendo a distribuirlo su molti. L'hardware appositamente costruito per l'inferenza affronta questo direttamente: l'RDU di SambaNova usa un sistema di memoria a tre livelli che mantiene i pesi vicini al calcolo e può tenere più modelli grandi residenti contemporaneamente, così che passare dall'uno all'altro richiede millisecondi. La quantizzazione - memorizzare i parametri a precisione inferiore, come a 8 bit - è l'altra leva comune, che riduce la memoria e la larghezza di banda che un dato numero di parametri richiede, di solito con una minima perdita di qualità.

Più grande non è automaticamente meglio

Per la maggior parte dei workload in produzione, il modello più grande disponibile è raramente la scelta predefinita giusta. Un modello attuale di dimensioni medie, servito velocemente, batte spesso uno più grande che risponde lentamente - e costa meno per token da eseguire. Poiché il numero di parametri guida memoria, larghezza di banda e quindi sia velocità sia prezzo, scegliere un modello è una decisione di capacità-contro-costo, non un "più è meglio". La domanda pratica è quale modello sia abbastanza capace per il compito, e poi quale provider lo esegua più velocemente e mantenga i tuoi dati nella giurisdizione giusta. I modelli Open-Weight (vedi open weights) rendono quella scelta tua - anziché del fornitore del modello.

Anche qui l'hosting conta. Un singolo SambaRack racchiude 16 RDU, esegue modelli di scala frontier fino alla classe da 671 miliardi di parametri e ne mantiene diversi residenti in memoria contemporaneamente - così passa da un modello all'altro in millisecondi invece di ricaricare decine di gigabyte di pesi a ogni richiesta, e ogni compito gira sul modello della dimensione giusta senza penalità di cold-start. Sulla nostra piattaforma EU condivisa questo sta dietro un'unica API compatibile con OpenAI; quando servono capacità garantita o piena isolazione dei dati, la stessa architettura SambaNova alimenta le nostre soluzioni capacità dedicata e on-premises.

Termini correlati