Parametre

Hvad et parameter-antal faktisk betyder

Et neuralt netværk er en meget stor mængde tal - dets parametre, også kaldet vægte - organiseret i lag. Træning sætter disse værdier, så modellens output passer til mønstrene i dens data; når træningen er færdig, er de frosne, og at køre modellen betyder at multiplicere input gennem dem. Når en model beskrives som "120B", er det 120 milliarder sådanne tal. Parameter-antal er den plakat-agtige indikator for kapacitet, men det er ikke hele historien: hvordan en model er trænet, betyder lige så meget som dens størrelse. Chinchilla-studiet viste, at for et fast compute-budget bør modelstørrelse og træningsdata-mængde skalere sammen - mange modeller er mere kapable, ikke fordi de er større, men fordi de er trænet på mere data.

Ikke hver parameter er nødvendigvis aktiv ved hver token. Dense-modeller (såsom Gemma 4 31B) bruger alle deres parametre for hver token. Mixture-of-Experts-modeller (MoE) leder hver token gennem kun en brøkdel af deres - DeepSeeks arkitektur bærer hundreder af milliarder totale parametre, men aktiverer kun titals milliarder per token - hvilket er grunden til, at en meget stor MoE-model kan køre langt hurtigere, end dens samlede størrelse antyder. Når man sammenligner modeller, er det tal, der forudsiger inference-adfærd, det aktive parameter-antal, ikke det totale.

Hvorfor parameter-antal styrer hastighed og omkostning

At generere en token kræver at læse de aktive parametre ud af hukommelsen. Selve aritmetikken er billig; at flytte tallene er det ikke. At læse titals milliarder parametre for hver eneste token, én token ad gangen, er et memory-bandbredde-problem - og det er den dominerende omkostning i decode-fasen. Det er kerneårsagen til, at større modeller genererer langsommere: ikke fordi matematikken er sværere, men fordi der er flere vægte at streame fra hukommelsen ved hvert trin. Det er også derfor, inter-token latency og output tokens per sekund følger modelstørrelsen så tæt.

Parameter-antal sætter også hardware-fodaftrykket. Vægte skal ligge i hurtig hukommelse for at blive betjent effektivt - ved 16-bit præcision er en milliard parametre cirka to gigabyte - så en model i frontier-størrelse kan kræve langt mere hukommelse, end en enkelt accelerator giver, og må deles på tværs af mange. Specialbygget inference-hardware angriber dette direkte: SambaNovas RDU bruger et tre-lags hukommelsessystem, der holder vægte tæt på beregningen og kan holde flere store modeller resident på én gang, så skift mellem dem tager millisekunder. Kvantisering - at lagre parametre i lavere præcision, såsom 8-bit - er den anden gængse løftestang, der skrumper den hukommelse og båndbredde, et givet parameter-antal kræver, som regel med lille kvalitetstab.

Større er ikke automatisk bedre

For de fleste produktions-workloads er den største tilgængelige model sjældent det rette standardvalg. En aktuel mellemstor model, betjent hurtigt, slår ofte en større, der svarer langsomt - og koster mindre per token at køre. Fordi parameter-antal driver hukommelse, båndbredde og dermed både hastighed og pris, er valget af model en beslutning om kapacitet-mod-omkostning, ikke et "mere er bedre". Det praktiske spørgsmål er, hvilken model der er kapabel nok til opgaven, og derefter hvilken udbyder der kører den hurtigst og holder dine data i den rette jurisdiktion. Open-Weight-modeller (se open weights) gør det valg til dit - i stedet for modelleverandørens.

Også her betyder hosting noget. En enkelt SambaRack rummer 16 RDU'er, kører modeller i frontier-størrelse op til 671-milliarder-parameter-klassen og holder flere af dem resident i hukommelsen på én gang - så den skifter mellem modeller på millisekunder i stedet for at genindlæse titals gigabyte vægte per forespørgsel, og hver opgave kører på den rigtigt dimensionerede model uden cold-start-straf. På vores delte EU-platform ligger det bag ét OpenAI-kompatibelt API; når du har brug for garanteret kapacitet eller fuld dataisolation, understøtter den samme SambaNova-arkitektur vores dedikerede kapacitet og on-premises-løsninger.

Relaterede begreber