Capacità impegnata

Si lega a

contribuisce al costo di servizio nei diversi modi di acquisto di un modello; se posseduta, il suo costo comprende l'ammortamento e può risentire del rincaro della memoria; viene distribuita sulle unità servite secondo l'utilizzo dell'inferenza

Da qui ci si arriva

1. Utilizzo dell'inferenza

   quota della capacità che serve lavoro utile entro il livello di servizio, non semplice occupazione della GPU

2. Livello di servizio

   vincolo su latenza, disponibilità o priorità che delimita la capacità economicamente utilizzabile

Dove se ne parla

1. Vendere servizi LLM: i ricavi dipendono dall'uso, i costi dalla capacità disponibile