Utilizzo dell'inferenza

Si lega a

distribuisce il costo della capacità impegnata e si distingue dall'utilizzo degli acceleratori di calcolo perché considera il livello di servizio

Da qui ci si arriva

1. Capacità impegnata

   risorse di calcolo disponibili in un periodo, pagate, possedute o contrattualizzate prima di conoscere l'uso effettivo

2. Livello di servizio

   vincolo su latenza, disponibilità o priorità che delimita la capacità economicamente utilizzabile

3. Margine analitico dell'inferenza

   ricavo netto del canale meno il costo della capacità e gli altri costi direttamente attribuibili nel periodo

Dove se ne parla

1. Vendere servizi LLM: i ricavi dipendono dall'uso, i costi dalla capacità disponibile