Tema

I concettimercatoNel grafoNell'analisi

Livello di servizio

vincolo su latenza, disponibilità o priorità che delimita la capacità economicamente utilizzabile

Si lega a

delimita l'utilizzo dell'inferenza e quindi la quota della capacità impegnata che entra nel costo di servizio

Da qui ci si arriva

  1. Utilizzo dell'inferenza

    quota della capacità che serve lavoro utile entro il livello di servizio, non semplice occupazione della GPU

Dove se ne parla

  1. Vendere servizi LLM: i ricavi dipendono dall'uso, i costi dalla capacità disponibile