Si lega a
orienta il costo per token (a servizio) e il dimensionamento sui parametri attivi e totali (a noleggio e in proprio); su macchine proprie chiama in causa il motore di inferenza
Da qui ci si arriva
- Costo per token
Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento
- Capacità impegnata
risorse di calcolo disponibili in un periodo, pagate, possedute o contrattualizzate prima di conoscere l'uso effettivo