Tema

I concettimercatoNel grafoNell'analisi

Strato di esecuzione dei modelli

servizio che esegue un modello in locale o nel cloud

Si lega a

usa un motore di esecuzione e separa il luogo dell'esecuzione dall'accesso offerto dal distributore API o dall'intermediario applicativo

Da qui ci si arriva

  1. Distributore API

    strato che offre un accesso uniforme a più modelli o fornitori

  2. Intermediario applicativo

    servizio che incorpora l'accesso ai modelli in un ambiente di lavoro o in un processo

Dove se ne parla

  1. Vendere servizi LLM: i ricavi dipendono dall'uso, i costi dalla capacità disponibile