Quando la fattura dell’API comincia a fare male, la prima idea è quasi sempre la stessa: montare un modello proprio. A volte è la decisione giusta, ma raramente per le ragioni che si danno, e quasi sempre più tardi di quanto si pensi. La domanda non è quale costi meno per token, ma da quale volume il risparmio copre quello che costa gestirlo.
Che cosa si confronta male
Si confronta il prezzo per milione di token dell’API con il prezzo orario di una GPU, e il self-hosting vince sempre sulla carta. Manca metà dell’equazione: la GPU si paga che sia occupata o no, e il suo costo reale dipende dall’utilizzo. Una GPU all’8% di uso costa dieci volte di più per token della stessa GPU all’80%.
I costi che nessuno somma
| Voce | API | Self-hosting |
|---|---|---|
| Calcolo | Per token consumato | Per ora riservata, usata o no |
| Ingegneria | Quasi nulla | Servire, scalare, aggiornare, sorvegliare |
| Disponibilità | Del fornitore | Tua, reperibilità inclusa |
| Cambio di modello | Una riga di codice | Rivalutare, ritarare, rivalidare |
Quando conviene davvero
Ci sono tre situazioni in cui il self-hosting vince sul serio. La prima è volume alto e stabile: molto traffico e abbastanza piatto, che tiene la GPU occupata quasi sempre. La seconda è un vincolo sui dati che impedisce di farli uscire —normativa, contratto, settore regolamentato— e lì la decisione non è più di costo. La terza è un’attività molto stretta e ripetitiva, dove un modello piccolo messo a punto fa il lavoro di uno grande a una frazione del calcolo.
Quando quasi non conviene mai
Traffico irregolare o a picchi, catalogo di attività vario, o un team senza chi mantenga l’infrastruttura. Se il tuo carico ha lunghi avvallamenti, paghi GPU ferma. E prima di toccare l’infrastruttura conviene esaurire le leve economiche: scegliere bene il modello per attività, il prompt caching e il batch API di solito tagliano di più, e in giorni anziché in mesi.
Come deciderlo con i numeri
Calcola il tuo costo mensile reale in API e confrontalo con il costo delle GPU che ti servirebbero per il tuo picco, non per la tua media. Aggiungi il tempo di ingegneria a prezzo di mercato. Se il risparmio non supera con margine quel totale, non conviene. Mettici delle cifre con il calcolatore di costo dei token e misura sempre in costo per attività, l’unica cosa confrontabile tra le due opzioni.
Domande frequenti
Da quale volume conviene il self-hosting? Non c’è una cifra universale, perché dipende dall’utilizzo, non dal volume. Il segnale è avere traffico sufficiente e stabile per tenere la GPU occupata la maggior parte del tempo; con lunghi avvallamenti, l’API costa meno.
Un modello aperto costa meno di uno a pagamento? Per token di calcolo, sì. Sommando ingegneria, disponibilità e GPU ferma, non sempre. Il confronto onesto è il costo per attività, tutto incluso.
Posso mescolare le due cose? È l’assetto più comune nella pratica: un modello proprio per l’attività ad alto volume e API per il resto. Ripartire per attività di solito batte la scelta di un unico fornitore.
In e-ficient misuriamo il costo per attività di aziende che hanno già l’IA in produzione e ti diciamo quanto risparmieresti con ogni leva al tuo volume reale. Il primo audit è gratuito se attivi un piano con impegno di tre mesi e restituisce una diagnosi in 72 ore.