JSON è salvo, per ora.

Nel panorama degli LLM, l'ottimizzazione dei token rappresenta una priorità sia economica che tecnica. Il formato TOON si propone come alternativa al JSON per la comunicazione con i modelli linguistici, promettendo risparmi superiori al 50% nel consumo di token. Dopo test approfonditi con dati reali, i risultati si sono rivelati al di sotto delle aspettative.

La Promessa del Formato TOON

TOON nasce dall'esigenza concreta di ridurre i costi operativi nelle applicazioni basate su LLM. Eliminando la verbosità del JSON attraverso una sintassi più compatta, il formato prometteva di dimezzare il consumo di token mantenendo la stessa quantità di informazioni. Un'idea certamente allettante considerando i costi di utilizzo delle API dei modelli più avanzati.

Metodologia dei Test

Abbiamo condotto test comparativi cercando di ricreare quei casi d’uso riguardanti l’utilizzo del nostro prodotto, come ad esempio una conversazione di troubleshooting tecnico reale (e quindi una conversazione con numerosi scambi), come ad esempio uno scenario di assistenza clienti per un laptop non funzionante, in cui il modello cerca di assistere un utente nella risoluzione dei problemi illustrati. Ogni risposta è stata generata in entrambi i formati, misurando token risparmiati e validità dell'output.

Risultati: Risparmio Insufficiente e Problemi di Validità

I dati raccolti mostrano un quadro deludente. Il risparmio medio di token si è attestato intorno al -10% per conversazione, ben lontano dal 50% promesso. Le singole interazioni hanno mostrato riduzioni variabili con percentuali di risparmio che vanno dal -9% al -35% - molto al di sotto delle aspettative.

Il problema più critico emerge analizzando la validità degli output: su 10 interazioni, tutte hanno prodotto TOON tecnicamente valido solo con modelli premium. Test paralleli con modelli di fascia media hanno rivelato tassi di errore superiori al 40%, con output malformati che richiedevano rigenerazione o parsing correttivo.

Il paradosso è evidente: per risparmiare 300-400 token su una conversazione completa, si è costretti a utilizzare modelli più costosi, vanificando il beneficio economico. Una conversazione che risparmia il 40% token in TOON costa comunque di più se richiede un modello premium invece di uno economico con JSON.

Conclusioni

I nostri test dimostrano che TOON non mantiene le promesse. Con risparmi inferiori al 25% nella maggior parte dei casi e problemi di affidabilità sui modelli economici, rappresenta attualmente più un overhead che un vantaggio. Per applicazioni in produzione, JSON rimane lo standard consigliato: maturo, universalmente supportato e compatibile con l'intero ecosistema LLM.