Training, Api e costi. Come funziona un modello di Ai che genera testo?

Le risorse hardware impiegate nel training sono notevoli. I moderni modelli AI utilizzano chip specializzati, noti come chip AI, in grado di eseguire operazioni di machine learning (“apprendimento macchina”) in modo più efficiente rispetto ai chip tradizionali. Questi chip possono elaborare molte operazioni in parallelo e quindi accelerano di parecchio il tempo necessario per addestrare i modelli.

Prendiamo Gpt-4, il modello alla base dell’attuale Chatgpt, dell’azienda americana OpenAi. Secondo alcuni recenti, il suo training equivale al consumo energetico annuale di circa 160 famiglie americane; un terzo in più rispetto al modello precedente (Gpt-3). Il costo del training è stimato di alcune decine di milioni di dollari (dieci volte rispetto a Gpt-3), per i chip e l’energia utilizzata, oltre che per i salari degli ingegneri che ci hanno lavorato.

Una volta completato il training, il modello è pronto per la generazione del testo. Quando un utente fornisce un input (un “prompt”), il modello utilizza le informazioni apprese durante il training per generare una risposta coerente e contestualmente rilevante. Questo processo è relativamente meno dispendioso in termini energetici rispetto al training; ad esempio, secondo uno studio dell’anno scorso, generare testo per mille volte consuma solo il 16% dell’energia necessaria per caricare completamente uno smartphone.

Il quadro però sta cambiando: alcuni modelli usciti negli ultimi mesi hanno aumentato molto il costo di generazione perché l’hanno reso più lungo e complesso. Sono i modelli cosiddetti di “ragionamento”, come o1 e o3 di OpenAI. Invece di generare subito una risposta, infatti, valutano diverse opzioni possibili; come se “ci pensassero” bene prima di rispondere.

In generale, è importante notare che l’intero processo che porta alla generazione testo con AI richiede una notevole quantità di energia e risorse hardware. Ne deriva anche un impatto ambientale importante.