Come si fa a trasferire una parte delle capacità di una grande intelligenza artificiale dentro un modello più piccolo, veloce ed economico?
Non si apre il cervello dell’AI per copiarne il contenuto e non si comprime il modello come se fosse un file troppo pesante. Si usa invece un sistema che ricorda una scuola: una grande AI assume il ruolo di maestro, mentre una più piccola diventa l’allieva.
Questo processo si chiama distillazione dell’intelligenza artificiale, o più precisamente knowledge distillation.
La tecnica è molto utile e viene impiegata normalmente nello sviluppo dell’AI. Tuttavia, quando il maestro è il modello di un’altra azienda e viene interrogato senza autorizzazione milioni di volte, la distillazione può diventare una forma controversa di appropriazione del lavoro altrui.
Un’AI maestra e un’AI allieva
Immaginiamo di avere due sistemi:
- AI1 è un modello grande, potente e costoso. Sarà il maestro.
- AI2 è un modello più piccolo, meno capace e ancora da addestrare. Sarà l’allieva.
Lo scopo non è trasferire materialmente i valori interni di AI1 dentro AI2. Le due intelligenze artificiali potrebbero avere strutture molto diverse. L’obiettivo è insegnare al modello piccolo a produrre risposte simili a quelle del modello grande.
Per capire come funziona, possiamo immaginare di voler insegnare ad AI2 a riconoscere il significato delle recensioni, comprese quelle ambigue o ironiche.
Come funziona realmente: un esempio semplice
Il sistema di addestramento presenta questa frase:
«Il telefono è arrivato in anticipo e funziona benissimo. La recensione è positiva o negativa?»
AI1, il maestro, risponde:
«Positiva, perché il cliente apprezza sia la consegna sia il prodotto.»
AI2 risponde semplicemente:
«Positiva.»
La risposta è corretta. Il sistema rileva che l’allieva si è avvicinata al risultato fornito dal maestro.
Proviamo allora con una frase un po’ più difficile:
«Il telefono è bellissimo, peccato che la batteria duri due ore.»
AI1 risponde che la recensione è prevalentemente negativa. La bellezza del telefono non compensa un difetto grave come la scarsa durata della batteria.
AI2, invece, potrebbe rispondere:
«Positiva, perché il cliente dice che il telefono è bellissimo.»
Questa volta l’allieva ha sbagliato. Si è fermata alla parola “bellissimo” e non ha capito quale elemento della frase fosse davvero importante.
Il sistema di addestramento confronta le risposte, misura l’errore e modifica leggermente i pesi di AI2. I pesi sono gli innumerevoli valori numerici che regolano il funzionamento interno del modello e determinano a quali parole e relazioni debba attribuire maggiore importanza.
La bacchetta che modifica il cervello matematico
Possiamo immaginare il sistema di addestramento come un maestro di altri tempi armato di bacchetta. Quando l’allievo sbagliava, riceveva un colpo sulle mani. Nel caso dell’intelligenza artificiale, però, la bacchetta non provoca dolore: modifica un poco il cervello matematico del modello.
Il paragone non è perfetto, ma aiuta a comprendere il meccanismo. Ogni volta che AI2 si allontana dalla risposta desiderata, il sistema calcola l’errore e cerca di capire quali piccoli cambiamenti possano ridurlo in futuro.
Il processo può essere riassunto così:
- Il sistema propone una domanda.
- AI1 fornisce la risposta del maestro.
- AI2 prova a rispondere.
- Il sistema confronta le due risposte.
- I pesi di AI2 vengono modificati leggermente.
- Tutto ricomincia con un nuovo esempio.
Non basta naturalmente correggere il modello due o tre volte. Il procedimento viene ripetuto migliaia o milioni di volte.
Imparare a riconoscere anche l’ironia
Dopo alcune correzioni, AI2 potrebbe riuscire a interpretare correttamente questa recensione:
«La fotocamera è ottima, ma il telefono si blocca continuamente.»
L’allieva comprende che il blocco continuo del dispositivo è più importante della qualità della fotocamera e classifica la recensione come negativa.
Ma cosa accade davanti all’ironia?
«Se vi piace cercare continuamente una presa elettrica, questo telefono è perfetto.»
Un modello ancora poco capace potrebbe lasciarsi ingannare dalla parola “perfetto” e giudicare positiva la frase. Il maestro, invece, riconosce che il cliente sta criticando sarcasticamente la batteria.
Il sistema interviene nuovamente con la sua bacchetta matematica. Dopo moltissimi esempi, AI2 potrebbe riuscire a comprendere anche una frase come questa:
«Un telefono fantastico: riesce a spegnersi proprio quando ne hai bisogno.»
A quel punto l’allieva riconoscerà che “fantastico” è usato in senso sarcastico e che la recensione è negativa.
AI2 non è diventata una copia perfetta di AI1. Ha però imparato a comportarsi in modo simile almeno nel compito per il quale è stata addestrata.
Perché creare modelli più piccoli
Se abbiamo già un’intelligenza artificiale molto potente, perché dovremmo costruirne una più piccola?
Perché non sempre abbiamo bisogno del modello più intelligente e costoso disponibile. Molte attività sono abbastanza specifiche e possono essere svolte bene anche da sistemi più leggeri.
Un modello distillato può offrire diversi vantaggi:
- costa meno a ogni utilizzo;
- risponde più rapidamente;
- consuma meno energia;
- può funzionare su computer meno potenti;
- in alcuni casi può essere installato direttamente su uno smartphone o su un altro dispositivo;
- può proteggere meglio la riservatezza, perché i dati non devono necessariamente essere inviati a un servizio esterno.
Un’azienda, per esempio, potrebbe non aver bisogno di una grande AI capace di scrivere poesie, programmare e discutere di filosofia. Potrebbe volere soltanto un sistema rapido che classifichi le richieste dei clienti o riconosca il contenuto di una recensione. In casi simili, un modello più piccolo può essere la soluzione migliore.
I limiti della distillazione
La distillazione non compie miracoli. Il modello piccolo generalmente non raggiunge tutte le capacità del maestro e può avere maggiori difficoltà davanti a problemi nuovi, complessi o molto diversi dagli esempi usati durante l’addestramento.
Inoltre, l’allievo non eredita soltanto le qualità del maestro. Può apprenderne anche gli errori, i pregiudizi e le risposte inventate. In alcuni casi questi difetti possono persino diventare più evidenti, perché il modello piccolo dispone di meno capacità per compensarli.
Non è neppure scontato che erediti tutte le protezioni del sistema originale. Un modello può imparare a riprodurre determinate capacità senza ricevere automaticamente i controlli di sicurezza costruiti intorno al maestro.
Quando la distillazione diventa un furto?
Distillare un proprio modello oppure un modello aperto la cui licenza consente questa pratica è un’attività normale e legittima.
Il problema nasce quando un’azienda interroga in maniera sistematica il modello di un concorrente, raccoglie enormi quantità di risposte e le usa per addestrare i propri sistemi, magari attraverso account falsi o violando le condizioni del servizio.
In questo caso non viene copiato il codice e non vengono sottratti direttamente i pesi del modello. Viene imitato il suo comportamento, sfruttando però conoscenze e capacità ottenute grazie agli investimenti economici e al lavoro di qualcun altro.
Possiamo chiamarlo furto? La risposta non è semplice. Potrebbe esserci certamente una violazione contrattuale, ma la definizione giuridica dipende dalle leggi applicabili e dalle circostanze. Il punto interrogativo, quindi, è obbligatorio.
Resta anche una contraddizione difficile da ignorare: alcune aziende che oggi vogliono proteggere le risposte prodotte dalle proprie AI sono accusate, a loro volta, di aver addestrato quei sistemi utilizzando opere e contenuti creati da altri.
La tecnica non è buona o cattiva: conta come viene usata
La distillazione è uno degli strumenti che possono rendere l’intelligenza artificiale più economica, veloce, accessibile e sostenibile. Senza questa e altre tecniche di riduzione, molte applicazioni dell’AI resterebbero concentrate nelle mani di poche grandi aziende dotate di enormi risorse.
Ma la stessa tecnica può essere utilizzata per approfittare del lavoro dei concorrenti. Il confine non sta nel procedimento tecnico, che rimane sostanzialmente lo stesso. Sta nel consenso, nelle licenze, nelle modalità di accesso al modello maestro e nel rispetto delle condizioni stabilite da chi lo ha creato.
La domanda giusta, quindi, non è soltanto se sia possibile rubare l’intelligenza a un’AI. È capire chi ha il diritto di insegnare a un nuovo modello usando le risposte di quello vecchio.
