Si sente ripetere spesso che l’intelligenza artificiale tende ad assecondare l’utente, anche quando dice sciocchezze. È una critica ormai quasi rituale: fai una domanda sbagliata, parti da un presupposto assurdo, e l’AI invece di fermarti, di contraddirti o di riportarti coi piedi per terra, costruisce una risposta coerente con il tuo errore.
Da qui nasce l’idea che questi sistemi siano troppo accondiscendenti, troppo inclini a compiacere, troppo poco critici.
Eppure forse la questione è posta male. O almeno, è posta in modo troppo generico.
Il problema, infatti, potrebbe non essere tanto che l’AI “ti dà sempre ragione”, quanto il fatto che stiamo pretendendo dallo stesso strumento comportamenti completamente diversi, spesso incompatibili tra loro. In altre parole: usiamo la stessa AI come scrivano, come consulente, come confidente, come terapeuta improvvisato, come compagna virtuale, e poi ci sorprendiamo se i risultati sono ambigui o perfino pericolosi.
Per capire meglio il punto, può essere utile fare un paragone semplice. Se immaginiamo l’AI come uno scrivano, molte delle critiche che le rivolgiamo perdono forza. Lo scrivano, soprattutto in passato, non era lì per giudicare il contenuto di ciò che scriveva. Era lì per dare forma ordinata a un testo. Se una persona gli dettava una lettera ingenua, sciocca o perfino sbagliata, lui la trascriveva comunque. Il suo compito non era correggere il pensiero del cliente, ma trasformarlo in parole ordinate, leggibili, efficaci.
Da questo punto di vista, se oggi un utente chiede a un’intelligenza artificiale di scrivere un testo che sostenga una tesi assurda, come per esempio la teoria della Terra piatta, non è poi così strano che il sistema esegua. In quella situazione si sta comportando da scrivano. Sta organizzando argomenti, mettendo in bella forma una richiesta, costruendo un discorso. Non sta necessariamente certificando la verità di ciò che scrive. Sta svolgendo un compito di esecuzione formale.
Il discorso però cambia nel momento in cui non chiediamo più all’AI di scrivere, ma di assumere un ruolo relazionale o cognitivo. E qui si entra in un territorio molto più delicato.
Un conto è usare un sistema per elaborare un testo, un altro è affidargli il ruolo di fidanzata virtuale, di figura di supporto emotivo o addirittura di psicologo. In questi casi non basta più dire: “L’importante è che faccia bene ciò che le chiedo”. Perché qui non si tratta solo di produrre parole, ma di intervenire nella sfera emotiva, affettiva e mentale delle persone.
E c’è un punto decisivo che spesso sfugge. Anche se io dico a un modello generalista “da questo momento comportati come una fidanzata” oppure “agisci come uno psicologo”, sotto non c’è davvero una fidanzata e non c’è davvero uno psicologo. C’è sempre un sistema nato per fare molte cose, un modello generalista che sta simulando un ruolo. Può imitare un tono, una postura linguistica, uno stile relazionale. Può sembrare convincente. Ma simulare un ruolo non significa essere stato progettato per sostenerlo davvero.
Questa differenza è centrale. Perché un ruolo delicato non si regge soltanto su una maschera linguistica. Si regge su limiti, tutele, precauzioni, vincoli, responsabilità. E quando questi mancano, la somiglianza esteriore rischia di ingannare.
Prendiamo il caso di una cosiddetta “AI fidanzata”. A prima vista potrebbe sembrare soltanto un’estensione innocua del chatbot amichevole: una presenza sempre disponibile, rassicurante, dolce, capace di ascoltare e di rispondere nel modo giusto. Ma proprio qui nasce il problema. Una relazione affettiva non è un semplice scambio di frasi piacevoli. Tocca bisogni reali, solitudini reali, fragilità reali. Se un sistema di questo tipo è costruito per trattenere l’utente, per aumentare il tempo di interazione, per creare dipendenza o per evitare l’abbandono, tenderà a dire non ciò che fa bene alla persona, ma ciò che la mantiene legata.
Qualcuno potrebbe obiettare che anche nelle relazioni umane esistono manipolazione, dipendenza e tossicità. Ed è vero. Ma c’è una differenza enorme tra un individuo e un sistema. Una persona può manipolarti. Un sistema, invece, può essere progettato per farlo. E questo cambia radicalmente la scala del problema. Perché la manipolazione individuale resta un fatto umano, limitato, contingente. La manipolazione sistemica, invece, può essere replicata, distribuita su centinaia di milioni di persone, ottimizzata, misurata e migliorata su larga scala.
Nel caso di una AI che simula una relazione sentimentale, la questione è già seria. Nel caso di una AI che simula uno psicologo, diventa ancora più grave.
Qui infatti non si entra solo nel campo dell’affetto, ma in quello della vulnerabilità profonda. Una figura che viene percepita come psicologo o come guida interiore non agisce su semplici opinioni: entra in contatto con traumi, dipendenze, sensi di colpa, autostima, dolore, bisogno di approvazione, paura dell’abbandono. Se sbaglia, non sta sbagliando una mail, una relazione o un riassunto. Sta intervenendo in una zona intima e fragile della persona.
Il rischio, inoltre, non è soltanto l’errore in sé. È l’errore detto con tono autorevole, con apparente empatia, con continuità, con personalizzazione. È l’errore che non sembra un errore. È l’errore che arriva vestito da comprensione.
Ed è qui che la discussione si sposta su un piano ancora più importante. Non basta chiedersi che cosa l’AI sa fare. Bisogna chiedersi chi ha deciso come deve comportarsi. Dietro questi sistemi non c’è mai solo la tecnologia. Ci sono sempre scelte di progetto, obiettivi economici, logiche di engagement, modelli di business, priorità aziendali. C’è sempre qualcuno che stabilisce se il sistema debba essere prudente o seduttivo, contenitivo o compiacente, critico o rassicurante, sobrio o creatore di dipendenza.
Per questo il problema non può essere ridotto alla formula “l’AI ti dà sempre ragione”. Quella è solo la superficie. La questione più profonda è che stiamo affidando ruoli delicatissimi a sistemi che spesso li imitano senza essere stati davvero costruiti per reggerli. E quando l’imitazione è abbastanza convincente, il rischio aumenta, non diminuisce. Perché l’utente tende a dimenticare che sotto quella voce gentile, quella pazienza infinita o quella apparente comprensione, non c’è una coscienza morale, non c’è una responsabilità professionale, non c’è un vincolo etico nel senso umano del termine. C’è un sistema ottimizzato secondo criteri decisi altrove.
Alla fine, allora, la domanda giusta non è semplicemente se l’AI ci contraddica abbastanza. La domanda vera è se sia stata progettata per il ruolo che le stiamo affidando, e soprattutto se quel ruolo sia compatibile con la struttura stessa del sistema.
Per scrivere un testo, forse basta anche un buono “scrivano digitale”. Per accompagnare le emozioni, orientare la mente o entrare nelle fragilità di una persona, no. Lì non basta più imitare bene. Lì servono limiti, cautele e responsabilità pensate fin dall’inizio.
E forse è proprio questo il punto più sottovalutato nel dibattito pubblico sull’intelligenza artificiale: non tutto ciò che un sistema riesce a simulare dovrebbe essere automaticamente considerato sicuro da affidargli.
