I Large Language Models, o LLM, e i sistemi neuromorfici. Scopriremo come questi due approcci differiscono e come potrebbero collaborare.
LLM ( Large Language Models)
I Large Language Models, come GPT-3 o GPT-4, sono reti neurali di grandi dimensioni addestrate a comprendere e generare il linguaggio umano. Questi modelli vengono alimentati con enormi quantità di testo e imparano a prevedere la prossima parola in una frase. Questo consente loro di generare testo coerente e a volte sorprendentemente umano. Gli LLM sono strumenti potenti per numerose applicazioni, dalla generazione di testo alla traduzione automatica, dalla risposta alle domande alla sintesi di testi.
Faccio una premessa, da questo momento userò di chatGPT per indicare tutti gli llm perché immagino che per voi sia molto più semplice far riferimento a un prodotto di cui si è parlato molto ultimamente piuttosto che ad una sigla per addetti ai lavori quale è LLM.
Ho detto che Chatgpt si limita a prevedere la parola successiva in un una frase, ma questo non è esatto perché Chatgpt non lavora utilizzando le parole, ma i token ovvero insiemi di caratteri con cui divide il testo. Per capire esattamente come il testo viene diviso potete andare a questo indirizzo e inserire il testo che preferite.
http://platform.openai.com/tokenizer
Una volta inserito il vostro testo vedrete i vari token indicati con colori diversi
Noi e Chatgpt gestiamo il linguaggio allo stesso modo?
GPT non capisce le cose che scrive ovvero non ha una comprensione profonda del testo. Noi, per esempio, alla parola cane associamo un concetto e quindi nel momento in cui leggiamo cane Immaginiamo un animale con quattro zampe, la forma tipica di un cane, eccetera. Questo per chatGPT è possibile eppure con il suo sistema probabilistico riesce a gestire perfettamente il linguaggio e riesce addirittura a fare cose molto complesse come, ad esempio, le traduzioni.
La tesi di molti è quindi che se noi manipoliamo concetti chatgpt manipola parole (token in realtà).
Questa idea non convince tutti. Siamo proprio sicuri di gestire il linguaggio in modo diverso?
Tutti noi pensiamo che una lingua sia un insieme di regole da conoscere a memoria eppure quando io parlo (e credo sia cosa comune a tutti) non faccio certo l’ analisi logica prima. Quando parliamo gestiamo in automatico il linguaggio. Cosa diversa avviene quando scriviamo, generalmente buttiamo giù il testo e poi dopo andiamo a correggerlo e migliorarlo utilizzando l’analisi grammaticale e quella logica.
Quale genitore insegna ai figli a parlare spiegando le regole? Il bambino ascolta ciò che viene detto (esattamente come fatto da chatgpt durante la fase di addestramento) e poi inizia a parlare senza conoscere alcuna regola gestendo in maniera corretta il linguaggio (dipende anche dalla qualità di ciò che ha ascoltato ovviamente).
Riflettiamo adesso al modo in cui si forma la lingua. Sicuramente non avevamo comunità umane che non comunicavano fino a quando non arrivava qualcuno con un linguaggio pronto fornito di tutte le sue regole. Il linguaggio non si forma a tavolino e questo lo capiamo dalla presenza di eccezioni e di irregolarità, cose talmente costose da gestire che sarebbe stupido inserirle voilontariamente in un linguaggio creato a tavolino.
La presenza delle irregolarità e delle eccezioni ci fa capire che i linguisti sono arrivati in un secondo momento quando la lingua si era già strutturata e dopo hanno cercato di trovare delle regole che spiegassero il funzionamento della lingua che stavano studiando. Essendo una operazione fatta in un secondo momento gli studiosi hanno cercato di incasellare il linguaggio in una serie di regole che però non riuscivano a coprire tutti i casi e per questo hanno risolto le incongruenze indicando come eccezioni o irregolarità ciò che non riuscivano ad incasellare.
In che modo nella preistoria gli esseri umani hanno sviluppato linguaggi Complessi? Sicuramente ci si è dovuti adattare all’interno del villaggio a quanto facevano gli altri (ad esempio se qualcuno avesse indicato un cane con l’insieme di suoni uuu e tutti glia altri con aaa allora quel qualcuno si sarebbe dovuto adattare pena non l’essere capito.) Ma come facevano ad associare un insieme di suoni ad un oggetto in particolare? Non escluderei l’ipotesi probabilistica, ad un suono era più naturale farne seguire un altro che si accordava meglio con il primo e così via.
Il funzionamento di chatgpt non è molto diverso.
Ma allora perché noi riusciamo ad avere una comprensione profonda del testo?
Riflettiamo adesso al modo in cui si forma la lingua. Sicuramente non avevamo comunità umane che non comunicavano fino a quando non arrivava qualcuno con un linguaggio pronto fornito di tutte le sue regole. Il linguaggio non si forma a tavolino e questo lo capiamo dalla presenza di eccezioni e di irregolarità, cose talmente costose da gestire che sarebbe stupido inserirle voilontariamente in un linguaggio creato a tavolino.
La presenza delle irregolarità e delle eccezioni ci fa capire che i linguisti sono arrivati in un secondo momento quando la lingua si era già strutturata e dopo hanno cercato di trovare delle regole che spiegassero il funzionamento della lingua che stavano studiando. Essendo una operazione fatta in un secondo momento gli studiosi hanno cercato di incasellare il linguaggio in una serie di regole che però non riuscivano a coprire tutti i casi e per questo hanno risolto le incongruenze indicando come eccezioni o irregolarità ciò che non riuscivano ad incasellare.
In che modo nella preistoria gli esseri umani hanno sviluppato linguaggi Complessi? Sicuramente ci si è dovuti adattare all’interno del villagio a quanto facevano gli altri (ad esempio se qualcuno avesse indicato un cane con l’insieme di suoni uuu e tutti glia altri con aaa allora quel qualcuno si sarebbe dovuto adattare pena non l’essere capito.) Ma come facevano ad associare un insieme di suoni ad un oggetto in particolare? Non escluderei l’ipotesi probabilistica, ad un suono era più naturale farne seguire un’altro che si accordava meglio con il primo e così via. Il funzionamento di chatgpt non è molto diverso.
In realtà i nostri circuiti cerebrali sono molto specializzati e noi abbiamo dovuto adattare dei circuiti cerebrali capaci di riconoscere le lettere ad esempio. Se fin dall’alba dell’umanità esistevano gli alberi e tra l’altro erano anche importanti per la sopravvivenza è ovvio che nel cervello umano ci siano circuiti da sempre capaci di riconoscere un albero (forse non tutti sappiamo distinguere una quercia da un castagno però che sia un albero lo capiamo). In natura la scrittura non esisteva e per questo la nostra specie ha dovuto attrezzarsi.
Non sarebbe strano se avessimo quindi dei circuiti cerebrali capaci di gestire il linguaggio che passino il risultato del loro lavoro ad altri circuiti cerebrali che invece si occupano della comprensione profonda. Allo stesso modo potrebbe operare chatgpt che si occupa di gestire il testo e predigerirlo per poi passarlo a dei circuiti neuroformici.
Sistemi Neuroformici
Passiamo ora ai sistemi neuromorfici, la vera intelligenza artificiale. Questi non sono solo modelli di software, ma anche hardware progettati per simulare un cervello umano (simulare nel funzionamento non necessariamente nella struttura ). L’idea è di creare sistemi di IA che consumino meno energia e siano più efficienti rispetto alle reti neurali tradizionali avendo osservato che il cervello umano sia paragonabile ad un computer molto efficiente che per funzionare richiede una quantità di energia notevolmente più bassa. Inoltre, i sistemi neuromorfici sono progettati per l’apprendimento online e l’adattamento in tempo reale, proprio come il nostro cervello (si comportano come un bambino curioso). Altro vantaggio è la sua migliore capacità di resistenza ai guasti. questi sistemi inoltre sono pensati sia per avere un apprendimento non supervisionato (e quindi meno costi e impegno) e per avere una comprensione profonda dei dati (se, come abbiamo visto gli LLM gestiscono ottimamente un testo senza realmente capirlo, al contrario i sistemi neuromorfi dovrebbero capire i concetti nascosti dietro alle parole) .
Differenze e Collaborazione
Ora, potrebbe sorgere la domanda: in che modo questi due approcci differiscono e come potrebbero collaborare? Gli LLM operano a livello di software e sono specializzati nella manipolazione del linguaggio. I sistemi neuromorfici, d’altra parte, operano a livello di hardware e cercano di replicare l’efficienza del cervello umano. Potrebbero collaborare in molti modi. Ad esempio, un LLM potrebbe essere eseguito su un sistema neuromorfico per ottenere un’elaborazione del linguaggio naturale più efficiente dal punto di vista energetico. Questo è un campo di ricerca molto attivo, con molte opportunità e sfide.”
Quindi, mentre LLM e i sistemi neuromorfici hanno approcci e obiettivi diversi, entrambi sono fondamentali per il futuro dell’Intelligenza Artificiale. Continueremo a vedere progressi in entrambi i campi.
