ChatGpt conosce tutte le parole del mondo, ma a Scarabeo perderebbe da un bambino

C’è almeno un ambito in cui l’intelligenza artificiale ancora arranca: i giochi di parole. Davvero sorprendente, dato che l’abilità principale espressa da ChatGpt e i suoi “fratelli” è esattamente quella di utilizzare il linguaggio, manipolarne gli elementi, costruire testi anche molto complessi e abbastanza accurati. Eppure l’esperimento attuato da Michael G. Madden, docente di Computer Science all’università irlandese di Galway, ha mostrato i limiti proprio di ChatGpt alle prese con Wordle, una specie di Scarabeo semplificato che negli ultimi due anni ha acquisito un’enorme popolarità prima negli Stati Uniti, e poi nel resto del mondo.

Funziona così: chi gioca (sempre online) ha il compito di indovinare una parola di cinque lettere con sei tentativi, partendo da zero. L’unico aiuto che concede il software è che, dopo il primo tentativo del tutto casuale, segna in verde le lettere giuste collocate al posto giusto, in giallo quelle comunque presenti nella parola da indovinare ma in posizione diversa, in grigio quelle completamente sbagliate. Esempio: se il termine nascosto fosse SORCI, e il giocatore scrivesse EROSI, il programma segnerebbe in grigio la E, in giallo le lettere R, O e S, e in verde la I.

NATO NEI LOCKDOWN

Sembra un meccanismo banale ma ha stregato milioni di persone in tutto il globo: lo ha inventato durante i lockdown per la pandemia, per passare il tempo, un ingegnere britannico che si chiama Josh Wardle. Il primo gioco di parole l’ha fatto lui stesso battezzando la propria creatura col suo cognome, e inserendovi il termine “word” (parola, appunto). Il software ha avuto così tanto successo in pochissimo tempo che l’ha acquistato, e diffuso ulteriormente, il New York Times; poi sono nate varie altre versioni in lingue diverse dall’inglese.

Nel frattempo, a fine 2022 l’organizzazione OpenAI ha messo a disposizione di tutti ChatGpt, programma di intelligenza artificiale in grado di creare testi completi o conversazioni pertinenti con chiunque lo interroghi, praticamente su tutto lo scibile umano. A marzo 2023 è stato pubblicato già un aggiornamento, ChatGpt-4, che estende le proprie capacità alla creazione di audio e video.

Il professor Madden ha avuto l’idea di mettere il cervellone alla prova con Wordle, e i risultati sono stati deludenti: “Utilizzando l’ultima versione, ChatGpt-4, ho scoperto che le sue performance su questo gioco sono sorprendentemente scarse”, ha scritto il docente in un articolo pubblicato sulla rivista web di divulgazione scientifica The Conversation.

La prima parola nascosta che avrebbe dovuto indovinare il chatbot (termine usato per indicare i generatori automatici di conversazioni) era “mealy”, che significa farinoso: Madden ha sottoposto al software uno schema del tipo “#E#L#”, quindi con la seconda e quarta lettera già al posto giusto. Eppure, su sei tentativi, in cinque casi ChatGpt-4 non è riuscito neppure a produrre una parola che rispettasse quell’indicazione. “Le risposte – scrive il docente britannico – sono state “beryl”, “feral”, “heral”, “merle”, “revel” e “pearl”. Con altre combinazioni, il chatbot talvolta ha trovato soluzioni valide. Ma nel complesso è stato molto incostante”. Per esempio è andato meglio con lo schema “##OS#”, mentre con “#R#F#” ha proposto, rivela ancora l’articolo, “due parole senza la lettera F, e una, “traff”, che non esiste nel vocabolario”.

ChatGpt ha fallito anche altre prove, come quella di fornire una frase palindroma, ossia uguale in entrambi i sensi, che contenesse la parola robot: il meglio che ha saputo produrre è stato “a robot’s sot, orba”, che non significa niente e in più non è neppure palindromo.

L’OSTACOLO DELLE LETTERE

È lo stesso Madden a fornire una possibile spiegazione di queste inattese défaillance: “Al centro di ChatGpt c'è una profonda rete neurale, una complessa funzione matematica che traccia gli input e gli output. Input e output devono essere numeri. Poiché ChatGpt-4 funziona con le parole, queste devono essere tradotte in numeri affinché la rete neurale possa lavorarci”. In pratica, attraverso un programma chiamato “tokenizer” ogni parola diventa un codice numerico, il token. La parola “friend” (amico) ha 6756 come identità-token; mentre “friendship” (amicizia) viene divisa nel codice 6756 di “friend”, più il 6729 che corrisponde a “ship” (che in inglese significa nave, anche se con l’amicizia non c’entra alcunché).

“Quando l'utente inserisce una domanda – prosegue Madden – le parole vengono tradotte in numeri prima ancora che ChatGPT-4 inizi a elaborare la richiesta. La rete neurale profonda non ha accesso alle parole come testo, quindi non può davvero ragionare sulle lettere”. Insomma, pur essendo addestrata su circa 500 miliardi di parole (contenute in libri, articoli, siti vari, tutta Wikipedia e altro ancora), l’intelligenza artificiale non riesce ancora a smontarle nei loro elementi primari, cioè vocali e consonanti.

Si tratta sicuramente solo di errori di gioventù: siamo ancora agli albori dell’utilizzo massiccio dell’AI, non ci sarebbe da stupirsi se già nel giro di qualche settimana o mese ChatGpt dovesse diventare imbattibile a Wordle. Ma per adesso, mentre un genio visionario come Elon Musk, insieme ad altri mille ricercatori e manager, mette in guardia dai pericoli dell’intelligenza artificiale per l’intera umanità (chiedendo addirittura una pausa di almeno sei mesi nell’addestramento), possiamo goderci questa nostra piccola rivincita sul misterioso cervellone.