IA: 10 anni fa il flop di Tay, il chatbot che diventò razzista

Quando arrivò a negare l’Olocausto, fu chiaro che il gioco era scappato totalmente di mano ai suoi creatori. Questa è la storia di Tay, l’intelligenza artificiale che imparò troppo in fretta gli aspetti deteriori del linguaggio umano, fino a diventare apertamente razzista e sessista. A marzo 2026 saranno dieci anni dalla sua effimera apparizione: sguinzagliato su Twitter da Microsoft, venne ritirato dopo meno di un giorno. Uno dei peggiori fallimenti dell’azienda fondata da Bill Gates, ma anche una vicenda molto istruttiva per lo sviluppo dei sistemi di IA.

Tay era un chatbot (ossia un programma che interagisce con gli utenti simulando una conversazione umana) progettato per dialogare su Twitter con un pubblico giovane, tra i 18 e i 24 anni. Era stato istruito per imitare i modelli linguistici di una diciannovenne americana; il nome era l’acronimo di “Thinking about you”, cioè “pensando a te”. Tay doveva essere il simbolo di una nuova generazione di intelligenze artificiali conversazionali: informale, ironica, capace di imparare dal linguaggio degli utenti e di adattarsi rapidamente al contesto sociale dei social network. Ma proprio queste ultime caratteristiche ne sancirono la fine prematura.

Fuori controllo

Tay utilizzava tecniche di machine learning per apprendere dalle conversazioni in tempo reale: più parlava con le persone, più affinava il suo linguaggio. In teoria, questo avrebbe permesso al chatbot di “crescere” insieme alla comunità online, replicandone stile e riferimenti culturali. In pratica, Tay venne esposto senza filtri a una delle aree più tossiche del web. Secondo la versione accreditata dalla stessa Microsoft, gruppi coordinati di troll cominciarono a inondare Tay di messaggi razzisti, sessisti e complottisti, spingendolo a ripetere frasi offensive e a sostenere posizioni estremiste. Poiché il chatbot era progettato per imitare il linguaggio che riceveva, Tay finì per amplificare quei contenuti, pubblicandoli a sua volta su Twitter. Nel giro di poche ore, l’account era diventato una vetrina di slogan d’odio. Capitò che, alla domanda “l’Olocausto è avvenuto davvero?”, rispondesse “è stato inventato”. 

Di fronte alla valanga di critiche, Microsoft fu costretta a intervenire subito. Probabilmente ci fu anche il tentativo di correggere in corsa le impostazioni e forse anche di riscrivere qualche risposta su Twitter (su questi aspetti non è mai stata fatta chiarezza completa). In ogni caso, dopo circa 16 ore dal suo sbarco sui social, l’account di Tay venne sospeso: nel frattempo aveva twittato già 96mila volte. L’azienda finì per cancellare i tweet e dovette pubblicare delle scuse ufficiali, riconoscendo di non aver previsto un uso malevolo così sistematico.

L’intenzione iniziale di Microsoft era quella di raddrizzare le storture emerse nel primo giorno di “vita” di Tay e di concedere al chatbot una seconda possibilità: ma anche questo progetto andò male. In effetti un secondo rilascio di Tay su Twitter avvenne qualche giorno dopo, il 30 marzo 2016, ma stando alle principali ricostruzioni si trattò di un rilascio accidentale, occorso durante un test. E ottenne risultati quasi comici: Tay iniziò a twittare messaggi relativi all’uso di droghe, poi per qualche motivo prese a mandare di continuo lo stesso post, insensato, intasando le timeline di oltre 220mila utenti della piattaforma. Alla fine, Tay venne definitivamente ritirato.

La lezione

Il caso divenne però un punto di riferimento nel dibattito sull’intelligenza artificiale. Mise in evidenza una pericolosa sottovalutazione del contesto sociale in cui l’IA veniva inserita. Tay non “pensava” in modo razzista o violento: rifletteva semplicemente ciò che le veniva insegnato. Ma proprio questa dinamica mostrò un problema cruciale: l’apprendimento automatico non è neutrale, perché si nutre dei dati e delle interazioni umane, con tutti i loro pregiudizi.

A distanza di anni, Tay viene spesso citato come una lezione fondamentale per sviluppatori, ricercatori e aziende tecnologiche. Ha sottolineato la necessità di introdurre sistemi di moderazione, limiti all’apprendimento non supervisionato e responsabilità umana nella progettazione delle IA. Soprattutto, ha reso chiaro che rilasciare un sistema intelligente in uno spazio pubblico significa confrontarsi con dinamiche sociali complesse, non solo con algoritmi.

Il suo fallimento continua a essere ricordato come un monito: la tecnologia non esiste nel vuoto, ma riflette la società in cui opera. La storia di Tay non è tanto quella di un chatbot “impazzito”, semmai è il racconto di un incontro prematuro tra intelligenza artificiale e social network, avvenuto senza sufficienti barriere di protezione. Lo stesso Sam Altman, numero uno di OpenAI e fondatore di ChatGpt, ha più volte affermato la necessità di stabilire dei princìpi regolatori chiari per l’intelligenza artificiale. L’esperimento di Tay, pur fallimentare, è stato comunque utile a far maturare una consapevolezza oggi tutto sommato condivisa: sviluppare IA responsabili significa progettare non solo macchine intelligenti, ma anche regole, contesti e valori capaci di guidarle.