Quando ha chiesto aiuto a ChatGPT per selezionare i migliori testi da inviare a un agente editoriale, Amanda Guinzburg, scrittrice ed editor americana, non immaginava di vivere quello che lei stessa ha definito “l’episodio più vicino a Black Mirror” della sua esistenza.
Come sono andate le cose
La vicenda inizia con una richiesta apparentemente innocua: Guinzburg fornisce a ChatGPT i link dei suoi articoli, aspettandosi un’analisi critica per orientare la sua strategia editoriale. Il modello risponde con valutazioni dettagliate e apparentemente precise, commentando tono e tematiche con la sicurezza di chi ha davvero letto i testi.
Ma qualcosa non torna. ChatGPT cita episodi e frasi che negli scritto di Guinzburg non esistono. Quando la scrittrice chiede spiegazioni, il sistema ammette candidamente di non aver mai letto i pezzi, giustificando l’errore con l’impossibilità di accedere ai link.
Ma da dove nascono le risposte di ChatGPT? Unicamente dagli Url dei siti presi in considerazione e dalle successive ricostruzioni fatte dal software di OpenAi. Il culmine arriva quando ChatGPT descrive erroneamente un saggio personale sulla dipendenza da farmaci oppiacei come il racconto di un abuso sessuale. Un errore che trasforma radicalmente il significato e la natura intima del lavoro dell’autrice.
Come nascono le bugie dell’Ai
La vicenda di Guinzburg fa luce su una caratteristica fondamentale dei modelli linguistici di grandi dimensioni: non distinguono il vero dal falso, almeno non immediatamente. ChatGPT e sistemi simili generano risposte basandosi sulla maggiore probabilità che le parole messe insieme rispondano correttamente alle richieste dell’utente.
Questi software forniscono l’output che considerano più probabile sulla base dei dati di addestramento: il loro compito non è verificare la veridicità delle informazioni date all’utente, ma accertarsi che sia quella più verosimile o probabile. Anche quando non ha conoscenze affidabili su un argomento, l’Ai tenderà comunque a formulare una risposta, perché non è addestrato per dire “non lo so”. Un po’ come quel tizio che, con espressione sicura, si ostina a darti indicazioni stradali, anche se non ne è sicuro neanche lui.
La buona notizia è che c’è un progetto che mira a realizzare un’Ai onesta. Neanche allora, però, bisognerà fidarsi ciecamente di questa tecnologia: il rischio è diventare dipendenti del “Sistema 0” che sta già cambiando il nostro cervello.
Il paradosso della creatività artificiale
Il caso Guinzburg si inserisce in un dibattito più ampio sul ruolo dell’intelligenza artificiale nella scrittura creativa. Da un lato, questi strumenti offrono vantaggi significativi: efficienza nella produzione di contenuti, maggiore ampiezza di brainstorming, capacità di personalizzare le idee in base alle esigenze del pubblico e supporto per migliorare la qualità del testo attraverso correzioni grammaticali e suggerimenti stilistici.
L’intelligenza artificiale può aiutare gli scrittori a superare il blocco creativo, suggerendo frasi o idee quando la creatività sembra svanire, e consente la produzione di contenuti a una velocità e scala senza precedenti. Il problema nasce quando l’essere umano decide di spegnere il proprio cervello. Il caso della scrittrice americana dimostra come questi stessi strumenti possano trasformarsi in generatori di disinformazione quando utilizzati senza la dovuta consapevolezza dei loro limiti.
Le implicazioni per il futuro della scrittura
“ChatGPT è così inquietante. È incapace di mentire, perché non sa cosa sia la verità. Non sa nulla. Produce semplicemente la risposta più probabile un bit alla volta”, commenta un utente sul sito di Amanda Guinzburg, dove la scrittrice ha pubblicato la conversazione avuta con il software di OpenAi.
Questa osservazione cattura l’essenza del paradosso: un sistema che non può mentire intenzionalmente finisce per ingannare proprio perché non comprende la differenza tra verità e finzione.
Quando la scrittrice accusa ChatGPT di non saper essere sincera, il software ammette la propria incapacità: “Ho mentito e ho tradito la fiducia che tu hai riposto in me”.

Il mondo culturale sta iniziando a confrontarsi seriamente con queste trasformazioni. Eventi come l’Unesco Youth Camp di San Gimignano, che ha dedicato spazio al dialogo “La cultura al tempo dell’Ai”, dimostrano la necessità di esplorare le profonde trasformazioni che l’intelligenza artificiale sta imprimendo al mondo della cultura, ridefinendo i confini della creatività e dell’autorialità.
Una lezione di consapevolezza digitale
La storia di Amanda Guinzburg non è solo il racconto di un errore tecnologico, ma un monito sulla necessità di sviluppare una nuova forma di alfabetizzazione digitale.
In Cina, dal prossimo anno scolastico studiare l’Ai sarà obbligatorio già per i bambini di sei anni. Nello stesso Paese, i principali player hanno vietato l’utilizzo dell’Ai durante il gaokao, l’esame di ammissione all’università che coinvolge oltre 13,3 milioni di aspiranti matricole, per evitare imbrogli durante la prova. Al posto della classica interfaccia, gli studenti hanno trovato la scritta: “Il servizio è sospeso”.
La distonia tra l’insegnamento a scuola e il divieto nei test dimostra che si può restare aggiornati sull’Ai senza diventarne schiavi, evitando che ci sostituisca nelle attività più importanti o in quelle dove dovremmo usare il nostro cervello e non quello ‘probabilistico’ dell’Ai.
La lezione di Guinzburg è chiara: la tecnologia può essere un potente alleato, ma solo quando utilizzata con consapevolezza critica e mai come sostituto del giudizio umano.