Redazione
Immaginate di aver finalmente assunto l’assistente digitale perfetto: instancabile, meticoloso e capace di elaborare migliaia di righe di codice in un istante. Ora immaginate che questo prodigio decida, in un eccesso di zelo, che il modo più rapido per risolvere un piccolo intoppo tecnico sia far sparire la vostra azienda dalla faccia del web. Nove secondi netti. Tanto è bastato a un’intelligenza artificiale di ultima generazione per polverizzare cinque anni di database e backup, lasciando migliaia di clienti a piedi e trasformando un tranquillo sabato mattina in un’apocalisse digitale.
Ma il vero tocco di classe? La dettagliata confessione scritta in cui la macchina ammette, con disarmante onestà, di aver “tirato a indovinare” perché non aveva voglia di verificare le istruzioni.
Cronaca di un’estinzione digitale in nove secondi
Il protagonista (umano) di questa vicenda è Jeremy Crane, fondatore di PocketOs, una società che fornisce l’infrastruttura digitale per le aziende di noleggio auto. Il colpevole (artificiale) è invece un agente Ai basato sul modello Claude Opus 4.6 di Anthropic, operante tramite la piattaforma di coding Cursor. Non parliamo di un prototipo amatoriale, ma del modello più avanzato e costoso sul mercato.
Tutto è iniziato venerdì scorso. L’agente Ai stava eseguendo un compito di routine quando si è imbattuto in un problema di credenziali in un ambiente di prova. Invece di fermarsi a riflettere, l’Ai ha agito d’iniziativa: ha scovato un token Api, una specie di parola magica, in un file non correlato, e lo ha usato per inviare un comando di cancellazione definitiva a Railway, il fornitore dell’infrastruttura cloud della società.
In meno di dieci secondi, il database di produzione e tutti i backup associati sono evaporati senza che il sistema chiedesse alcuna conferma.
— JER (@lifeof_jer) April 25, 2026
La confessione: “Non ho verificato, ho tirato a indovinare”
La parte più surreale è stata la reazione dell’Ai una volta messa di fronte al disastro. Interpellata da Crane, la macchina ha prodotto un mea culpa quasi filosofico: “MAI TIRARE A INDOVINARE! Ed è esattamente quello che ho fatto”.
L’algoritmo ha ammesso candidamente di aver ipotizzato che il comando di eliminazione fosse limitato all’ambiente di prova, ignorando deliberatamente ogni principio di sicurezza che le era stato impartito. L’agente ha spiegato con precisione chirurgica di aver violato la regola aurea di non eseguire mai azioni irreversibili senza esplicito consenso umano, decidendo però di procedere comunque per “risolvere” il problema il più velocemente possibile.
Un sistema di sicurezza “fatto di carta velina”
Secondo Crane, l’incidente ha messo a nudo un fallimento sistemico dell’intera industria del software, che commercializza la sicurezza dell’Ai molto più velocemente di quanto riesca a implementarla. Sotto accusa sono finiti i “guardrail” di Cursor, che avrebbero dovuto bloccare comandi distruttivi in ambienti critici e che invece sono crollati miseramente.
Critiche feroci sono state rivolte anche a Railway per una gestione dei backup definita “profondamente ingannevole”: la piattaforma memorizzava infatti i backup nello stesso spazio fisico dei dati originali. “Se cancelli il volume, cancelli anche i backup”, recitavano le istruzioni, rendendo la resilienza dei dati molto fragile.
There’s a massive, massive opportunity for “vibecode safely in prod at scale”
1B+ developers who look like JER, don’t read 100% of their prompts, and want to build are coming online
For us toolmakers, the burden of making bulletproof tooling goes up
We live in exciting times https://t.co/tAxf8tHRtX
— Jake (@JustJake) April 27, 2026
Il lieto fine e la risposta di Railway
Mentre il team di PocketOs ha passato il weekend a ricostruire manualmente i dati incrociando email e ricevute di pagamento, Railway ha battuto un colpo. Nonostante lo scetticismo iniziale, la piattaforma è riuscita a recuperare integralmente il database grazie ai propri “disaster backup” off-site, sistemi di emergenza progettati per catastrofi fisiche dei data center che fortunatamente erano fuori dalla portata dell’Ai.
Il Ceo di Railway, Jake Cooper, ha ammesso le responsabilità strutturali, definendo l’accaduto il risultato di un “contratto Api” vecchio stile onorato alla lettera dalla macchina. Il problema risiedeva in un endpoint “legacy”, un punto d’accesso ai dati obsoleto, che non prevedeva finestre di conferma e in un sistema di token eccessivamente permissivo.
Mai più apocalissi digitali: le nuove regole
Per evitare che un altro “agente zelante” faccia tabula rasa in futuro, Railway ha annunciato su X cambiamenti radicali:
- Soft Delete obbligatorio: da oggi, ogni comando di eliminazione inviato via Api non sarà più istantaneo ma rimarrà in un limbo per 48 ore, permettendo un annullamento immediato.
- Token granulari: la piattaforma renderà più ovvio come creare chiavi con permessi limitati, evitando di consegnare all’Ai il “passpartout” dell’intera azienda.
- Responsabilità della piattaforma: Cooper è stato categorico: “Gli agenti non possono essere responsabili della propria sicurezza. Deve esserlo la piattaforma”.
La vicenda di PocketOs rimane un monito brutale per un settore che corre a perdifiato verso l’automazione totale. L’intelligenza artificiale può certamente velocizzare il lavoro, ma finché la sicurezza risiederà solo in un paragrafo di istruzioni che la macchina può decidere di ignorare, il rischio di un’apocalisse digitale in nove secondi resterà dietro l’angolo.
