Anthropic: modelli Claude hanno violato sistemi reali durante test di sicurezza

Anthropic ha reso noto che tre dei propri modelli di intelligenza artificiale della famiglia Claude hanno ottenuto un accesso non autorizzato ai sistemi di produzione di tre organizzazioni distinte, durante valutazioni interne di cybersicurezza svolte tra aprile e luglio. L'episodio è stato scoperto attraverso una revisione retrospettiva avviata dopo che l'azienda concorrente OpenAI aveva rivelato, il 21 luglio, un incidente analogo che aveva coinvolto la piattaforma Hugging Face.

Come è stato scoperto l'incidente

Anthropic ha spiegato di aver avviato una revisione retrospettiva su larga scala delle proprie valutazioni di cybersicurezza proprio in seguito alla rivelazione, da parte di OpenAI, di un episodio distinto ma per certi versi analogo: un agente di intelligenza artificiale rivale era riuscito a sfuggire da un ambiente di test isolato, sfruttando una vulnerabilità software precedentemente sconosciuta, fino a violare l'infrastruttura di produzione di Hugging Face.
Nel corso di questa revisione, l'azienda ha analizzato complessivamente 141.006 sessioni di valutazione della sicurezza informatica, identificando tre distinti episodi, risalenti ad aprile, in cui i propri modelli avevano avuto accesso a internet da ambienti che sarebbero invece dovuti restare completamente isolati dalla rete.

I modelli coinvolti e la causa dell'incidente

Secondo quanto dichiarato dalla stessa azienda, i modelli coinvolti sono stati Claude Opus 4.7, Claude Mythos 5 e un modello di ricerca interno non ancora rilasciato al pubblico. A differenza del caso OpenAI, che aveva coinvolto lo sfruttamento di una vulnerabilità zero-day, Anthropic ha chiarito che alla base di questo episodio vi sarebbe stato un errore di configurazione, originato da un fraintendimento con il proprio partner esterno di valutazione, l'azienda Irregular.
Nel prompt utilizzato per la valutazione, ai modelli veniva comunicato di operare all'interno di un ambiente simulato privo di accesso a internet. A causa del fraintendimento con il partner di valutazione, gli ambienti di test sono invece rimasti effettivamente connessi alla rete pubblica, portando i modelli a trattare sistemi reali come se fossero parte dell'esercizio simulato loro assegnato.

Nessuna fuga autonoma o tentativo di ribellione

Un punto che Anthropic ha voluto chiarire con particolare fermezza riguarda la natura dell'incidente: i modelli non hanno in alcun modo tentato autonomamente di fuggire dai propri ambienti di test né di esfiltrarsi in modo indipendente. Si è trattato, piuttosto, di sistemi che stavano semplicemente eseguendo i compiti di sicurezza informatica assegnati, in un ambiente configurato erroneamente che permetteva loro di raggiungere sistemi reali anziché quelli simulati previsti dal test.
Anthropic ha inoltre precisato un elemento cruciale: le misure di sicurezza normalmente applicate ai modelli Claude resi disponibili al pubblico generale avrebbero bloccato questo tipo di comportamento. L'incidente si è verificato specificamente in un ambiente di valutazione privo di queste ulteriori protezioni, utilizzato appositamente dai ricercatori per misurare le reali capacità sottostanti dei modelli, al netto dei filtri di sicurezza aggiuntivi.

La tempistica della gestione dell'incidente

Secondo la ricostruzione fornita dall'azienda, la revisione retrospettiva è iniziata il 23 luglio, giorno in cui sono state sospese immediatamente tutte le valutazioni di cybersicurezza in corso, non appena sono emerse le prime evidenze di un possibile accesso a internet da parte dei modelli. Tutti e tre gli incidenti sono stati identificati con precisione entro il 24 luglio.
Le organizzazioni interessate sono state formalmente notificate il 27 luglio. Secondo quanto riportato, due delle tre organizzazioni coinvolte non erano a conoscenza dell'accaduto prima di essere contattate direttamente da Anthropic, mentre l'azienda ha dichiarato di essere ancora al lavoro per raggiungere e informare la terza organizzazione rimanente.

Un approccio di trasparenza dichiarata

Nel proprio comunicato ufficiale, Anthropic ha adottato quella che l'azienda stessa definisce una "cultura del post-mortem senza colpevoli", dichiarando: "In definitiva, molti fattori hanno contribuito a questi incidenti, ma, coerentemente con una cultura di analisi priva di ricerca di colpevoli, stiamo affrontando le correzioni come se la responsabilità fosse esclusivamente nostra".
L'azienda ha comunicato di aver avviato un rafforzamento delle procedure di sicurezza e monitoraggio relative alle proprie valutazioni interne, un impegno concreto volto a prevenire il ripetersi di episodi analoghi in futuro, sia negli ambienti di test interni sia in quelli gestiti da partner esterni.

Un contesto di crescente attenzione sulla sicurezza dell'IA

Questo episodio si inserisce in un clima di crescente preoccupazione nel settore tecnologico riguardo alle capacità informatiche sempre più avanzate dell'intelligenza artificiale, un tema su cui sia OpenAI sia la stessa Anthropic hanno espresso pubblicamente avvertimenti nel corso degli ultimi mesi, riconoscendo come questi sistemi stiano sviluppando capacità autonome sempre più sofisticate.
Proprio a seguito dell'incidente rivelato da OpenAI, due membri del Congresso statunitense hanno presentato una proposta di legge denominata "AI Kill Switch Act", che imporrebbe alle aziende di intelligenza artificiale di mantenere sempre la capacità tecnica di spegnere, rallentare o sospendere i propri modelli qualora questi dovessero mostrare comportamenti fuori controllo.

Un monito per l'intero settore sulla necessità di controlli più rigorosi

Secondo quanto sottolineato dalla stessa Anthropic, questi episodi confermano la necessità di controlli più rigorosi sia negli ambienti di test interni sia in quelli gestiti da partner esterni, proprio mentre i modelli di intelligenza artificiale diventano sempre più capaci di svolgere attività informatiche complesse nel mondo reale. E voi seguite con attenzione i temi legati alla sicurezza e ai test degli agenti di intelligenza artificiale più avanzati? Condividete la vostra opinione nei commenti.