IA, ricercatori indipendenti riescono a violare sistema OpenAI con il rivale Claude

Un gruppo di ricercatori indipendenti di sicurezza informatica è riuscito a utilizzare Claude, il sistema IA di Anthropic, per ottenere accesso all'account ChatGPT di un dipendente di OpenAI e arrivare fino a un archivio privato di software della società. Lo riferisce il Wall Street Journal, al quale i ricercatori hanno raccontato per la prima volta l'operazione.

Cosa è avvenuto? -

 Il gruppo, appartenente alla società di sicurezza Hacktron AI, partecipava a un programma di OpenAI che consente ai ricercatori di cercare vulnerabilità nei sistemi aziendali. Dopo aver individuato il problema, lo ha segnalato immediatamente alla società, che ha pagato una ricompensa di 6.500 dollari.

L'attacco è iniziato il 23 luglio, quando i ricercatori hanno trovato una vulnerabilità nel modo in cui Discourse, il servizio utilizzato per ospitare il forum della comunità OpenAI, gestiva alcuni file immagine. Dopo l'uscita di una nuova versione di Claude, il sistema è riuscito a produrre codice capace di sfruttare la falla.

I ricercatori hanno così ottenuto accesso a un server Discourse e ai token di autenticazione di alcuni utenti. Con loro sorpresa, alcuni di questi token erano validi anche per ChatGPT e appartenevano a dipendenti di OpenAI. Potevano inoltre essere utilizzati per accedere al servizio GitHub della società.

Attraverso ChatGPT, il gruppo è riuscito a leggere file contenuti in un archivio denominato "Monorepo", che secondo persone a conoscenza dell'architettura di OpenAI contiene una parte importante del software utilizzato dalla società, anche se non i pesi dei modelli. I ricercatori hanno interrotto il test quando si sono resi conto di poter accedere a dati sensibili, ma prima hanno inviato una "pull request", cioè una proposta di modifica a un file di documentazione, come prova dell'accesso ottenuto. La modifica non è stata accettata.

C'è il lieto fine -

 OpenAI ha affermato che i ricercatori hanno individuato due problemi, uno relativo a Discourse e uno alla società stessa, entrambi successivamente risolti. "Ringraziamo i ricercatori per averci contattato e condiviso i risultati", ha dichiarato OpenAI, precisando di aver limitato i permessi dei token e revocato quelli interessati.

Dopo questo episodio e un precedente attacco contro Hugging Face, OpenAI ha avviato una revisione approfondita della sicurezza. Il presidente e cofondatore Greg Brockman ha spiegato che il 25% degli ingegneri di produzione è stato temporaneamente spostato sui compiti di difesa informatica, consentendo di individuare e correggere "diversi problemi seri".

Anthropic: Claude va verso capacità di auto-miglioramento -

 Sull'altro fronte, intanto, nuovi aggiornamenti. Più di un quarto delle attività di ricerca e sviluppo di Anthropic è ormai guidato dal chatbot Claude, una quota salita da zero in pochi mesi e che segnala i progressi verso sistemi di Ia capaci di contribuire al proprio stesso sviluppo, come scrive il Washington Post. Secondo Anthropic, una revisione interna delle attività di ricerca e sviluppo ha rilevato che Claude è in grado di "guidare" il lavoro nel 26% dei casi, con gli esseri umani limitati soprattutto alla supervisione e alle indicazioni generali. A febbraio la quota era pari a zero.

La società ha precisato che Claude non opera oggi "in piena autonomia" senza intervento umano. Anthropic ha tuttavia sottolineato i rischi legati al cosiddetto auto-miglioramento ricorsivo, uno scenario nel quale sistemi di Ia diventano abbastanza avanzati da accelerare autonomamente il proprio sviluppo.

"Modelli che accelerano il proprio sviluppo potrebbero rendere più difficile per gli esseri umani comprendere o controllare questi sistemi", ha affermato la società. Anthropic ha inoltre reso noto di utilizzare circa 30mila "agenti" di IA in attività di ricerca e ingegneria e di destinare circa il 6% della capacità di calcolo impiegata nella ricerca e sviluppo ad attività legate alla sicurezza. La società ha invitato anche gli altri sviluppatori di sistemi avanzati di IA a pubblicare dati analoghi, sostenendo che queste misurazioni possono offrire a pubblico, governi e soggetti indipendenti una maggiore visibilità sulla velocità dello sviluppo tecnologico.

Le dichiarazioni arrivano dopo che l'amministratore delegato di Anthropic, Dario Amodei, ha chiesto alle principali aziende del settore di coordinare un rallentamento nello sviluppo dell'Ia per avere più tempo per rafforzare le misure di sicurezza. Il presidente degli Stati Uniti Donald Trump ha criticato la proposta.