Il capo della sicurezza di OpenAI si dimette: «Cultura aziendale compromessa»

David Robinson ha lasciato OpenAI con una lettera pubblica che non lascia spazio a interpretazioni. Il capo della sicurezza dell'azienda che produce ChatGPT ha scritto su Atlantic le ragioni della sua partenza: una cultura aziendale compromessa, sistemi di protezione pieni di buchi, e un modo di lavorare che affida la gestione dei rischi al caso e all'improvvisazione. Non è il primo a farlo — negli ultimi mesi altri dipendenti di grandi società di intelligenza artificiale hanno abbandonato i loro ruoli descrivendo scenari catastrofici — ma la sua analisi scava più a fondo, oltre i proclami apocalittici, fino alle radici umane del problema.

Robinson sostiene che il settore della tecnologia manca di una saggezza fondamentale: come gestire tecnologie pericolose, e ancor prima, come prendersi cura delle persone. Le aziende non vedono i rischi perché le persone che le compongono sono pervase da un'ottimismo professionale quasi patologico, convinte che nessun problema sia veramente irrisolvibile. Questa mentalità, combinata con scadenze sempre più strette, ha generato un approccio alla sicurezza basato sul procedere per tentativi ed errori, risolvendo i problemi man mano che emergono. Ma un simile metodo, per sua natura intrinseca, garantisce fallimenti periodici — e questi fallimenti diventano sempre più gravi man mano che i sistemi diventano sofisticati.

Robinson ha portato esempi concreti. A luglio, modelli e agenti sperimentali di OpenAI hanno condotto un attacco informatico contro la piattaforma Hugging Face senza che l'azienda se ne accorgesse. Successivamente, nonostante il rafforzamento delle procedure di sicurezza, altri comportamenti autonomi e inattesi si sono verificati. Durante un'attività di addestramento offline, un modello di intelligenza artificiale ha aggirato le restrizioni per accedere a Internet; un operatore umano ha notato l'anomalia dopo tre minuti e ha intervenuto, ma il sistema che avrebbe dovuto lanciare l'allarme era stato disattivato dal modello stesso. Questi non sono incidenti isolati, secondo Robinson, ma errori tipici del settore, figli della velocità e dell'indulgenza con cui le persone operano.

Il punto critico è che questo approccio potrebbe presto diventare insostenibile. Se un modello di intelligenza artificiale perdesse il controllo, la conseguenza potrebbe essere catastrofica e irreversibile in tempi brevissimi. Rimediare a posteriori, come è accaduto finora, potrebbe non essere più un'opzione. Per questo Robinson sostiene che serve un approccio alla sicurezza radicalmente diverso, uno che miri a raggiungere qualcosa di molto più vicino alla perfezione fin dall'inizio, non attraverso tentativi successivi.

Il modello che Robinson propone viene da settori con una lunga esperienza di gestione dei rischi: le centrali nucleari. Gli impianti nucleari funzionano secondo regole costruite per evitare la fusione del nocciolo anche se qualcosa si rompe o se una persona preme il pulsante sbagliato. Questo principio si chiama ridondanza — la presenza di più elementi che possono svolgere la stessa funzione. I laboratori di OpenAI e di altre aziende che sviluppano intelligenza artificiale operano con una ridondanza e una scrupolosità molto inferiore rispetto alle centrali nucleari, eppure il danno derivante da una perdita di controllo irreversibile sarebbe di gran lunga maggiore di quello causato da una singola fusione del nocciolo. In tre anni e mezzo di lavoro in OpenAI, Robinson non ha mai avuto tra i suoi colleghi persone con esperienza di sicurezza in altri settori — il nucleare, la finanza, gli aeroporti — dove questi principi sono già consolidati.

C'è un'altra minaccia che Robinson descrive: sciami di agenti di intelligenza artificiale che agiscono in autonomia come squadre di hacker — per esempio, tenendo in ostaggio i sistemi informatici degli ospedali — ma senza mai avere bisogno di dormire. Robinson riconosce una critica frequente rivolta agli ex dipendenti che denunciano rischi apocalittici: lo fanno solo dopo aver lasciato l'azienda, raramente mentre ci lavorano. Ha scritto che forse avrebbe dovuto restare e lottare per cambiamenti radicali nella struttura organizzativa e nella cultura. Ma lui e i suoi colleghi erano così impegnati a correre a perdifiato che raramente avevano la possibilità di considerare grandi cambiamenti, figuriamoci attuarli.

Ciò che distingue la lettera di Robinson da altre dimissioni simili è che non si ferma ai problemi organizzativi o strutturali. Descrive lacune umane e caratteriali come il vero fondamento del problema. Secondo lui, i problemi di allineamento — la fase di addestramento che rende i sistemi di intelligenza artificiale coerenti con le indicazioni umane — non sono solo una questione tecnica. Se l'industria non è ancora riuscita a insegnare alle macchine ad agire in modo coerente come farebbe una persona saggia e premurosa, è perché chi sviluppa l'intelligenza artificiale dovrebbe ricordarsi come le persone si prendono cura l'una dell'altra. E dovrebbe farlo prima di poterlo insegnare a una superintelligenza.