Nella corsa globale allo sviluppo di sistemi e applicazioni che utilizzano l’intelligenza artificiale (AI), la velocità è spesso nemica della sicurezza. I sistemi AI hanno elevate potenzialità, ma affinché queste opportunità possano essere pienamente sfruttate, sarà necessario svilupparle e gestirle in modo sicuro e responsabile. I sistemi AI, e questo vale anche per l’AI generativa (ChatGPT, Bard, ecc.), da un lato sono soggetti a nuove vulnerabilità, del tutto specifiche, da prendere in grande considerazione. Dall’altro lato, risentono di un ritmo di sviluppo accelerato, per cui è verosimile che la sicurezza possa finire in secondo piano.
Invece, come emerge già oggi, la cybersecurity dell’AI dovrebbe essere un requisito fondamentale, che comincia a essere richiesto (seppure in modo molto generico) dalle norme: e non solo in fase di sviluppo, ma durante tutto il ciclo di vita del sistema AI. Affrontiamo il tema in questa intervista con Raoul Brenna, Manager of Security by Design & Cybersecurity Awareness di Fastweb: il tema sarà poi al centro dei confronti tra esperti del settore durante il CYBERSECURITY SUMMIT 2024 di TIG, il prossimo 29 febbraio 2024 a Milano.
TIG. Perché è importante preoccuparci già da oggi (anzi, direi da ieri) della sicurezza dell’AI?
Raoul Brenna. Oggi stiamo imparando a conoscere in modo più diffuso l’intelligenza artificiale come sostituto dell’uomo, ma in realtà, è già da tempo che l’AI è presente in varie forme nei sistemi che utilizziamo. Ad esempio, da almeno quattro anni ci dicono che nei telefoni la fotografia è potenziata con l’AI, nelle soluzioni di sicurezza abbiamo meccanismi basati sulle tecniche di machine learning. Si tratta chiaramente di modelli meno generalisti di quelli arrivati nell’ultimo anno con i large language model (LLM) come ChatGPT. Il machine learning (ML) ha già una presenza significativa e presenta alcune sfide da superare: da tempo sono stati osservati i cosiddetti “effetti di bordo”, oggi chiamati “allucinazioni”: avvengono quando l’AI, uscendo dalla propria “confort zone” (dove funziona molto bene), può fallire in modi inaspettati per l’uomo.
TIG. Una prima cosa da sapere quindi è che l’AI può sbagliare. Quando è importante questo problema?
Raoul Brenna. Prediamo come esempio una AI addestrata a riconoscere oggetti: nel momento in cui “vede” un oggetto diverso, potrebbe sbagliare clamorosamente. Un’AI molto specializzata, fuori dai limiti del suo addestramento può quindi dare risposte inaspettate: però, se l’AI opera come un passo di un processo comunque supervisionato da operatori umani, è abbastanza facile individuare l’errore, proprio perché l’ambito in cui opera è molto specifico e le anomalie nelle risposte possono essere eclatanti. Già è diverso il caso in cui l’output dell’AI è binario (ad esempio “sì”/“no”). Qui per individuare l’errore occorre accedere alle motivazioni, cosa non immediata parlando di AI. Ma il problema si amplifica a dismisura quando un modello generalista (come ChatGPT, Bard, eccetera) ha vere e proprie allucinazioni, ossia inventa un racconto, una storia che non ha nulla a che fare con la realtà, e di cui a posteriori (volendo verificare) non si trova neanche riscontro nelle fonti fornite dalla stessa AI a corredo della risposta.
Oggi questi rischi non vanno sottovalutati e servirebbe indirizzarli da subito, per evitare di trovarci un domani invasi da prodotti e servizi che fanno un uso incontrollato di queste tecnologie, e che non saremo più in grado di reindirizzare e aggiustare. Bisogna considerare infatti che, parlando di compiti più generalisti, sarà sempre più difficile andare a verificare l’operato dell’AI: l’analisi successiva effettuata da umani sarà sempre più complicata. Invece, dovremmo fin dall’inizio essere sicuri di aver compreso bene il funzionamento di questi oggetti, di sapere come garantire sia la sicurezza nei dati che li alimentano, sia la correttezza delle risposte generate. In questo senso, si stanno sviluppando strumenti e framework per la cosiddetta “Explainable AI”. Se non affrontiamo il tema dall’inizio, sarà sempre più difficile farlo in futuro.
TIG. Parlando di utilizzo dell’AI nella cybersecurity, sono chiari, secondo te, gli accorgimenti da considerare perché i risultati siano sempre corretti?
Raoul Brenna. Fino a non molto tempo fa, gli utilizzi dell’AI andavano poco oltre l’applicazione di modelli specifici, prevalentemente legati all’identificazione di cluster di eventi e di anomalie, alla riconciliazione di dati, alla “scrematura” di log e simili. Oggi si osserva invece un forte interesse a adottare i modelli generalisti: accanto all’identificazione delle anomalie, si prova quindi ad individuare tramite la GenAI, nel corpus delle metodologie, delle contromisure e delle best practice, indicazioni che possano aiutare gli analisti di cybersecurity, ad esempio, a individuare il migliore percorso della risposta. Vero che qui, essendo la documentazione più mirata e settoriale, è più difficile che si vengano a creare complete allucinazioni, ma il punto fondamentale è che i modelli siano sempre ben addestrati. e credo che in questo momento vi sia ancora molto spazio per il “guizzo” di intuitività umana (abilitata dall’esperienza di dominio).
Sicuramente, nell’ambito della cybersecurity, l’omogeneizzazione di norme, metodologie e standard dovrebbe in futuro essere un’area in cui la GenAI potrebbe aiutare a orientarsi. Ad esempio, pensiamo di analizzare cento testi, trovando punti in comune e aspetti che divergono, aiuterebbe a minimizzare il lavoro ridondante. La revisione umana dei risultati sarà però sempre fondamentale.
TIG. Cosa significa “AI sicura” e quali caratteristiche distintive deve avere la sicurezza dell’AI? Considerando che cominciano a uscire linee guida per mettere in sicurezza gli sviluppi dell’AI, come quelle del NCSC, pubblicate di recente. Come intervenire perché l’AI sviluppata in azienda sia sicura?
Raoul Brenna. Il primo principio, sottolineato anche nelle linee guida dell’NCSC UK, è che si tratta di un sistema software. Quindi, a prescindere dalla peculiarità del modello di AI sottostante, deve essere messo in sicurezza. Le API per prendere e fornire i dati devono essere sicure, bisogna verificare che non sia possibile superare alcuni confini, in particolare, per quanto riguarda le app generative, nella disclosure di varie informazioni, ad esempio quelle coperte da privacy. Si richiama quindi molto l’attenzione sulle necessarie fasi di test nel processo di sviluppo per evitare queste situazioni. Di recente alcuni ricercatori hanno proprio dimostrato che, forzando ChatGPT a ripetere infinite volte uno stesso pattern, alla fine venivano emessi dati a caso, utilizzati per l’addestramento dell’algoritmo, tra cui anche dati personali, come numeri di carte di credito, credenziali. Trattandosi di sistemi software, vanno quindi previsti accorgimenti di sicurezza per tutti gli elementi di contorno. Poi, gli sviluppi ed il training vanno protetti dal poisoning, ossia dalla possibilità che “avvelenando” il sistema in fase di addestramento, questo poi riconosca come normali attività che invece dovrebbero risultare anomale o andrebbero segnalate come pericoli. Questo può far sì che l’AI non riveli in un secondo tempo un attacco in corso.
Nell’ambito dei nuovi sviluppi, bisognerà incorporare sempre di più meccanismi di protezione, ridondanza dei controlli, magari (perché no?) impiegando un’AI che controlli le risposte di un’altra, o che sottoponga i risultati a validazione con algoritmi diversi da quelli con cui sono stati generati, per evitare le allucinazioni. Oggi, le AI generative ad uso generalista “prendono molto sul serio” il loro ruolo di generare una risposta, e prima di dire che non sono in grado di dare un riscontro, arrivano a inventarsi cose.
In questo senso, anche avere AI settoriali in senso disciplinare o “culturale” può aiutare molto. L’intelligenza artificiale è al centro della strategia di Fastweb, per questo stiamo investendo per mettere a disposizione di tutto l’ecosistema nazionale il più potente supercomputer AI che ci aiuterà anche a realizzare il primo Large Language Model (LLM) addestrato nativamente in lingua italiana. Un sistema all’avanguardia con governance trasparente e addestrato su dati certificati. Per proteggere le piccole e medie imprese che sono maggiormente esposte agli attacchi informatici abbiamo lanciato inoltre soluzioni basate sull’AI per l’identificazione delle minacce.
TIG. Possiamo già fare riferimento a metodologie, linee guida o standard che forniscano suggerimenti utili e calzanti per gli sviluppi sicuri dell’AI?
Raoul Brenna. Al momento non è così semplice: questi sistemi hanno loro specificità. Le linee guida, come quelle dell’NCSC UK, fanno riferimento alla necessità di adottare “accorgimenti specifici” per lo sviluppo dei modelli AI, senza dire però ancora come fare. Oggi come oggi siamo ancora a livello di principi generali. Arriverà uno standard? Abbiamo il NIST AI risk management framework (AI100-1), ma si occupa più di modelli di rischio e target di prestazioni: ossia, per un certo comportamento atteso dell’AI, ho un elenco di attività da includere in tutto lo sviluppo. Come, parlando di dati e input, raccoglierli, validarli in modo certo, pulire quelli sbagliati. Però lo standard non dice in dettaglio cosa fare per proteggersi, ad esempio, dal poisoning dei dati definendo quali sono i principi e le attività da fare in tutte le fasi del ciclo di vita dell’AI. Queste check list probabilmente nasceranno in futuro, dalle attività di vari gruppi di lavoro, e saranno auspicabilmente contestualizzate a differenti domini informativi e tipologie di AI.
La ISO 5338 è prevista nel 2024, ora abbiamo una bozza in consultazione. Definisce i processi tecnici da introdurre, a livello organizzativo, per la gestione dello sviluppo dell’AI. Definisce processi di verifica, integrazione, validazione, manutenzione, ma ancora una volta ad alto livello, stabilendo principi da seguire in queste attività, senza una checklist di dettaglio (come può essere l’elenco di best practice di sicurezza informatica incluse nella ISO 27002, relazionata ai principi generali proposti dalla ISO 27001). Nel frattempo, oltre agli sviluppi già menzionati, ci sono analisi di Enisa che fanno compendio su tutti gli standard sull’AI, per aiutare a orientarsi. La definizione dei principi generali sospetto possa durare un po’ di tempo, ma è un aspetto comunque molto importante perché, altrimenti, si rischia di procedere in ordine sparso e con approcci disarmonici. Per arrivare a standard metodologici che arrivano a dire “esattamente” come filtrare un dato per evitare un problema, credo che ancora non siamo maturi, prima bisognerà mettersi d’accordo su principi generali e liste di attività da incorporare nelle iniziative tecnologiche in ambito AI. Ma credo che ci stiamo avvicinando. OWASP, ad esempio, che per il settore (tristemente) ben noto delle vulnerabilità sulle applicazioni Web fornisce liste molto particolareggiate di pattern di attacco e relative mitigazioni molto puntuali, ha intrapreso un percorso simile su Machine Learning e su AI/LLM, dove arriva ad identificare i “top 10 risks” oltre a checklist di governance. Sono primi passi, ma…
A cura di:
Elena Vaciago, Research Manager, The Innovation Group
Il tema sarà discusso durante il CYBERSECURITY SUMMIT 2024, il prossimo 29 febbraio a Milano.
Consulta l’Agenda e iscriviti!
(La partecipazione è soggetta ad approvazione della Segreteria organizzativa del Summit).
