L’adozione dell’intelligenza artificiale nelle organizzazioni sta accelerando: dai chatbot per il customer service agli assistenti basati su LLM, fino ai sistemi agentici in grado di interagire con dati e processi aziendali, le imprese stanno sperimentando nuove forme di automazione e supporto decisionale. Cresce però in parallelo la consapevolezza sui rischi legati a un uso poco accorto dell’AI (basti pensare al recente ordine esecutivo firmato dal presidente Trump per permettere al governo Usa un accesso di 30 giorni ai modelli AI di nuova introduzione prima del rilascio pubblico).
In questo contesto emerge l’interesse per una disciplina destinata a diventare sempre più rilevante: l’AI Red Teaming, un insieme di attività volte a verificare la robustezza, l’affidabilità e la sicurezza dei sistemi di intelligenza artificiale, simulando comportamenti anomali, errori o veri e propri attacchi per individuare vulnerabilità prima che possano produrre conseguenze operative o reputazionali. Ne parliamo in questa intervista con Federico Cerutti, Full Professor of Robust and Trustworthy Artificial Intelligence presso l’Università di Brescia e direttore del Master di II Livello in Cybersecurity e Compliance Aziendale Integrata presso lo stesso ateneo, che su questo tema interverrà nel corso del CISO PANEL di TIG, il prossimo 15 settembre.
Testare la robustezza dell’AI
L’AI Red Teaming è una metodologia volta a testare la qualità dell’offerta di intelligenza artificiale che utilizziamo nelle nostre aziende, soprattutto in termini di robustezza rispetto a input che potrebbero non essere esattamente allineati con quello che ci aspettiamo. Il tema assume particolare importanza con la diffusione degli assistenti aziendali basati su AI, che sempre più spesso accedono a documenti, policy interne e basi di conoscenza aziendali. «Questi sistemi possono leggere documenti e informazioni presenti nei nostri repository, contenuti che costituiscono la memoria e le istruzioni operative dell’intelligenza artificiale – dice Federico Cerutti -. Se un documento contiene informazioni errate, obsolete o addirittura manipolate da un attaccante, il sistema non è in grado di distinguere autonomamente ciò che è corretto da ciò che non lo è e agirà di conseguenza».
Non si tratta necessariamente di scenari malevoli, anche la semplice obsolescenza delle informazioni può generare problemi. «Gli esseri umani possono sapere che una procedura è cambiata perché se ne è discusso informalmente in azienda, mentre l’AI potrebbe continuare a fare riferimento a documenti non aggiornati. Questo può generare comportamenti non coerenti con le aspettative aziendali» dice Cerutti.
Da chatbot ad agenti, aumenta il livello di rischio
L’AI Red Teaming può essere applicato a diversi contesti. Un primo ambito riguarda le soluzioni rivolte all’esterno, come ad esempio una chatbot di customer service. In questi casi è consigliabile verificare che il sistema non sia soggetto a comportamenti non previsti. «L’idea è comprendere l’intento di chi interagisce con la chatbot e verificare se tale intento sia coerente con ciò che l’azienda desidera comunicare. Un Red Team prova deliberatamente a portare il sistema fuori dal seminato» spiega Federico Cerutti. Purtroppo, i malfunzionamenti possono essere numerosi. «Ci sono stati casi in cui chatbot progettate per un determinato servizio sono state indotte a svolgere attività completamente diverse. Ricordo un caso in cui una chatbot per customer relationship arrivava a fornire risposte a problemi di programmazione Python, pur non essendo stata chiaramente progettata per quello scopo» dice Cerutti. Ancora più delicata è la situazione quando l’AI è integrata nei processi aziendali interni. Nel momento in cui utilizziamo sistemi agentici stiamo delegando a un’entità terza una parte delle attività operative dell’azienda: diventa fondamentale verificare che le azioni eseguite siano coerenti con le policy, i processi e gli obiettivi organizzativi.
Perché il Red Teaming per l’AI è diverso dal penetration testing?
A prima vista, l’AI Red Teaming potrebbe apparire come una naturale evoluzione delle tradizionali attività di vulnerability assessment e penetration testing. In realtà presenta caratteristiche molto differenti. «Nel mondo delle applicazioni tradizionali abbiamo procedure consolidate di verifica – dice Cerutti -. Conosciamo le vulnerabilità più comuni, sappiamo come testare una SQL injection o un errore di configurazione e disponiamo di metodologie molto strutturate». Nel caso dell’intelligenza artificiale generativa, invece, la variabilità degli input cresce enormemente. «La superficie di attacco diventa molto più ampia perché non stiamo più lavorando solo con dati strutturati o input rigidamente definiti. Lavoriamo con linguaggio naturale, contesti complessi, documenti, informazioni provenienti da fonti diverse. Questo aumenta drasticamente il numero di combinazioni possibili».
Chi deve occuparsi di AI Red Teaming in azienda
L’introduzione dell’AI Red Teaming pone anche una questione organizzativa: chi deve farsene carico all’interno dell’azienda? Il primo riferimento rimane il Chief Information Security Officer. «Il CISO rappresenta il punto di contatto naturale per tutte le attività di analisi e gestione del rischio ICT, e l’AI Red Teaming rientra a pieno titolo in una logica di risk management» dice Cerutti. Tuttavia, dovrebbero essere coinvolte anche altre funzioni aziendali. «La responsabilità non può ricadere esclusivamente sulla sicurezza. Diventano centrali anche figure come il Chief Knowledge Management Officer, che governa la qualità e la struttura della conoscenza aziendale, oppure chi si occupa di trasformazione digitale e innovazione dei processi».
Chi governa la conoscenza aziendale deve comprendere queste minacce, perché le informazioni diventano parte integrante del comportamento dell’intelligenza artificiale.
Inoltre, sebbene il settore ICT sia oggi tra i principali utilizzatori delle tecnologie AI, il rischio non riguarda soltanto software house e fornitori tecnologici. Qualunque azienda che stia sperimentando strumenti di intelligenza artificiale dovrebbe prestare attenzione a questi aspetti, perché un rischio spesso sottovalutato è la fiducia eccessiva negli output generati dai sistemi.
Come introdurre l’AI Red Teaming in azienda
Non esiste un approccio unico valido per tutte le organizzazioni: l’attività di controllo dovrebbe essere proporzionata al livello di rischio. «Fare AI Red Teaming può essere un’attività arbitrariamente complessa. Come sempre si tratta di applicare principi di gestione del rischio» dice Cerutti. In contesti relativamente semplici, può essere sufficiente verificare la correttezza delle policy e svolgere test limitati basati su tecniche note di prompt injection. «Se il sistema non è integrato con basi di conoscenza critiche e non riceve input non controllati, può essere sufficiente un’attività di verifica mirata per accertare che l’output rimanga coerente con le aspettative».
Quando invece l’intelligenza artificiale assume un ruolo più attivo nei processi aziendali, il livello di attenzione deve aumentare: più si delegano attività operative ai sistemi AI, più i processi di Red Teaming devono essere strutturati, monitorati ed eseguiti periodicamente». Anche perché i modelli continuano a evolversi. «Quando utilizziamo sistemi forniti da terze parti dobbiamo ricordare che questi strumenti cambiano nel tempo. Un controllo effettuato oggi potrebbe non essere sufficiente tra qualche mese» dice Cerutti.
Una disciplina destinata a crescere
Alcune attività di AI Red Teaming possono già essere automatizzate grazie a strumenti software, anche open source, capaci di simulare tecniche di prompt injection e verificare la resistenza dei modelli a scenari noti. Tuttavia, il fattore umano rimane centrale. L’AI Red Teaming è infatti una disciplina ancora giovane, che si sta sviluppando parallelamente alla diffusione dell’intelligenza artificiale generativa. «Stiamo adottando questi sistemi in maniera massiva da meno di due anni. È inevitabile che la disciplina stia evolvendo rapidamente e che molte delle pratiche attuali siano ancora oggetto di ricerca». Proprio per questo, conclude Federico Cerutti, università, centri di ricerca e aziende sono chiamati a collaborare sempre più strettamente per definire metodologie, strumenti e competenze in grado di garantire un utilizzo sicuro e affidabile dell’intelligenza artificiale nei processi di business.
A cura di: Elena Vaciago, Research Manager, TIG – The Innovation Group
Federico Cerutti parteciperà come Keynote Speaker al CISO PANEL del prossimo 15 settembre a Milano, con un intervento sul tema AI RED TEAMING. Per partecipare al CISO Panel, evento ristretto a responsabili cybersecurity, informazioni sul sito:
