Dalla promessa di automazione totale alla realtà di sistemi intrinsecamente vulnerabili: l’intelligenza artificiale apre nuove opportunità, ma anche rischi che mettono in discussione il concetto stesso di controllo. L’intelligenza artificiale viene spesso raccontata come uno strumento in grado di aumentare controllo, efficienza e sicurezza. Ma è davvero così? Secondo Enrico Frumento, Cybersecurity Research Lead di Cefriel, la risposta è più complessa – e, in molti casi, scomoda. Nel suo intervento dal titolo “L’illusione del controllo: intelligenza artificiale e nuovi rischi digitali”, durante il CISO LEADERS SUMMIT lo scorso 26 marzo a Baveno, emerge una tesi chiara: l’AI non solo introduce nuove superfici di attacco, ma mette in discussione le basi stesse su cui si è costruita la cybersecurity negli ultimi decenni.
Dal “make or buy” al “generate”: un cambio di paradigma
Uno dei primi segnali di discontinuità riguarda il modo in cui le aziende sviluppano tecnologia. Il tradizionale dilemma “make or buy” lascia spazio a un nuovo paradigma: make, generate, use o buy. L’AI entra nel cuore dei processi di sviluppo, automatizzando attività sempre più complesse, fino al cosiddetto vibe coding, dove il codice viene generato attraverso interazioni conversazionali. Tuttavia, questa apparente semplificazione nasconde nuove criticità. “I sistemi AI non seguono percorsi deterministici e comportano costi operativi spesso sottovalutati – spiega Enrico Frumento -, come quelli legati al consumo di token e all’utilizzo continuo di risorse computazionali. Ma soprattutto, introducono un elemento di imprevedibilità che mina il controllo tradizionale sui processi”.
Nuove minacce: dal malware al “promptware”
Tra i rischi emergenti, uno dei più rilevanti è rappresentato dal cosiddetto promptware: istruzioni malevole inserite nei prompt o nelle “skill” degli agenti AI. “Sono minacce semantiche: scritte in linguaggio naturale, ma in grado di esfiltrare dati” dice Frumento.
A differenza del malware tradizionale, queste minacce non operano a livello di codice, ma di linguaggio. E proprio qui sta il problema: gli strumenti di sicurezza attuali non sono progettati per analizzare il significato semantico delle istruzioni. Questo crea una nuova categoria di rischio, difficilmente rilevabile con gli approcci tradizionali. Non esistono ancora, infatti, soluzioni mature in grado di analizzare e bloccare automaticamente prompt malevoli su larga scala.
Supply chain opache e modelli “non verificabili”
Un altro elemento critico riguarda la supply chain dell’AI. L’utilizzo crescente di modelli open source o servizi esterni introduce livelli di opacità senza precedenti.
“Se uso un modello di cui non so chi l’ha costruito e perché, sto introducendo una supply chain sconosciuta” dice Frumento. A differenza del software tradizionale, i modelli AI non sono facilmente ispezionabili: possono contenere backdoor, anomalie o dati nascosti nei vettori del modello, difficili da rilevare anche con strumenti avanzati.
La ricerca sta iniziando a sviluppare tecniche di analisi dei modelli – come il rilevamento di anomalie spettrali (ossia possibili backdoor, elementi su cui l’AI è stata appositamente non addestrata o addestrata male) o di “blocchi ad alta entropia”, ossia il rischio di steganografia (la tecnica di nascondere informazioni, messaggi o file all’interno di un altro mezzo apparentemente innocuo) – ma si tratta di un ambito ancora in evoluzione.
L’impossibilità del controllo totale
Il punto più critico dell’analisi riguarda però la natura stessa dell’AI. I modelli linguistici mescolano dati e istruzioni nello stesso contesto, rendendo impossibile separarli in modo netto. “La confusione tra istruzioni e dati è intrinseca negli LLM: le barriere di sicurezza sono strutturalmente permeabili”. Questo significa che gli attacchi di prompt injection non sono un problema contingente, ma una vulnerabilità strutturale. Non si tratta quindi di migliorare gli strumenti, ma di accettare un limite tecnologico.Una visione condivisa anche da diversi esperti del settore, secondo cui non esistono oggi sistemi AI realmente sicuri in ambienti ostili.
AI abliterate: la democratizzazione dell’attacco
Un ulteriore elemento di rischio è rappresentato dai modelli AI “derestricted” o “abliterati”: versioni modificate per rimuovere i limiti di sicurezza. “Con un modello modificato è possibile generare malware completo, istruzioni e codice, in pochi minuti”. Questo abbassa drasticamente la barriera di ingresso per il cybercrime, permettendo anche a utenti non esperti di accedere a capacità offensive avanzate.
La cybersecurity si trova quindi ad affrontare una nuova sfida: non solo attori sofisticati, ma una platea sempre più ampia di potenziali attaccanti.
Ecosistemi agentici: il rischio della contaminazione
La complessità aumenta ulteriormente con la diffusione di sistemi basati su agenti AI che collaborano tra loro.
In questi ecosistemi emergono nuove minacce, come attacchi Sybil (introduzione di agenti malevoli), avvelenamento del consenso, propagazione indiretta di prompt malevoli. “Un singolo agente compromesso può influenzare l’intero ecosistema senza essere rilevato”
Un rischio che mette in discussione la fiducia nei sistemi distribuiti basati su AI.
Verso una nuova sicurezza: Zero Trust AI
Di fronte a questo scenario, il modello tradizionale di sicurezza non è più sufficiente. Serve un approccio completamente nuovo. Le direzioni emergenti indicate dal Cefriel includono:
- red teaming delle AI, per testarne il comportamento
- firewall semantici, capaci di analizzare il linguaggio
- network of trust per ecosistemi agentici
- governance end-to-end dei dati e dei modelli.
“Tutta la catena, dai dati all’output, deve essere messa in sicurezza. Questo approccio viene sintetizzato nel concetto di Zero Trust AI, dove nessun elemento – dati, modelli, output – può essere considerato affidabile a priori” conclude Enrico Frumento.
Rivedi l’intervento completo di Enrico Frumento, Cybersecurity Research Lead di Cefriel, al CISO LEADERS SUMMIT di Baveno.
