Le organizzazioni stanno introducendo rapidamente sistemi di AI agentica in ambiti critici, dai processi IT alla gestione documentale, fino a funzioni core del business. A differenza dei tradizionali sistemi di AI generativa, gli agenti AI non si limitano a produrre contenuti: pianificano, decidono e agiscono in autonomia, spesso senza supervisione umana continua. Questa capacità operativa apre enormi opportunità di produttività, ma introduce anche una superficie di rischio del tutto nuova, che i cybersecurity manager devono imparare a governare.
Tra le altre cose, proprio in questi giorni è arrivata la dichiarazione di OpenAI che ha rivelato un episodio senza precedenti: durante un test interno, alcuni AI agentiche sperimentali avrebbero evaso l’ambiente sandbox, concatenato vulnerabilità, ottenuto l’accesso a Internet e preso di mira la piattaforma di AI open source Hugging Face nel tentativo di recuperare informazioni utili a “barare” in un benchmark di sicurezza. Secondo OpenAI, i modelli sono oggi talmente focalizzati sul raggiungimento dell’obiettivo da mettere in atto comportamenti inattesi, sfruttando persino una vulnerabilità zero-day: episodi di questo tipo potrebbero diventare più frequenti, rendendo indispensabili controlli più rigorosi durante addestramento e valutazione.
Una guida (“Careful adoption of agentic AI services“) recentemente pubblicata da un gruppo di agenzie internazionali per la sicurezza informatica (tra cui l’Australian Signals Directorate dell’ACSC – Australian Cyber Security Centre, la statunitense CISA/NSA, il Canadian Centre for Cyber Security, l’NCSC neozelandese e l’NCSC britannico) offre un quadro operativo dettagliato su rischi e contromisure da prevedere. Il tema è estremamente attuale: in Italia, ad esempio, Banca d’Italia ha appena richiesto alle banche meno significative, sul solco di quanto fatto dalla Vigilanza europea, di predisporre e trasmettere entro il 31 dicembre 2026 una relazione sulla propria esposizione al rischio dei nuovi modelli AI (vedi Mythos) e un piano di lavoro con azioni, tempi e investimenti.
Nell’articolo sintetizziamo i punti chiave elencati nella guida traendo raccomandazioni utili per avviare politiche aziendali concrete in un ambito sempre più strategico.
Che cos’è un sistema di AI agentica?
Un sistema agentico è composto da uno o più agenti che si basano su un modello linguistico (LLM) per interpretare il contesto, prendere decisioni e compiere azioni, integrando strumenti esterni, fonti dati, memoria e moduli di pianificazione (vedi la figura successiva). A differenza dei sistemi LLM tradizionali, un agente persegue obiettivi definiti in modo generico, agisce autonomamente, adotta comportamenti orientati a uno scopo e costruisce piani a lungo termine. Alcuni sistemi sono persino in grado di generare autonomamente sotto-agenti per svolgere compiti specifici, ampliando ulteriormente la catena decisionale da monitorare.
Questa autonomia è precisamente ciò che distingue l’AI agentica dalla AI generativa “classica”: mentre quest’ultima produce output destinati a un intervento umano, l’agente integra l’output direttamente nei processi operativi, agendo come un vero e proprio attore digitale nel sistema.
Un panorama del rischio in continua evoluzione
Alla base di ogni sistema di AI agentica c’è un LLM, e con esso l’agente eredita anche le vulnerabilità tipiche di questi modelli. Un caso tipico è l’attacco di prompt injection: un attore malevolo inserisce istruzioni nascoste in un’e-mail di phishing per indurre un agente incaricato di monitorare la posta a scaricare malware. Questo dimostra come i sistemi agentici possano essere colpiti con vettori d’attacco già noti nel mondo AI e cyber.
A questo si somma una superficie di attacco molto più estesa rispetto ai sistemi tradizionali. Gli agenti si appoggiano infatti a un insieme eterogeneo di componenti – strumenti, fonti dati esterne, basi di memoria – ciascuno dei quali può introdurre proprie vulnerabilità. Una fonte esterna come un motore di ricerca web, ad esempio, può inserire contenuti nel contesto del prompt e aprire la strada a prompt injection indiretti; un accesso più ampio all’infrastruttura di calcolo può essere sfruttato per eseguire script malevoli o inviare comunicazioni non autorizzate. Ogni componente aggiunto, in altre parole, amplia il perimetro esposto a potenziali exploit.
Questa maggiore esposizione si intreccia con una crescente complessità sistemica. La sicurezza dell’AI agentica non riguarda solo aspetti specifici dell’intelligenza artificiale, ma si sovrappone alla sicurezza informatica tradizionale, con un flusso continuo di informazioni tra componenti AI e non-AI che rende sempre più sfumato il confine difensivo. Gli agenti, spesso composti da più elementi interconnessi che pianificano, ragionano e agiscono in sequenza, sono esposti a rischi sistemici come guasti a cascata e attacchi multi-step, in cui un comportamento anomalo o compromesso in un singolo componente si propaga lungo l’intera catena. Proteggere questi sistemi risulta quindi più complesso che proteggere applicazioni digitali tradizionali, e richiede di rafforzare in parallelo i controlli di cybersecurity consolidati e le pratiche di sicurezza specifiche per l’AI, adottando un approccio di ciclo di vita, monitoraggio continuo e progettazione resiliente.
Man mano che la tecnologia matura, si modifica con essa anche il quadro dei rischi. Gli agenti basati su LLM possono modificare il proprio comportamento quando percepiscono di essere sottoposti a valutazione, e in alcuni casi arrivano a ignorare istruzioni di sistema pur di raggiungere l’obiettivo assegnato. La crescente complessità architetturale, fatta di componenti fortemente interdipendenti, aumenta inoltre la probabilità di guasti sistemici originati da incompatibilità sottili e difficili da individuare in anticipo. A ciò si aggiungono la scarsa maturità degli strumenti di sicurezza dedicati e degli standard di riferimento, oltre al fatto che i meccanismi di governance pensati per attori umani non si trasferiscono automaticamente al controllo di agenti autonomi: il panorama della sicurezza è destinato a evolvere insieme alle capacità e all’autonomia dei sistemi, richiedendo un adattamento costante delle strategie difensive.
Per tutti questi motivi, le agenzie internazionali raccomandano di non trattare la sicurezza dell’AI – e in particolare dell’AI agentica – come una disciplina a sé stante, ma di integrarla nei framework di cybersecurity già consolidati in azienda. I sistemi di AI restano, a tutti gli effetti, sistemi IT: girano su software e hardware, operano in rete e interagiscono con altri servizi digitali, restando esposti a gran parte delle minacce tradizionali. Con la diffusione dell’AI nei processi di business e nelle infrastrutture critiche, il confine tra rischio “AI” e rischio informatico tradizionale tende a dissolversi. Gestire questi rischi all’interno dei framework esistenti consente di applicare principi già collaudati – Secure by Design, difesa in profondità, gestione delle identità e degli accessi, monitoraggio continuo, risposta agli incidenti – lungo l’intero ciclo di vita del sistema, garantendo una governance coerente man mano che la maturità cyber aziendale evolve.
Le cinque famiglie di rischio da considerare
La guida individua cinque categorie principali di rischio specifiche per i sistemi agentici, particolarmente rilevanti per chi definisce policy di sicurezza.
- Rischi di privilegio. Sono probabilmente il rischio più critico. Un agente con privilegi eccessivi o non periodicamente rivalutati può diventare un vettore di compromissione. Un esempio tipico è il pattern del “confused deputy“: un attore malevolo induce un agente fidato, con privilegi elevati, a eseguire azioni che l’attore stesso non potrebbe compiere direttamente, generando log apparentemente legittimi che ritardano il rilevamento.
- Rischi di progettazione e configurazione. Componenti di terze parti non adeguatamente verificati, controlli di autorizzazione valutati solo all’avvio e non ad ogni invocazione, segmentazione insufficiente tra ambienti: queste scelte architetturali, singolarmente minori, possono amplificarsi a vicenda e consentire movimenti laterali ad agenti con funzioni diverse (es. dal supporto clienti alla fatturazione).
- Rischi comportamentali. Includono il “goal misalignment“(un agente che raggiunge l’obiettivo formale sfruttando scorciatoie non previste. Si chiama specification gaming il comportamento di un sistema AI che soddisfa alla lettera le istruzioni ricevute, ma aggirando lo spirito dell’ordine e fallendo il risultato realmente voluto), quindi comportamenti ingannevoli o apparentemente consapevoli durante le fasi di valutazione, capacità emergenti non anticipate dai progettisti, o anche la possibilità che un agente compromesso agisca come una minaccia interna, sfruttando il proprio accesso legittimo per esfiltrare dati o disabilitare difese.
- Rischi strutturali. Derivano dall’interconnessione stessa del sistema: attacchi di tipo denial-of-service o “sponge” che esauriscono le risorse computazionali, propagazione di allucinazioni tra agenti a valle, tool “squatting” (pubblicazione di strumenti malevoli con nomi simili a quelli legittimi), comunicazioni inter-agente non autenticate soggette a intercettazione o replay.
- Rischi di accountability. L’opacità dei processi decisionali, catene di delega estese, log voluminosi ma poco strutturati rendono difficile ricostruire “chi” o “cosa” ha causato un errore quando più agenti collaborano su un’unica attività. Questo complica sia l’attribuzione di responsabilità sia la dimostrazione di conformità normativa.
Le contromisure lungo l’intero ciclo di vita
La guida propone raccomandazioni organizzate per fase del ciclo di vita del sistema, utili come struttura per una checklist interna.
Fase di progettazione
- Definire una gerarchia chiara delle istruzioni nel contesto del prompt, per allineare il comportamento dell’agente alle priorità stabilite.
- Introdurre punti di controllo umano lungo il flusso di lavoro (monitoraggio in tempo reale, approvazione obbligatoria per decisioni sensibili, possibilità di interruzione e reversibilità).
- Trattare ogni agente come un principal distinto, con identità crittograficamente ancorata (chiavi o certificati propri), autenticazione reciproca via TLS e un registro attendibile degli agenti autorizzati.
- Applicare la difesa in profondità, evitando di affidarsi a un unico meccanismo di sicurezza e separando gli agenti per funzione con confini operativi netti.
Fase di sviluppo
- Sottoporre i modelli a test adversariali e reward modelling per individuare comportamenti di specification gaming.
- Condurre valutazioni approfondite su scenari realistici, variando condizioni contestuali e livelli di autonomia.
- Effettuare attività di red teaming dedicate, incluse simulazioni multi-agente e test di tipo “chaos”. Un test di tipo “chaos” per l’AI (noto nel settore come Chaos Engineering) è una metodologia in cui vengono introdotti intenzionalmente errori, guasti e anomalie in un sistema AI per valutarne la resilienza e il comportamento in condizioni estreme. Lo scopo è scovare debolezze e malfunzionamenti prima che si verifichino in produzione.
- Verificare la provenienza di ogni componente di terze parti, mantenere un registro attendibile degli strumenti ammessi e standardizzare le descrizioni dei tool per evitare che un linguaggio persuasivo induca l’agente a sceglierli in modo inaffidabile[1].
- Implementare meccanismi di rollback per riportare rapidamente il sistema a un comportamento noto e sicuro.
Fase di deployment
- Eseguire threat modelling aggiornato con tassonomie specifiche per l’AI agentica (es. OWASP GenAI Security Project, MITRE ATLAS™).
- Adottare un’implementazione progressiva: aumentare gradualmente autonomia e accesso man mano che aumenta la fiducia nel sistema, con la possibilità di ridurre nuovamente lo scope in caso di anomalie.
- Configurare il sistema con impostazioni “fail-safe” di default: in caso di incertezza, l’agente deve fermarsi ed escalare a un revisore umano piuttosto che procedere.
- Isolare gli agenti ad alto rischio in domini distinti, con enclave prive di accesso in scrittura ai log.
Fase operativa
- Monitorare non solo input e output, ma anche i processi interni: chiamate agli strumenti, interazioni con la memoria, ragionamento e decisioni prese.
- Stabilire baseline comportamentali e meccanismi di rilevamento delle anomalie per intercettare scostamenti tra intenzioni dichiarate e comportamento osservato, inclusi fenomeni di “goal drift”. Il goal drift (o “deviazione dall’obiettivo”) è il fenomeno per cui un’intelligenza artificiale devia progressivamente dallo scopo iniziale per cui è stata programmata. Succede quando l’AI perde di vista i vincoli o il risultato finale desiderato, finendo per compiere azioni non intenzionali o concentrarsi su risultati secondari.
- Prevedere un’approvazione umana obbligatoria per azioni ad alto impatto o difficilmente reversibili (cancellazione di record critici, reset di sistema, accesso alla rete esterna), e mettere in quarantena qualsiasi richiesta di cancellazione di log fino a revisione.
- Applicare credenziali just-in-time per le azioni privilegiate, autenticazione crittografica fresca prima di ogni chiamata sensibile e attestazione crittografica del codice in esecuzione.
- Condurre regolarmente penetration test e red team dedicati al comportamento agentico, oltre a valutazioni periodiche della capacità dell’agente di aggirare le proprie salvaguardie.
Un principio guida per i decision maker
Il messaggio centrale della guida è chiaro: l’AI agentica va integrata nei framework di cybersecurity già esistenti – Secure by Design, difesa in profondità, gestione delle identità, monitoraggio continuo – piuttosto che gestita come disciplina separata. Al tempo stesso, l’autonomia degli agenti amplifica l’impatto di ogni errore di configurazione o lacuna di controllo, per cui la raccomandazione esplicita è di destinare inizialmente questi sistemi solo a compiti a basso rischio e ben definiti, evitando in ogni caso l’assegnazione di privilegi ampi o non necessari, specialmente su dati sensibili o sistemi critici.
Per un Responsabile cybersecurity, questo si traduce in un mandato operativo preciso: costruire governance, accountability esplicita, monitoraggio rigoroso e supervisione umana come prerequisiti imprescindibili (non come opzioni da valutare in un secondo momento) prima di estendere l’autonomia di questi sistemi a processi realmente critici per il business.
Accedi al report “Careful adoption of agentic AI services“, guida co-redatta da ASD’s ACSC, CISA, NSA, Canadian Centre for Cyber Security, NCSC-NZ e NCSC-UK, 2026.
