Se un’intelligenza artificiale entra nell’analisi dei rischi, il problema non è solo cosa le diamo. È come valutiamo ciò che ci restituisce.
Chiediamo a tre sistemi di intelligenza artificiale di analizzare la stessa minaccia. Otteniamo tre valutazioni diverse. Quale usiamo?
Non necessariamente perché uno dei tre voglia ingannarci. Possono avere dati di addestramento diversi, usare fonti differenti, dare un peso diverso agli stessi elementi. Possono anche, semplicemente, sbagliare. La differenza tra un errore e una manipolazione intenzionale è fondamentale, ma sul piano operativo entrambi possono compromettere una decisione.
E se invece concordassero tutti e tre? Ci fideremmo di più. Ma se avessero attinto alla stessa informazione sbagliata, avremmo soltanto tre conferme dello stesso errore.
Un’analisi sbagliata, con il sistema che funziona
Pensiamo a un’analisi OSINT per valutare la sicurezza di una destinazione, o a un sistema che sintetizza segnalazioni di minaccia prima di un grande evento. Se le informazioni di partenza sono incomplete, obsolete o inesatte, la valutazione può risultare sbagliata anche quando il sistema fa esattamente ciò per cui è stato progettato.
Una segnalazione non verificata viene ripresa da diversi siti, sintetizzata in un rapporto e infine usata da un’intelligenza artificiale per costruire uno scenario di rischio. L’informazione originale era una sola, ma nel documento finale può apparire come una notizia confermata da numerose fonti. Il problema esiste da molto prima dell’IA. La differenza è che oggi si può riprodurre su una scala e con una velocità prima difficili da immaginare.
Il risultato, inoltre, ha l’aspetto di un’analisi: ordinato, coerente, sicuro di sé. Ed è questo a renderlo insidioso. Un’informazione dubbia presentata male si riconosce. Una presentata bene rischia di passare senza controlli, perché la qualità della presentazione non dimostra la qualità dell’informazione. La macchina non deve necessariamente essere certa di avere ragione. Basta che siamo noi a convincerci che ce l’abbia.
Quando è il contenuto a dare gli ordini
Esiste poi una vulnerabilità specifica: la prompt injection. Si verifica quando istruzioni malevole inserite in contenuti esterni, come una pagina web, un documento o un’email, influenzano il comportamento del sistema che li elabora.
Prendiamo uno strumento incaricato di esaminare una serie di documenti per individuare criticità di sicurezza. Uno dei documenti contiene istruzioni nascoste: ignorare certe informazioni, modificare la valutazione, eseguire un’azione non prevista. Il problema non è necessariamente che il documento sia falso. È che il sistema può trattare parte del suo contenuto come un’istruzione da eseguire, anziché come un’informazione da analizzare.
In un intervento pubblicato l’8 dicembre 2025, il National Cyber Security Centre britannico ha messo in evidenza la differenza rispetto alla SQL injection: nei modelli linguistici non esiste una separazione intrinseca e affidabile tra dati e istruzioni. Per questo la prompt injection potrebbe non essere mai del tutto eliminabile con tecniche equivalenti a quelle usate per la SQL injection. L’approccio realistico, secondo l’NCSC, è ridurre la probabilità e l’impatto degli attacchi, a partire da una progettazione che limiti ciò che il sistema può fare.
Per chi usa l’IA per leggere documenti, rassegne stampa o segnalazioni, la conseguenza è concreta: un sistema che analizza contenuti non controllati è esposto alle istruzioni che quei contenuti possono nascondere. Non dobbiamo proteggere soltanto le informazioni che entrano. Dobbiamo verificare anche quelle che escono.
Una vecchia lezione dell’intelligence
Chi lavora nell’analisi delle informazioni conosce un principio: l’affidabilità di una fonte e la credibilità di un’informazione sono due cose diverse. Una fonte generalmente affidabile può darci un’informazione inesatta. Una fonte sconosciuta, ogni tanto, una corretta. L’Admiralty Code, usato nell’ambito dell’intelligence, le valuta separatamente: una lettera per la fonte, un numero per l’informazione.
Il principio compare anche in un contributo di ricercatori TNO presentato a un meeting della NATO Science and Technology Organization. Il testo discute i problemi del suo uso prolungato nell’analisi dei conflitti ibridi, in un contesto segnato dalla crescita dell’informazione open source e della sua esposizione alla disinformazione.
Con l’intelligenza artificiale serve una distinzione in più. Il sistema che produce la risposta non coincide con la fonte delle informazioni su cui si basa. Un modello può sintetizzare documenti, combinare dati, formulare deduzioni e costruire scenari, ma se il risultato serve a decidere dobbiamo poter ricostruire il percorso che porta dalle informazioni iniziali alla conclusione. Altrimenti stiamo valutando la credibilità di un testo, non l’affidabilità di un’analisi.
Quattro domande prima di decidere
Non serve una procedura complicata per ogni uso dell’intelligenza artificiale. Servono criteri proporzionati all’importanza delle decisioni che stiamo per prendere.
Da dove vengono le informazioni? Se il sistema indica delle fonti, dobbiamo verificare che esistano, che siano pertinenti e che sostengano davvero ciò che viene affermato. Un riferimento corretto non garantisce un’interpretazione corretta.
Che cosa dice una fonte indipendente? La conferma deve esserlo davvero: tre articoli che riprendono la stessa notizia non sono tre riscontri, e tre sistemi di IA non sono tre analisi indipendenti. Una valutazione che nessuno conferma non è necessariamente sbagliata, ma non possiamo considerarla accertata solo perché è plausibile.
Che cosa è fatto, che cosa deduzione, che cosa ipotesi? Un fatto è un elemento sostenuto da evidenze verificabili. Una deduzione è una conclusione ricavata da elementi disponibili con un ragionamento che si può esaminare. Un’ipotesi è una spiegazione o uno scenario possibile, ancora da verificare. Possono convivere nella stessa analisi. Il problema nasce quando vengono presentate con lo stesso grado di certezza.
Che cosa può fare il sistema senza autorizzazione? La domanda riguarda gli strumenti che non si limitano a produrre testi, ma accedono ad applicazioni, inviano comunicazioni, modificano documenti. Bisogna stabilire quali azioni siano consentite, quali richiedano un’autorizzazione e quali restino escluse, in proporzione alle conseguenze di un errore. L’NCSC suggerisce un criterio semplice: quando un sistema elabora contenuti provenienti da una parte, i suoi privilegi dovrebbero ridursi a quelli di quella parte. Un conto è chiedere all’IA di riordinare una rassegna stampa. Un altro è lasciarle modificare da sola una valutazione di minaccia usata per decisioni operative.
La conformità non certifica la verità
Il quadro normativo europeo sta introducendo obblighi di governance, trasparenza e gestione del rischio. Ma rispettarli non garantisce che ogni risposta sia corretta: un’organizzazione può usare uno strumento conforme e ottenere comunque un’analisi sbagliata. Conformità normativa e affidabilità operativa sono questioni collegate, ma distinte.
Il NIST AI Risk Management Framework, pubblicato nel gennaio 2023 e oggi in revisione, si articola in quattro funzioni (Govern, Map, Measure, Manage). Il Generative AI Profile del luglio 2024 lo estende ai sistemi generativi. È un’impostazione familiare a chi fa security: comprendere il contesto, individuare i rischi, valutarne le conseguenze, definire le mitigazioni, verificare che funzionino. Non serve inventare una nuova disciplina ogni volta che compare una nuova tecnologia. Serve applicare correttamente quella che abbiamo.
Prima di crederci
L’intelligenza artificiale può aiutarci a raccogliere informazioni, confrontare scenari, individuare ciò che non avevamo considerato. Può essere uno strumento straordinario. Ma il suo valore non dipende soltanto dalla capacità di produrre risposte: dipende anche dalla nostra capacità di valutarle.
Una risposta ordinata, ben scritta e sicura di sé non è una fonte verificata. È soltanto una risposta ordinata, ben scritta e sicura di sé.
La domanda da fare a uno strumento di intelligenza artificiale non è quanto sia convincente. È che cosa dobbiamo controllare prima di credergli.
Perché nella security il valore di un’informazione non dipende da quanto bene è scritta. Dipende da quanto siamo in grado di verificarla.
Fonti essenziali
- NCSC — Prompt injection is not SQL injection (it may be worse), 8 dicembre 2025. Differenze tra prompt injection e SQL injection, limiti delle mitigazioni e riduzione dell’impatto.
- NATO STO — Powell, Oggero, Westerveld, Schook (TNO), Dealing with Uncertainty in Hybrid Conflict: A Novel Approach and Model for Uncertainty Quantification in Intelligence Analysis, STO-MP-IST-190. Distinzione tra affidabilità della fonte e credibilità dell’informazione nell’Admiralty Code.
- NIST — AI Risk Management Framework, gennaio 2023. Framework volontario per la gestione dei rischi dell’intelligenza artificiale.
- NIST — Generative Artificial Intelligence Profile (NIST AI 600-1), 26 luglio 2024. Rischi specifici dell’intelligenza artificiale generativa e relative misure di gestione.
- Commissione europea — AI Act, quadro di applicazione. Obblighi normativi, vigilanza e calendario di applicazione.
Gli scenari descritti sono esempi ipotetici utilizzati per illustrare possibili criticità nell’analisi delle informazioni. Le quattro domande costituiscono una proposta metodologica di security management e non una procedura ufficiale derivata dalle fonti citate.
Francesco di Castri
Lascia un commento