La folla non è un dato

Quando l’intelligenza artificiale entra in una sala operativa, il problema non è più vedere. È capire.
Ed è qui che, secondo me, comincia la parte interessante.
Perché ogni volta che arriva una nuova tecnologia nella security nasce la stessa tentazione: se possiamo raccogliere più dati, allora possiamo prendere decisioni migliori.
Sembra logico.
Ma non è detto che sia così.
Oggi, durante una grande manifestazione, possiamo avere telecamere, controllo accessi, sensori, droni, sistemi di comunicazione, dati sui trasporti, informazioni sui flussi, sistemi di emergenza e algoritmi capaci di analizzare una parte enorme di tutto questo in tempo reale.
Il sogno, per chi lavora in una sala operativa, è abbastanza evidente: avere davanti agli occhi una fotografia completa di quello che sta succedendo.
Il problema è che una fotografia, per quanto dettagliata, non è ancora comprensione.
E soprattutto: se un algoritmo ci segnala un’anomalia, non significa automaticamente che abbia capito cosa sta succedendo.

---

Il salto di paradigma

Per molto tempo la tecnologia applicata alla security ha seguito una logica abbastanza semplice:
vedo → registro → segnalo → intervengo.
La videosorveglianza ha moltiplicato gli occhi disponibili sul terreno. Ma alla fine c’era sempre qualcuno che doveva guardare quegli schermi e capire se quello che vedeva fosse importante oppure no.
Adesso stiamo entrando in un modello diverso:
vedo → analizzo → interpreto → prevedo → suggerisco un intervento.
È un cambiamento enorme.
Computer vision, machine learning e sistemi di analisi dei flussi possono individuare variazioni improvvise della densità, congestioni, cambiamenti nei movimenti della folla e altre situazioni anomale.
Ed è una possibilità straordinaria.
Ma c’è un dettaglio che rischiamo di dimenticare.
Tra il dato e la decisione c’è ancora una persona.
E quella persona deve capire se quel dato significa davvero qualcosa.

---

Il problema della falsa emergenza

Immaginiamo un concerto con 50.000 persone.
Un algoritmo rileva che in una determinata area la densità sta aumentando rapidamente.
Alert.
La sala operativa lo vede.
Ma cosa sta succedendo?
Potrebbe essere l’inizio di una situazione pericolosa.
Oppure potrebbe essere semplicemente l’arrivo contemporaneo di migliaia di persone all’apertura dei cancelli.
Potrebbe essere il risultato di un cambio di direzione perché si è sparsa la voce che Belen è all’ingresso 2.
Potrebbe essere la fine dello spettacolo, con migliaia di persone che si dirigono verso le uscite.
Oppure sì: potrebbe essere l’inizio di un problema serio.
Lo stesso dato può quindi descrivere situazioni completamente diverse.
Ed è proprio qui che, secondo me, bisogna stare attenti.
L’intelligenza artificiale può essere molto brava a riconoscere variazioni, correlazioni e anomalie.
La security deve capire il contesto.
E sono due cose diverse.

---

Una folla non è un’autostrada

Il traffico automobilistico può essere descritto abbastanza bene attraverso alcuni parametri: velocità, densità, direzione, flusso.
Con le persone è molto più complicato.
Le persone non sono particelle.
Hanno paura. Curiosità. Fretta.
Hanno amici da raggiungere, bambini da proteggere, qualcuno che stanno aspettando.
Ricevono informazioni dal telefono, dagli altoparlanti, dagli operatori della sicurezza e, soprattutto, dalle altre persone intorno a loro.
E reagiscono alle nostre decisioni.
Questo è un punto fondamentale.
Se chiudo un’uscita perché l’algoritmo ha rilevato una congestione, posso risolvere il problema.
Ma posso anche spostare migliaia di persone verso un’altra uscita e creare, magari, una congestione ancora peggiore.
È uno dei problemi classici della security: l’intervento modifica il sistema che stiamo cercando di controllare.
Per questo il crowd management non può essere ridotto alla ricerca del famoso numero magico: “persone per metro quadrato”.
Il numero è importante.
Ma il numero, da solo, non racconta la storia.

---

La vera rivoluzione è la qualità della decisione

Questo cambia anche il modo in cui dovremmo valutare una tecnologia di security.
La domanda non dovrebbe essere:
“Quanto è intelligente questo sistema?”
Dovremmo chiederci:
“Quanto migliora la qualità delle nostre decisioni?”
Sono due cose molto diverse.
Un sistema può essere tecnicamente straordinario e avere un valore operativo limitato.
Al contrario, un sistema relativamente semplice può essere estremamente efficace se riesce a fornire all’operatore l’informazione giusta, nel momento giusto e nel modo giusto.
In una sala operativa non serve necessariamente sapere tutto.
Serve sapere che cosa conta.

---

La tentazione della dashboard

C’è poi un altro rischio. Forse ancora più subdolo.
Lo chiamerei dashboard illusion.
Una grande parete di monitor, mappe, grafici, percentuali, flussi, numero delle telecamere.
A un certo punto abbiamo la sensazione di avere tutto sotto controllo.
Ma avere tante informazioni non significa avere situational awareness.
Una sala operativa può essere piena di tecnologia e, contemporaneamente, povera di consapevolezza della situazione.
Perché la situational awareness non significa semplicemente:
“So cosa sta succedendo.”
Significa qualcosa di più:
“So cosa sta succedendo, capisco perché sta succedendo, riesco a immaginare cosa potrebbe succedere dopo e so cosa posso fare per modificarne l’evoluzione.”
È qui che il mestiere del Security Manager diventa, paradossalmente, ancora più importante.

---

L’AI dovrebbe suggerire, non comandare

Questo non significa che dobbiamo avere paura dell’intelligenza artificiale.
Al contrario.
Nei grandi eventi può diventare uno straordinario moltiplicatore della capacità degli operatori.
Può filtrare migliaia di informazioni.
Può individuare anomalie.
Può mettere in relazione eventi apparentemente separati.
Può evidenziare una tendenza prima che diventi evidente all’occhio umano.
Può aiutare a costruire scenari.
Ma c’è una differenza fondamentale tra supportare una decisione e prendere una decisione.
La prima è intelligence.
La seconda è command.
Confondere le due cose sarebbe un errore organizzativo prima ancora che tecnologico.

---

Anche la normativa ci sta dicendo qualcosa

La questione, naturalmente, non è soltanto operativa.
In Europa è diventata anche giuridica.
L’AI Act tratta con particolare cautela l’identificazione biometrica remota in tempo reale negli spazi accessibili al pubblico per finalità di law enforcement. Il principio generale è il divieto, con eccezioni circoscritte e soggette a condizioni specifiche.
Non è soltanto una questione burocratica.
È il riconoscimento di un problema molto concreto: più una tecnologia diventa potente nel riconoscere e classificare le persone, maggiore diventa anche il rischio di utilizzarla in modo sproporzionato.
E questo durante una manifestazione diventa ancora più delicato.
Perché per alcune ore o per alcuni giorni lo spazio pubblico si trasforma in un ambiente nel quale abbiamo una concentrazione enorme di persone, informazioni, tecnologia e decisioni.

---

Il Security Manager deve diventare anche un interprete

Forse questa è una delle conseguenze più interessanti.
Il Security Manager del futuro non dovrà necessariamente conoscere nei dettagli il funzionamento di ogni algoritmo.
Non deve diventare un data scientist.
Deve però sapere che cosa può chiedere a un algoritmo e che cosa non può chiedergli.
Deve conoscere i margini di errore.
Deve capire la qualità dei dati.
Deve sapere quando un alert è significativo e quando potrebbe essere semplicemente rumore.
E soprattutto deve costruire procedure che impediscano alla tecnologia di diventare una scorciatoia decisionale.
La tecnologia deve entrare nel processo di security.
Non deve sostituire il processo di security.

---

Una nuova sala operativa

Forse dovremmo quindi immaginare la sala operativa del futuro non come il luogo nel quale l’intelligenza artificiale “vede al posto nostro”.
Piuttosto, come un sistema nel quale uomo e macchina fanno cose diverse.
La macchina:

– osserva;
– confronta;
– calcola;
– rileva anomalie;
– evidenzia correlazioni;
– propone scenari.

L’uomo:

– interpreta;
– contestualizza;
– valuta;
– decide;
– assume la responsabilità;
– modifica la strategia.

È una divisione del lavoro molto più interessante della semplice automazione.

E, soprattutto, molto più realistica.

---

Il vero rischio non è che l’AI sbagli

C’è però una domanda che considero ancora più importante.
Che cosa succede se l’algoritmo sbaglia e noi ce ne accorgiamo?
È un problema.
Ma possiamo correggerlo.
Il problema davvero pericoloso è quando l’algoritmo sbaglia e noi NON ce ne accorgiamo, perché abbiamo smesso di mettere in discussione quello che ci sta dicendo.
È lì che nasce l’automazione dell’errore.
Ed è una delle cose peggiori che possano capitare nella security.
Un errore umano può essere contestato da un altro essere umano.
Un errore trasformato in un numero, in un grafico, in una mappa termica o in un alert dall’aspetto scientifico rischia invece di acquisire un’autorità che non merita.
Perché il problema non è soltanto sbagliare.
È non sapere di stare sbagliando.

---

La folla non è un algoritmo

Il futuro della security non sarà quindi una scelta tra uomo e tecnologia.
Sarà la capacità di costruire un sistema nel quale la tecnologia aumenti le capacità dell’uomo senza anestetizzarne il giudizio.
La domanda non sarà più:
“Possiamo vedere tutto?”
Probabilmente sì.
La domanda veramente importante sarà:
“Sappiamo distinguere ciò che vediamo da ciò che sta realmente accadendo?”
Perché in security c’è una differenza enorme tra avere una telecamera in più e avere un’informazione in più.
E ancora più grande è la differenza tra avere un’informazione in più e prendere una decisione migliore.
Alla fine, davanti a una folla di 50.000 persone, nessun algoritmo sarà responsabile della decisione.
Qualcuno lo sarà.
Ed è esattamente per questo che, anche nell’era dell’intelligenza artificiale, il fattore umano rimane il più importante sistema di sicurezza che abbiamo.

Fonti essenziali
– European Commission, AI Act – Article 5: Prohibited AI practices.
– European Commission, Navigating the AI Act – biometric identification.
– ISO, ISO 31000:2018 – Risk management — Guidelines.