Nei controlli interni abbiamo sempre diffidato di ciò che era scritto male. Non abbiamo ancora imparato a diffidare di ciò che è scritto troppo bene.
Una funzione di controllo consegna al vertice una relazione. Struttura pulita, dati corretti, riferimenti normativi verificati uno per uno.
Il problema emerge tre mesi dopo: la relazione analizzava il perimetro sbagliato.
Il documento non contiene errori. È la domanda che lo ha generato a essere sbagliata.
Lo strumento ha fatto esattamente ciò che gli era stato chiesto. Ma un anello del sistema dei controlli ha smesso di funzionare senza che nessuno lo decidesse e, soprattutto, senza che nessuno se ne accorgesse.
Un controllo non consiste nel produrre un documento. Consiste nel definire cosa guardare, perché ed entro quale perimetro. È lì che si esercita il giudizio professionale e si assume la responsabilità. La redazione viene dopo.
Quando l’IA entra nel processo, si prende la parte visibile: quella che si misura, si consegna e si presenta al vertice. Ma, se il giudizio non è stato esercitato, un documento impeccabile può nasconderne l’assenza meglio di una relazione scritta male.
Un output che nessuno ha fatto proprio non è un controllo eseguito. È un controllo mancante, con la forma di uno eseguito.
C’è poi un secondo rischio.
Per produrre quell’output sono stati caricati contratti, anagrafiche, posizioni di clienti, esiti di verifiche o dati di dipendenti. Ma nessuno si è chiesto dove finiscano quei dati, chi possa utilizzarli o se lo strumento sia stato valutato e autorizzato.
Perché il gesto è così immediato che non sembra un trattamento.
Chi controlla, in quel momento, sta generando il rischio invece di presidiarlo.
Le competenze, quindi, contano più di prima, non meno.
Chi non padroneggia la materia non riesce a formulare la domanda corretta e non ha modo di accorgersene, perché riceve comunque un risultato ordinato e credibile.
Lo strumento non aggiunge competenza: amplifica quella che c’è, oppure la lacuna che c’è.
Anche la lettura critica dell’output non può essere un passaggio formale aggiunto a valle. Richiede di aver ragionato prima sulla domanda, sul perimetro, sulle fonti, sui dati utilizzati e sulle conclusioni.
L’AI Act la definisce supervisione umana. Nei controlli interni si chiama responsabilità professionale.
È la condizione perché l’IA resti un supporto al giudizio di chi controlla e non diventi il suo surrogato.