L’intelligenza artificiale può entrare nei processi aziendali senza che sia stato avviato un progetto specifico, effettuato un nuovo acquisto o coinvolta la funzione IT. Per utilizzare un servizio generativo può essere sufficiente aprire una pagina web, creare un account personale oppure attivare una funzionalità già presente in un prodotto utilizzato quotidianamente.
È in questo contesto che si parla di Shadow AI, vale a dire l’impiego di sistemi di intelligenza artificiale che non è stato adeguatamente censito, valutato e ricondotto ai meccanismi di controllo dell’organizzazione.
Non è soltanto una questione di strumenti non autorizzati
Il fenomeno richiama quello, più conosciuto, della Shadow IT, ma presenta caratteristiche differenti. Nella Shadow IT il problema nasce principalmente dall’utilizzo di tecnologie o applicazioni non approvate. Nella Shadow AI, invece, lo strumento può anche essere formalmente autorizzato.
Ciò che sfugge al controllo è spesso il modo in cui viene utilizzato, ossia le informazioni che gli vengono affidate, le finalità per le quali viene impiegato e il ruolo che finisce per assumere nei processi aziendali.
Un servizio approvato per riformulare testi pubblici, ad esempio, presenta rischi molto diversi se viene utilizzato per analizzare contratti riservati, valutare curricula o predisporre configurazioni tecniche. Conoscere il prodotto, quindi, non significa necessariamente conoscere gli utilizzi che ne vengono fatti.
Quando un semplice ausilio diventa parte del processo
Un impiego occasionale dell’AI può rimanere un’attività individuale. Quando l’utilizzo viene ripetuto, però, tende progressivamente a modificare il processo nel quale è inserito.
Si pensi a un ufficio che utilizzi un modello generativo per riassumere documenti particolarmente lunghi. Inizialmente il servizio può essere considerato un semplice supporto. Se nel tempo il personale smette di leggere sistematicamente la documentazione originale e basa il proprio lavoro sulle sintesi prodotte, l’AI diventa una componente effettiva del processo, anche se la procedura aziendale non ne riporta l’esistenza.
Può così crearsi una distanza tra il processo formalmente descritto e quello realmente eseguito. L’organizzazione continua a rappresentare l’attività in un modo, mentre nella pratica vengono utilizzati strumenti, passaggi e criteri decisionali che non sono stati valutati.
I rischi non riguardano soltanto la riservatezza
L’inserimento di dati personali, documenti interni, codice sorgente o informazioni riservate all’interno di un servizio esterno rappresenta uno degli scenari più immediati. Fermarsi a questo aspetto, tuttavia, significa osservare soltanto una parte del problema.
Un output inesatto può essere incorporato in un documento, in una configurazione o in una decisione successiva. Se non viene verificato, l’errore può propagarsi e diventare sempre più difficile da riconoscere.
Esiste poi un problema di tracciabilità. In assenza di regole e registrazioni adeguate può risultare difficile ricostruire quali informazioni siano state utilizzate, quale modello abbia prodotto il risultato, quali istruzioni abbia ricevuto e quali verifiche siano state effettuate.
Infine, un’attività può diventare dipendente dalla disponibilità, dai costi e dalle scelte commerciali di un fornitore esterno senza che tale dipendenza sia conosciuta e considerata nei piani di continuità operativa.
Perché vietare non basta
Un divieto generalizzato può avere una funzione, ma difficilmente risolve il problema. Quando gli utenti percepiscono un vantaggio concreto nell’utilizzo dell’AI e non dispongono di alternative o di un percorso semplice per proporre nuovi casi d’uso, l’attività rischia di spostarsi al di fuori della visibilità delle funzioni di controllo.
Una governance efficace deve invece stabilire quali strumenti possano essere utilizzati, con quali informazioni e per quali finalità. Deve inoltre chiarire quando sia necessario coinvolgere le funzioni competenti e chi mantenga la responsabilità della verifica dei risultati.
Anche il controllo umano deve essere sostanziale. Prevedere genericamente che una persona verifichi l’output non è sufficiente se non è chiaro che cosa debba controllare e se non dispone delle competenze, delle informazioni e del tempo necessari per mettere realmente in discussione il risultato.
Conoscere gli utilizzi reali
Governare la Shadow AI non significa soltanto predisporre un elenco di prodotti autorizzati. Significa conoscere gli utilizzi effettivi, le informazioni trattate, il ruolo attribuito ai sistemi e il grado di autonomia loro concesso.
La questione, in definitiva, non consiste nel decidere se utilizzare o meno l’intelligenza artificiale. Consiste nel fare in modo che l’organizzazione sappia dove viene utilizzata, perché viene utilizzata, con quali informazioni e sotto la responsabilità di chi.