Gestione dei rischi legati ai dati nei flussi di lavoro basati sull'intelligenza artificiale

Un addetto al servizio clienti inserisce un reclamo nell’assistente AI e gli chiede di redigere una risposta. Il reclamo contiene il nome del cliente, il numero di conto e la sua anamnesi medica. La risposta viene generata in pochi secondi, modificata e inviata. Non si riscontra alcuna violazione immediata, non viene emesso alcun allarme di sicurezza e l’addetto considera l’attività completata.

Tuttavia, diverse questioni rilevanti rimangono senza risposta. È stato consentito che le informazioni uscissero dall’ambiente controllato dell’azienda? Sono state conservate dal fornitore di IA? Potrebbero essere utilizzate per migliorare il servizio o per l’addestramento dei modelli? Quali subappaltatori le hanno elaborate? L’azienda sarebbe in grado di recuperare il prompt qualora il cliente contestasse in seguito la decisione?

Ecco come i flussi di lavoro basati sull’intelligenza artificiale stanno cambiando il rischio legato ai dati. Il pericolo non si limita più al furto di un database o all’allegato errato di un foglio di calcolo da parte di un dipendente. Le informazioni sensibili passano ora attraverso prompt, sistemi di recupero, interfacce di modelli, plug-in, agenti automatizzati e infrastrutture di terze parti. Il flusso di lavoro può essere più veloce, ma la traccia dei dati è più lunga e spesso meno visibile.

La questione fondamentale dal punto di vista gestionale non è quindi se l’IA riduca l’errore umano, bensì se l’azienda sia ancora a conoscenza di quali informazioni vengano elaborate, dove queste vengano trasmesse, chi possa accedervi e quali azioni automatizzate siano autorizzate ad attivare.

L'automazione può ridurre gli errori e moltiplicarne le conseguenze

I controlli tradizionali sui dati sono stati progettati in gran parte per sistemi con input e output prevedibili. Un’applicazione per la gestione delle buste paga esegue un calcolo prestabilito. Un database clienti memorizza i record in campi noti. L’accesso può essere concesso in base al ruolo professionale, mentre le modifiche significative possono essere registrate e verificate.

Un flusso di lavoro basato sull'intelligenza artificiale funziona in modo diverso. Può classificare le informazioni in arrivo, sintetizzarle, integrarle con documenti interni, generare una raccomandazione e trasmetterla a un altro sistema. Quando sono coinvolti degli agenti, il modello può anche inviare un'e-mail, aggiornare un record, approvare una richiesta di routine o avviare un altro processo automatizzato.

Ciò può eliminare il lavoro manuale ripetitivo. L'intelligenza artificiale può aiutare a individuare modelli di accesso insoliti, identificare informazioni sensibili, classificare documenti e segnalare transazioni da sottoporre a revisione. Può anche riprodurre lo stesso errore in migliaia di casi prima che qualcuno se ne accorga.

Un dipendente che fraintende una politica potrebbe gestire in modo errato diversi record. Un flusso di lavoro automatizzato che si basa sulla stessa interpretazione errata potrebbe invece gestire in modo errato tutti i record corrispondenti presenti nel sistema. Il vantaggio in termini di efficienza e il rischio di controllo derivano dalla stessa caratteristica: la scalabilità.

Le aziende dovrebbero quindi smettere di considerare il concetto di “human in the loop” come una soluzione sufficiente. È improbabile che una persona che approva diverse centinaia di decisioni generate dall’intelligenza artificiale nel corso di un pomeriggio riesca a valutarle in modo approfondito. La supervisione umana è utile solo quando chi effettua la revisione dispone di informazioni, autorità e tempo sufficienti per intervenire.

Il prompt è diventato un nuovo canale di trasferimento dati

Molte organizzazioni hanno trascorso anni a limitare le modalità con cui i dipendenti potevano esportare elenchi di clienti, documenti contabili e documenti sensibili dal punto di vista commerciale. L’IA generativa ha creato una via alternativa meno ovvia: la finestra di prompt.

Un dipendente può incollare parte di un contratto in un'applicazione ausiliaria per ottenere un riepilogo, caricare dati di vendita per l'analisi o inserire l'indirizzo e-mail di un cliente affinché il sistema possa redigere una risposta. L'operazione può sembrare più simile all'uso di un motore di ricerca che al trasferimento di dati a un elaboratore esterno, anche se dal punto di vista della governance potrebbe trattarsi proprio di questo.

Questo cambia il significato pratico della prevenzione della perdita di dati. Non è più sufficiente monitorare gli allegati e-mail, i dispositivi USB e le piattaforme di condivisione file. Le aziende devono capire a quali interfacce di intelligenza artificiale i dipendenti possano accedere, quali categorie di informazioni possano essere inserite e quali controlli tecnici impediscano che il materiale soggetto a restrizioni esca dagli ambienti approvati.

Un divieto generalizzato raramente rappresenta una soluzione efficace a lungo termine. I dipendenti potrebbero ricorrere ad account personali o strumenti non autorizzati qualora ritengano che l’IA migliori in modo significativo il loro lavoro. Un approccio più efficace consiste nel fornire un ambiente aziendale autorizzato, spiegare quali informazioni sono vietate e applicare controlli in grado di individuare o oscurare i dati personali, riservati e soggetti a normative prima che raggiungano un modello.

La politica deve essere più precisa del semplice “non inserire informazioni sensibili”. Un addetto alle vendite deve sapere se ciò include i nomi dei clienti, i dettagli della pipeline, i prezzi, i termini contrattuali, i verbali delle riunioni e le previsioni interne. Un ingegnere ha bisogno di indicazioni analoghe per quanto riguarda il codice sorgente, i progetti dei prodotti, le credenziali e le informazioni sulle vulnerabilità.

Senza esempi concreti, una politica sull'intelligenza artificiale è solo un documento che i dipendenti prendono atto e poi interpretano a modo loro.

Il recupero crea un problema di autorizzazioni

Molti sistemi di intelligenza artificiale aziendali utilizzano la generazione potenziata dal recupero (Retrieval-Augmented Generation), comunemente nota come RAG. Anziché basarsi esclusivamente sull’addestramento generale di un modello, l’applicazione effettua ricerche in fonti interne approvate e fornisce al modello materiale pertinente al momento di rispondere a una domanda.

Questo può rendere un assistente molto più utile. Un dipendente potrebbe chiedere informazioni su una politica di viaggio, una procedura tecnica o l'account di un cliente e ricevere una risposta basata sui dati aziendali.

Ciò comporta inoltre un grave problema di controllo degli accessi. L’assistente non deve recuperare documenti che l’utente non ha mai avuto il diritto di consultare.

Un sistema mal progettato potrebbe collegarsi a un ampio archivio di documenti senza preservare fedelmente le autorizzazioni sottostanti. Un dipendente che non riuscisse a individuare un file relativo alla retribuzione dei dirigenti tramite l’interfaccia standard potrebbe comunque ottenerne il contenuto ponendo all’assistente una domanda sufficientemente specifica.

Il rischio aumenta quando le autorizzazioni non sono uniformi tra unità condivise, piattaforme di collaborazione e sistemi legacy. L’intelligenza artificiale non crea tali vulnerabilità, ma può renderle molto più facili da sfruttare. Informazioni che in precedenza richiedevano perseveranza e conoscenza della struttura dei file dell’azienda possono diventare accessibili tramite domande formulate in linguaggio naturale.

Prima di collegare un assistente IA alla base di conoscenza interna, l’azienda dovrebbe verificare se le autorizzazioni del sistema di origine vengono ereditate e applicate al momento della query. Dovrebbe inoltre verificare se le risposte generate rivelino informazioni attraverso sintesi, confronti o deduzioni anche quando il documento originale non viene visualizzato.

I test di accesso devono includere richieste ostili realistiche. Non è sufficiente verificare che un dipendente autorizzato sia in grado di recuperare la politica corretta. Il team deve inoltre verificare se un dipendente non autorizzato sia in grado di indurre il sistema a divulgare indirettamente materiale riservato.

Una maggiore quantità di dati non garantisce automaticamente un flusso di lavoro migliore

I progetti di intelligenza artificiale partono spesso dal presupposto che le prestazioni miglioreranno se il modello potrà accedere a un maggior numero di informazioni. Ciò spinge i team a combinare i dati relativi ai clienti, le comunicazioni, la cronologia delle transazioni e i dati comportamentali prima di decidere quali campi siano effettivamente necessari.

Si tratta dell'opposto della minimizzazione dei dati. Amplia le potenziali conseguenze di una violazione, aumenta la probabilità che le informazioni vengano utilizzate al di fuori della loro finalità originaria e rende più difficile la cancellazione o la rettifica.

Un addetto alle assunzioni, ad esempio, potrebbe aver bisogno di conoscere le competenze, l’esperienza e le risposte alle domande relative al lavoro fornite da un candidato. Non ha necessariamente bisogno di fotografie, data di nascita, informazioni sulla famiglia o metadati storici relativi a tutte le candidature precedenti. Un modello di fidelizzazione dei clienti potrebbe richiedere i dati relativi all’attività recente sull’account senza bisogno di un accesso illimitato a tutta la corrispondenza mai inviata dal cliente.

La minimizzazione dei dati dovrebbe essere integrata nell'architettura del flusso di lavoro. Il sistema dovrebbe ricevere solo le informazioni necessarie per l'attività specifica, per il periodo più breve giustificabile. Gli identificatori irrilevanti possono essere rimossi, i campi altamente sensibili separati e i dati trasformati prima di essere forniti al modello.

Ciò migliora anche la tracciabilità. Quando un flusso di lavoro produce un risultato inaspettato, è più facile analizzare un insieme definito di dati di input piuttosto che una raccolta indiscriminata proveniente da diversi sistemi aziendali.

La qualità dei dati diventa uno strumento di controllo operativo

Nella reportistica tradizionale, dati di scarsa qualità possono portare alla creazione di un grafico o di un report gestionale impreciso. In un flusso di lavoro automatizzato basato sull'intelligenza artificiale, possono invece causare una decisione o un'azione errata.

Si consideri, ad esempio, una compagnia assicurativa che utilizza l’intelligenza artificiale per smistare le richieste di risarcimento. Un codice di polizza non aggiornato potrebbe far finire una richiesta legittima nella coda delle frodi. Un record cliente duplicato potrebbe indurre un addetto al servizio clienti a fornire informazioni contraddittorie. L’assenza di un indicatore di consenso potrebbe comportare l’utilizzo di dati personali in un flusso di lavoro dal quale avrebbero dovuto essere esclusi.

Il problema non si risolve scegliendo un modello più potente. Le prestazioni del modello non possono compensare in modo coerente dati di origine inaffidabili, campi non definiti o record contraddittori.

Le aziende devono considerare le soglie di qualità dei dati come condizioni preliminari all'implementazione. Prima di automatizzare un flusso di lavoro, il responsabile deve sapere quali fonti vengono utilizzate, quanto siano aggiornate, quale percentuale di record sia incompleta e quali errori potrebbero influire in modo significativo sul risultato.

Il parametro di riferimento non è semplicemente l'accuratezza del modello. Potrebbe trattarsi del numero di casi smistati in modo errato, della percentuale di casi che richiedono una correzione manuale, del tasso di falsi allarmi di frode o del numero di clienti che ricevono consigli basati su informazioni non aggiornate.

Tali misure collegano le prestazioni tecniche a una conseguenza operativa.

La catena di approvvigionamento basata sull'intelligenza artificiale fa parte del perimetro dei dati

Un'applicazione di intelligenza artificiale aziendale raramente consiste in un unico sistema fornito da una sola azienda. Può basarsi su un modello di base, un'infrastruttura cloud, un livello di orchestrazione, un database vettoriale, un software di monitoraggio, plug-in e fonti di dati esterne.

Ogni componente può influire sulle modalità di elaborazione e protezione delle informazioni. Un’azienda potrebbe avere un contratto con il fornitore dell’applicazione senza sapere quale modello riceva i prompt, dove vengano memorizzati gli embedding o se i log diagnostici contengano informazioni sui clienti.

I questionari tradizionali rivolti ai fornitori sono spesso troppo generici per questo tipo di architettura. Chiedere se un fornitore rispetta uno standard di sicurezza non chiarisce se le richieste degli utenti vengano conservate, se i dati dei clienti vengano utilizzati per migliorare i modelli o cosa accada in caso di cambio di subappaltatore.

I team addetti agli appalti dovrebbero richiedere un diagramma di flusso dei dati per ogni flusso di lavoro significativo che coinvolga l'intelligenza artificiale. Tale diagramma dovrebbe illustrare le categorie di informazioni raccolte, i sistemi attraverso i quali transitano, i luoghi in cui vengono archiviate, i periodi di conservazione e i soggetti autorizzati ad accedervi.

Il contratto dovrebbe inoltre prevedere le modifiche al modello e ai componenti. Un servizio di intelligenza artificiale può subire modifiche sostanziali quando il fornitore sostituisce il modello sottostante, modifica i filtri di sicurezza o introduce un nuovo subappaltatore. Un flusso di lavoro approvato in base a una determinata configurazione non dovrebbe rimanere approvato a tempo indeterminato dopo che la sua base tecnica è cambiata.

Il rischio legato al fornitore diventa quindi un rischio continuo, anziché concentrarsi al momento dell'acquisto.

L'intelligenza artificiale comporta rischi per la sicurezza che i filtri convenzionali potrebbero non rilevare

I sistemi di intelligenza artificiale presentano i consueti rischi legati alla sicurezza informatica, quali accessi non protetti, credenziali esposte e componenti software vulnerabili. Inoltre, introducono nuove modalità di attacco legate al modo in cui i modelli interpretano le istruzioni e i dati.

L'iniezione di prompt ne è un esempio. È possibile inserire istruzioni dannose in un documento, in una pagina web, in un messaggio o in altri contenuti elaborati dal modello. Il sistema potrebbe considerare tali istruzioni come autorevoli e ignorare le regole previste dall'organizzazione.

Immaginate un agente di intelligenza artificiale che esamini le fatture dei fornitori ricevute via e-mail. Un documento manomesso potrebbe contenere del testo nascosto che istruisca l’agente a ignorare le indicazioni precedenti, a estrarre informazioni interne o a reindirizzare il flusso di lavoro. Il rischio è maggiore quando il sistema può accedere ad altri dati o intraprendere azioni senza un’autorizzazione specifica.

Un altro problema è rappresentato dall’avvelenamento dei dati. Se i dati utilizzati per l’addestramento, il test o il recupero vengono manipolati, il sistema potrebbe apprendere o ripetere comportamenti indesiderati. La divulgazione di informazioni sensibili può verificarsi quando un modello rivela contenuti riservati attraverso i propri risultati, sia che tali informazioni compaiano in un prompt, in una base di conoscenza collegata o in un set di dati gestito in modo improprio.

Questi rischi richiedono ben più della semplice sensibilizzazione dei dipendenti. Il sistema deve prevedere autorizzazioni limitate, zone di fiducia separate, monitoraggio degli input e degli output, limiti di frequenza e approvazione esplicita prima di intraprendere azioni con conseguenze significative. I contenuti recuperati da una fonte esterna non dovrebbero essere automaticamente considerati come istruzioni affidabili.

Il principio di progettazione più sicuro consiste nel conferire all’IA solo l’autorità minima necessaria. Un sistema che redige un ordine di pagamento presenta meno rischi rispetto a uno in grado di inviare il pagamento senza una verifica indipendente.

La registrazione dei dati è fondamentale, ma genera un altro insieme di dati sensibili

Quando un flusso di lavoro basato sull'intelligenza artificiale produce una decisione contestata, l'azienda deve ricostruire l'accaduto. A tal fine potrebbero essere necessari il prompt, i documenti recuperati, la versione del modello, la risposta generata, l'identità dell'utente, le istruzioni di sistema e le azioni successive.

Senza tali dati, l'indagine si riduce a una serie di supposizioni. L'organizzazione potrebbe sapere che è stato utilizzato uno strumento di intelligenza artificiale, senza però essere in grado di spiegare quali informazioni abbiano influenzato il risultato.

Eppure anche i log possono diventare di per sé altamente sensibili. La cronologia dei prompt può contenere reclami dei clienti, informazioni sanitarie, clausole contrattuali, codice sorgente o discussioni tra dipendenti. Archiviare tutto a tempo indeterminato crea una nuova concentrazione di rischio.

La risposta sta in una registrazione selettiva e mirata. Le organizzazioni dovrebbero stabilire quali dati siano necessari ai fini della sicurezza, degli audit, della conformità normativa e del monitoraggio delle prestazioni, per poi definire di conseguenza le regole di accesso e conservazione.

Un assistente alla scrittura a basso rischio potrebbe richiedere registri operativi limitati. Un flusso di lavoro che influisce sul credito, sull’occupazione, sulle assicurazioni o sull’accesso a servizi essenziali potrebbe invece richiedere una traccia di controllo molto più completa.

I log dovrebbero inoltre registrare le modifiche alla configurazione. Se un modello viene aggiornato, un modello di prompt modificato o viene collegata una nuova fonte di dati, l’organizzazione deve sapere quali decisioni sono state prese e in quale versione.

La governance deve seguire il flusso di lavoro, non il budget destinato alla tecnologia

Molte aziende affidano la governance dell'intelligenza artificiale a un comitato per l'innovazione, mentre la protezione dei dati rimane di competenza dell'ufficio legale, la sicurezza informatica di quella del reparto IT e il rischio operativo delle singole unità aziendali. Il risultato è una supervisione frammentata dei flussi di lavoro che interessano tutte e quattro le aree.

Un’unità di governance più efficace è il caso d’uso. Ogni flusso di lavoro significativo dovrebbe avere un responsabile aziendale designato, incaricato di garantirne i risultati, un responsabile tecnico incaricato dell’implementazione e specialisti chiaramente identificati che si occupino di sicurezza, privacy, aspetti legali e gestione dei documenti.

Prima della messa in opera, il team dovrebbe essere in grado di rispondere a diverse domande pratiche:

Quale decisione o processo aziendale viene modificato?

Quali dati vengono inseriti nel flusso di lavoro e su quale base giuridica e operativa?

Quali sistemi e soggetti terzi ne vengono in possesso?

Quali errori potrebbero causare un danno materiale?

Quali azioni può intraprendere l'IA senza autorizzazione?

In che modo gli utenti potranno contestare o correggere il risultato?

In quale circostanza sarebbe necessario sospendere il flusso di lavoro?

Queste domande sono più utili rispetto al semplice chiedersi se l’azienda disponga di una strategia in materia di intelligenza artificiale. Esse rivelano se qualcuno comprenda il sistema abbastanza bene da poterlo gestire in modo responsabile.

Inizia con un registro dei flussi di lavoro basati sull'intelligenza artificiale

Il primo passo concreto consiste nel fare un inventario. Molte organizzazioni non riescono a gestire efficacemente l’IA perché non sanno dove venga utilizzata.

Il registro dovrebbe includere gli strumenti acquistati, i sistemi sviluppati internamente, le funzionalità di intelligenza artificiale integrate nel software esistente e gli utilizzi, da parte dei dipendenti, degli assistenti generici. Ogni voce dovrebbe indicare lo scopo aziendale, le categorie di dati, il titolare, il fornitore, il modello, le integrazioni, l’importanza ai fini decisionali e il livello di supervisione umana.

L'esercizio metterà spesso in luce casi di "AI nascosta", strumenti duplicati e sistemi che utilizzano più dati di quanto giustificato dal business case. Tali risultati non dovrebbero essere considerati solo come casi di mancata conformità. Sono la prova che i dipendenti stanno cercando di risolvere problemi reali legati al flusso di lavoro senza seguire una procedura approvata.

L'organizzazione può quindi classificare i casi d'uso in base alle conseguenze. Un assistente che riformatta il testo interno non richiede lo stesso ambiente di controllo di un sistema che valuta se concedere o meno un prestito a un cliente. La governance dovrebbe essere proporzionata, ma non dovrebbe mancare.

I flussi di lavoro ad alto rischio richiedono test formali prima del lancio, tra cui una valutazione della privacy, una revisione della sicurezza, test adversarial, controlli sulla qualità dei dati e soglie di prestazione ben definite. Richiedono inoltre un metodo affidabile per interrompere o annullare il processo qualora il sistema si comporti al di fuori di tali limiti.

Il rischio non è più solo quello di perdere i dati

L'intelligenza artificiale modifica il rischio legato ai dati, poiché le informazioni non vengono più semplicemente archiviate e recuperate, ma vengono interpretate, combinate, utilizzate per trarne conclusioni e impiegate per prendere decisioni.

Un'azienda può proteggere il record originale del cliente pur generando da esso un profilo inesatto. Può impedire l'accesso non autorizzato al database pur consentendo a un assistente di divulgare dettagli riservati in una risposta generata. Può conservare registri di audit completi, ma scoprire che nessuno è incaricato di esaminarli.

I programmi di governance dell'IA più efficaci non saranno quelli che approvano il maggior numero di strumenti o redigono le linee guida più lunghe, bensì quelli che garantiscono una chiara catena di responsabilità, dall'inserimento dei dati fino al risultato operativo.

Prima che un flusso di lavoro basato sull’intelligenza artificiale entri in funzione, la direzione dovrebbe essere in grado di identificare i dati di cui ha bisogno, l’autorità che gli viene conferita, gli errori che può commettere e la persona autorizzata a interromperlo. Quando queste risposte non sono chiare, l’automazione non ha ridotto il rischio legato ai dati dell’azienda, ma si è limitata a renderlo più rapido.