Zarządzanie ryzykiem związanym z danymi w procesach opartych na sztucznej inteligencji

Pracownik działu obsługi klienta wprowadza treść skargi do asystenta opartego na sztucznej inteligencji i prosi go o przygotowanie odpowiedzi. Skarga zawiera imię i nazwisko klienta, numer konta oraz historię medyczną. Odpowiedź powstaje w ciągu kilku sekund, zostaje zredagowana i wysłana. Nie widać żadnego naruszenia bezpieczeństwa, nie rozlega się żaden sygnał ostrzegawczy, a pracownik uznaje zadanie za wykonane.

Jednak kilka istotnych pytań pozostaje bez odpowiedzi. Czy zezwolono na przekazanie tych informacji poza środowisko kontrolowane przez firmę? Czy zostały one zachowane przez dostawcę rozwiązań AI? Czy mogłyby zostać wykorzystane do ulepszenia usług lub szkolenia modeli? Którzy podwykonawcy je przetwarzali? Czy firma byłaby w stanie odzyskać treść zapytania, gdyby klient później zakwestionował podjętą decyzję?

Oto, w jaki sposób procesy oparte na sztucznej inteligencji zmieniają oblicze ryzyka związanego z danymi. Zagrożenie nie ogranicza się już wyłącznie do kradzieży bazy danych lub załączenia przez pracownika niewłaściwego arkusza kalkulacyjnego. Poufne informacje przechodzą obecnie przez monity, systemy wyszukiwania, interfejsy modeli, wtyczki, zautomatyzowane agenty oraz infrastrukturę stron trzecich. Przepływ pracy może być szybszy, ale ślad danych jest dłuższy i często mniej widoczny.

Najważniejsze pytanie dotyczące zarządzania nie dotyczy zatem tego, czy sztuczna inteligencja ogranicza liczbę błędów ludzkich. Chodzi o to, czy firma nadal wie, jakie informacje są przetwarzane, dokąd trafiają, kto ma do nich dostęp oraz jakie zautomatyzowane działania mogą być przez nie uruchamiane.

Automatyzacja może ograniczyć liczbę błędów, ale jednocześnie spotęgować ich skutki

Tradycyjne mechanizmy kontroli danych zostały w dużej mierze zaprojektowane z myślą o systemach o przewidywalnych danych wejściowych i wyjściowych. Aplikacja do obsługi płac wykonuje określone obliczenia. Baza danych klientów przechowuje rekordy w znanych polach. Dostęp można przyznawać zgodnie z pełnioną funkcją, a istotne zmiany mogą być rejestrowane i weryfikowane.

Proces oparty na sztucznej inteligencji działa inaczej. Może on klasyfikować napływające informacje, podsumowywać je, łączyć z dokumentami wewnętrznymi, generować zalecenia i przekazywać je do innego systemu. W przypadku zaangażowania agentów model może również wysłać wiadomość e-mail, zaktualizować rekord, zatwierdzić rutynowy wniosek lub zainicjować inny zautomatyzowany proces.

Dzięki temu można wyeliminować powtarzalne czynności wykonywane ręcznie. Sztuczna inteligencja może pomóc w wykrywaniu nietypowych wzorców dostępu, identyfikowaniu informacji wrażliwych, klasyfikowaniu dokumentów oraz oznaczaniu transakcji do weryfikacji. Może również powielać ten sam błąd w tysiącach przypadków, zanim ktokolwiek to zauważy.

Pracownik, który błędnie zinterpretuje zasady, może nieprawidłowo przetworzyć kilka rekordów. Zautomatyzowany proces oparty na tej samej błędnej interpretacji może natomiast nieprawidłowo przetworzyć wszystkie kwalifikujące się rekordy w systemie. Korzyści w zakresie wydajności oraz ryzyko związane z kontrolą wynikają z tej samej cechy: skali.

Firmy powinny zatem przestać traktować podejście “human in the loop” jako wystarczające rozwiązanie. Osoba, która w ciągu jednego popołudnia zatwierdza kilkaset decyzji wygenerowanych przez sztuczną inteligencję, raczej nie jest w stanie rzetelnie ocenić każdej z nich. Nadzór ludzki ma sens tylko wtedy, gdy osoba sprawdzająca dysponuje wystarczającymi informacjami, uprawnieniami i czasem, by podjąć odpowiednie działania.

Prompt stał się nowym kanałem przesyłania danych

Wiele organizacji przez lata ograniczało pracownikom możliwość eksportowania list klientów, dokumentacji finansowej i dokumentów zawierających informacje poufne o charakterze handlowym. Generatywna sztuczna inteligencja stworzyła mniej oczywistą metodę: pole polecenia.

Pracownik może wkleić fragment umowy do asystenta, aby uzyskać jej streszczenie, przesłać dane dotyczące sprzedaży do analizy lub podać adres e-mail klienta, aby system mógł sporządzić odpowiedź. Czynność ta może wydawać się bardziej podobna do korzystania z wyszukiwarki niż do przekazywania danych do zewnętrznego procesora, choć z punktu widzenia zarządzania może właśnie na tym polegać.

To zmienia praktyczne znaczenie zapobiegania utracie danych. Nie wystarczy już monitorować załączników do wiadomości e-mail, urządzeń USB i platform do udostępniania plików. Firmy muszą wiedzieć, do jakich interfejsów opartych na sztucznej inteligencji mają dostęp pracownicy, jakie kategorie informacji mogą być tam wprowadzane oraz jakie środki techniczne zapobiegają przedostawaniu się materiałów objętych ograniczeniami poza zatwierdzone środowiska.

Całkowity zakaz rzadko stanowi skuteczne rozwiązanie w perspektywie długoterminowej. Pracownicy mogą zacząć korzystać z kont prywatnych lub niezatwierdzonych narzędzi, jeśli uznają, że sztuczna inteligencja znacząco usprawnia ich pracę. Skuteczniejszym podejściem jest zapewnienie zatwierdzonego środowiska korporacyjnego, wyjaśnienie, jakie informacje są zabronione, oraz wdrożenie mechanizmów kontrolnych, które wykrywają lub maskują dane osobowe, poufne i podlegające regulacjom, zanim trafią one do modelu.

Zasady muszą być sformułowane bardziej precyzyjnie niż tylko “nie wprowadzać poufnych informacji”. Pracownik działu sprzedaży musi wiedzieć, czy obejmuje to nazwiska klientów, szczegóły dotyczące potencjalnych transakcji, ceny, warunki umów, protokoły spotkań oraz wewnętrzne prognozy. Inżynier potrzebuje podobnych wytycznych dotyczących kodu źródłowego, projektów produktów, danych uwierzytelniających oraz informacji o lukach w zabezpieczeniach.

Bez konkretnych przykładów z praktyki polityka dotycząca sztucznej inteligencji jest jedynie dokumentem, który pracownicy przyjmują do wiadomości, a następnie interpretują na własną rękę.

Pobieranie danych powoduje problem z uprawnieniami

Wiele korporacyjnych systemów sztucznej inteligencji wykorzystuje technologię generowania wspomaganego wyszukiwaniem (RAG). Zamiast opierać się wyłącznie na ogólnym szkoleniu modelu, aplikacja przeszukuje zatwierdzone źródła wewnętrzne i dostarcza modelowi odpowiednie materiały podczas udzielania odpowiedzi na pytanie.

Dzięki temu asystent może stać się znacznie bardziej przydatny. Pracownik może zapytać o zasady dotyczące podróży służbowych, procedurę techniczną lub konto klienta i otrzymać odpowiedź opartą na danych firmowych.

Powoduje to również poważny problem związany z kontrolą dostępu. Asystent nie może udostępniać dokumentów, do których użytkownik nigdy nie miał uprawnień.

Źle zaprojektowany system może łączyć się z rozległym repozytorium dokumentów bez wiernego zachowania przypisanych do nich uprawnień. Pracownik, który nie zdołał znaleźć pliku dotyczącego wynagrodzeń kadry kierowniczej za pośrednictwem standardowego interfejsu, może mimo to uzyskać dostęp do jego treści, zadając asystentowi wystarczająco konkretne pytanie.

Ryzyko wzrasta, gdy uprawnienia są niespójne na dyskach współdzielonych, platformach do współpracy i systemach starszego typu. Sztuczna inteligencja nie powoduje tych słabych punktów, ale może znacznie ułatwić ich wykorzystanie. Informacje, których uzyskanie wymagało wcześniej wytrwałości i znajomości struktury plików firmy, mogą stać się dostępne dzięki pytaniom formułowanym w języku naturalnym.

Przed podłączeniem asystenta AI do wewnętrznej bazy wiedzy firma powinna sprawdzić, czy uprawnienia systemu źródłowego są dziedziczone i egzekwowane w momencie wysyłania zapytania. Powinna również zbadać, czy generowane odpowiedzi ujawniają informacje poprzez streszczenia, porównania lub wnioskowanie, nawet jeśli oryginalny dokument nie jest wyświetlany.

Testy dostępu muszą obejmować realistyczne żądania typu „adversarial”. Nie wystarczy sprawdzić, czy uprawniony pracownik może uzyskać dostęp do właściwej polityki. Zespół musi również sprawdzić, czy nieuprawniony pracownik jest w stanie skłonić system do pośredniego ujawnienia materiałów poufnych.

Większa ilość danych nie oznacza automatycznie lepszego przebiegu pracy

Projekty z zakresu sztucznej inteligencji często opierają się na założeniu, że wydajność wzrośnie, jeśli model będzie miał dostęp do większej ilości informacji. To skłania zespoły do łączenia danych klientów, korespondencji, historii transakcji i danych behawioralnych, zanim zdecydują, które pola są faktycznie niezbędne.

Jest to przeciwieństwo zasady minimalizacji danych. Powoduje to zwiększenie potencjalnych skutków naruszenia, podnosi prawdopodobieństwo wykorzystania informacji w celach innych niż pierwotnie przewidziane oraz utrudnia ich usunięcie lub poprawienie.

Na przykład asystent ds. rekrutacji może potrzebować informacji o umiejętnościach kandydata, jego doświadczeniu oraz odpowiedziach na pytania związane z pracą. Niekoniecznie potrzebuje zdjęć, daty urodzenia, informacji o rodzinie ani danych historycznych z każdej poprzedniej aplikacji. Model utrzymania klientów może wymagać danych dotyczących ostatnich działań na koncie, bez konieczności posiadania nieograniczonego dostępu do całej korespondencji, jaką klient kiedykolwiek wysłał.

Zasada minimalizacji danych powinna być wbudowana w architekturę przepływu pracy. System powinien otrzymywać wyłącznie informacje niezbędne do wykonania konkretnego zadania, na najkrótszy uzasadniony okres. Przed przekazaniem danych do modelu można usunąć nieistotne identyfikatory, wyodrębnić pola zawierające dane szczególnie wrażliwe oraz przekształcić dane.

Poprawia to również rozliczalność. Gdy proces biznesowy prowadzi do nieoczekiwanego wyniku, łatwiej jest przeanalizować określony zestaw danych wejściowych niż przypadkowy zbiór danych zebranych z wielu systemów korporacyjnych.

Jakość danych staje się elementem kontroli operacyjnej

W tradycyjnym systemie sprawozdawczości dane niskiej jakości mogą skutkować powstaniem niedokładnego wykresu lub raportu zarządczego. W zautomatyzowanym procesie opartym na sztucznej inteligencji może to prowadzić do podjęcia błędnej decyzji lub wykonania niewłaściwego działania.

Weźmy na przykład ubezpieczyciela, który wykorzystuje sztuczną inteligencję do kierowania zgłoszeń szkód. Przestarzały kod polisy może spowodować, że uzasadnione zgłoszenie trafi do kolejki spraw dotyczących oszustw. Zduplikowany rekord klienta może sprawić, że pracownik obsługi klienta udzieli sprzecznych informacji. Brak wskaźnika zgody może spowodować, że dane osobowe zostaną wykorzystane w procesie, z którego powinny były zostać wykluczone.

Wybranie modelu o większej mocy obliczeniowej nie rozwiązuje tego problemu. Wydajność modelu nie jest w stanie w sposób stały zrekompensować niewiarygodnych danych źródłowych, nieokreślonych pól lub sprzecznych wpisów.

Przedsiębiorstwa powinny traktować progi jakości danych jako warunki wdrożenia. Przed zautomatyzowaniem przepływu pracy jego właściciel powinien wiedzieć, z jakich źródeł korzysta, na ile są one aktualne, jaki procent rekordów jest niekompletny oraz które błędy mogą mieć istotny wpływ na wynik.

Istotnym wskaźnikiem nie jest wyłącznie dokładność modelu. Może to być liczba przypadków, które zostały nieprawidłowo zaklasyfikowane, odsetek przypadków wymagających korekty przez człowieka, wskaźnik fałszywych alertów o oszustwach lub liczba klientów otrzymujących porady oparte na nieaktualnych informacjach.

Środki te łączą parametry techniczne z konsekwencjami operacyjnymi.

Łańcuch dostaw oparty na sztucznej inteligencji stanowi część granicy danych

Aplikacja AI dla przedsiębiorstw rzadko stanowi pojedynczy system dostarczany przez jedną firmę. Może ona opierać się na modelu bazowym, infrastrukturze chmurowej, warstwie koordynacyjnej, bazie danych wektorowej, oprogramowaniu do monitorowania, wtyczkach oraz zewnętrznych źródłach danych.

Każdy element może wpływać na sposób przetwarzania i ochrony informacji. Firma może mieć podpisaną umowę z dostawcą aplikacji, nie mając jednocześnie świadomości, który dostawca modelu otrzymuje zapytania, gdzie przechowywane są reprezentacje modelowe ani czy logi diagnostyczne zawierają dane klientów.

Tradycyjne kwestionariusze dla dostawców są często zbyt ogólne w kontekście tej architektury. Pytanie o to, czy dostawca spełnia normę bezpieczeństwa, nie wyjaśnia, czy zapytania są przechowywane, czy dane klientów są wykorzystywane do ulepszania modeli ani co się dzieje w przypadku zmiany podwykonawcy.

Zespoły ds. zamówień powinny zażądać schematu przepływu danych dla każdego istotnego procesu opartego na sztucznej inteligencji. Schemat ten powinien przedstawiać kategorie gromadzonych informacji, systemy, przez które przechodzą, lokalizacje, w których są przechowywane, okresy przechowywania oraz podmioty mające do nich dostęp.

Umowa powinna również obejmować zmiany modeli i komponentów. Usługa oparta na sztucznej inteligencji może ulec istotnym zmianom, gdy dostawca wymieni model bazowy, zmodyfikuje filtry bezpieczeństwa lub wprowadzi nowego podwykonawcę przetwarzającego dane. Proces zatwierdzony w odniesieniu do jednej konfiguracji nie powinien pozostawać zatwierdzony na czas nieokreślony po zmianie jego podstawy technicznej.

Ryzyko związane z dostawcą ma zatem charakter ciągły, a nie skupia się wyłącznie w momencie zakupu.

Sztuczna inteligencja wiąże się z zagrożeniami dla bezpieczeństwa, które mogą umknąć tradycyjnym filtrom

Systemy sztucznej inteligencji niosą ze sobą znane zagrożenia dla cyberbezpieczeństwa, takie jak niebezpieczny dostęp, ujawnione dane uwierzytelniające oraz podatne na ataki komponenty oprogramowania. Wprowadzają one również nowe metody ataków związane ze sposobem, w jaki modele interpretują instrukcje i dane.

Jednym z przykładów jest wstrzyknięcie poleceń. Złośliwe instrukcje mogą zostać umieszczone w dokumencie, na stronie internetowej, w wiadomości lub w innej treści przetwarzanej przez model. System może potraktować te instrukcje jako wiążące i zignorować zasady ustalone przez organizację.

Wyobraźmy sobie agenta opartego na sztucznej inteligencji, który weryfikuje faktury od dostawców otrzymywane pocztą elektroniczną. Zmanipulowany dokument może zawierać ukryty tekst nakazujący agentowi zignorowanie wcześniejszych wytycznych, pozyskanie informacji wewnętrznych lub zmianę przebiegu procesu. Ryzyko jest większe, gdy system ma dostęp do innych danych lub może podejmować działania bez oddzielnego upoważnienia.

Kolejnym problemem jest zafałszowanie danych. Jeśli dane szkoleniowe, testowe lub wykorzystywane do wyszukiwania zostaną zmanipulowane, system może nauczyć się lub powtórzyć niepożądane zachowanie. Do ujawnienia informacji wrażliwych może dojść, gdy model ujawni poufne treści w swoich wynikach — niezależnie od tego, czy informacje te pojawiły się w poleceniu, w powiązanej bazie wiedzy, czy też w nieprawidłowo zarządzanym zbiorze danych.

Ryzyko to wymaga czegoś więcej niż tylko świadomości pracowników. System musi posiadać ograniczone uprawnienia, oddzielne strefy zaufania, monitorowanie danych wejściowych i wyjściowych, ograniczenia szybkości oraz wymóg wyraźnej zgody przed podjęciem działań o istotnych konsekwencjach. Treści pobierane ze źródeł zewnętrznych nie powinny być automatycznie traktowane jako wiarygodne instrukcje.

Najbezpieczniejszą zasadą projektowania jest przyznanie sztucznej inteligencji tylko minimalnych uprawnień, jakie są niezbędne. System, który sporządza zlecenie płatnicze, wiąże się z mniejszym ryzykiem niż taki, który może wysłać płatność bez niezależnej weryfikacji.

Prowadzenie dziennika jest niezbędne, ale tworzy kolejny zbiór danych wrażliwych

Gdy proces oparty na sztucznej inteligencji prowadzi do podjęcia kontrowersyjnej decyzji, firma musi odtworzyć przebieg zdarzeń. Może to wymagać podania komunikatu, odzyskania dokumentów, wersji modelu, wygenerowanej odpowiedzi, tożsamości użytkownika, instrukcji systemowych oraz podjętych w następstwie działań.

Bez tych danych dochodzenie sprowadza się do zgadywania. Organizacja może wiedzieć, że w procesie wykorzystano narzędzie oparte na sztucznej inteligencji, ale nie jest w stanie wyjaśnić, które informacje wpłynęły na wynik.

Jednak same logi mogą zawierać dane wysoce wrażliwe. Historia komunikatów może zawierać skargi klientów, informacje dotyczące zdrowia, treść umów, kod źródłowy lub rozmowy pracowników. Przechowywanie wszystkich tych danych przez czas nieokreślony stwarza nowe zagrożenie.

Rozwiązaniem jest selektywne rejestrowanie danych ukierunkowane na konkretne cele. Organizacje powinny określić, które zapisy są niezbędne z punktu widzenia bezpieczeństwa, audytu, zgodności z przepisami oraz monitorowania wydajności, a następnie odpowiednio ustalić zasady dostępu i okresów przechowywania.

Asystent ds. dokumentacji o niskim poziomie ryzyka może wymagać jedynie ograniczonych dzienników operacyjnych. Natomiast proces mający wpływ na zdolność kredytową, zatrudnienie, ubezpieczenie lub dostęp do podstawowych usług może wymagać znacznie pełniejszej ścieżki audytowej.

Logi powinny również rejestrować zmiany w konfiguracji. Jeśli model zostanie zaktualizowany, szablon monitu zmodyfikowany lub podłączone zostanie nowe źródło danych, organizacja musi wiedzieć, jakie decyzje zostały podjęte w ramach danej wersji.

Zarządzanie musi dostosowywać się do przebiegu pracy, a nie do budżetu na technologie

Wiele firm powierza zarządzanie sztuczną inteligencją komisji ds. innowacji, podczas gdy ochrona danych pozostaje w gestii działu prawnego, cyberbezpieczeństwo – działu IT, a ryzyko operacyjne – poszczególnych jednostek biznesowych. Skutkiem tego jest fragmentaryczny nadzór nad procesami, które obejmują wszystkie cztery obszary.

Lepszym elementem zarządzania jest przypadek użycia. Każdy istotny proces powinien mieć wyznaczonego właściciela biznesowego odpowiedzialnego za wynik, właściciela technicznego odpowiedzialnego za wdrożenie oraz jasno określonych specjalistów zajmujących się bezpieczeństwem, ochroną danych osobowych, kwestiami prawnymi i zarządzaniem dokumentacją.

Przed wdrożeniem zespół powinien być w stanie odpowiedzieć na kilka praktycznych pytań:

Jakie decyzje biznesowe lub procesy ulegają zmianie?

Jakie dane trafiają do procesu, i na jakiej podstawie prawnej i operacyjnej?

Które systemy i podmioty zewnętrzne otrzymują te dane?

Jakie błędy mogłyby spowodować istotną szkodę?

Jakie działania może podjąć sztuczna inteligencja bez zgody?

W jaki sposób użytkownicy będą mogli zakwestionować lub skorygować wynik?

W jakiej sytuacji konieczne byłoby zawieszenie przebiegu pracy?

To są pytania bardziej przydatne niż to, czy firma ma strategię dotyczącą sztucznej inteligencji. Pokazują one, czy ktokolwiek rozumie ten system na tyle dobrze, by korzystać z niego w sposób odpowiedzialny.

Zacznij od rejestracji w systemie przepływu pracy opartym na sztucznej inteligencji

Pierwszym praktycznym krokiem jest sporządzenie wykazu. Wiele organizacji nie jest w stanie skutecznie zarządzać sztuczną inteligencją, ponieważ nie wie, gdzie jest ona wykorzystywana.

Rejestr powinien obejmować zakupione narzędzia, systemy opracowane wewnętrznie, funkcje sztucznej inteligencji wbudowane w istniejące oprogramowanie oraz sposoby wykorzystania asystentów ogólnego przeznaczenia przez pracowników. Każdy wpis powinien określać cel biznesowy, kategorie danych, właściciela, dostawcę, model, integracje, znaczenie dla podejmowania decyzji oraz poziom nadzoru ze strony człowieka.

W ramach tego działania często ujawniają się „ukryte” systemy AI, zduplikowane narzędzia oraz systemy wykorzystujące więcej danych, niż wynika to z uzasadnienia biznesowego. Ustaleń tych nie należy traktować wyłącznie jako naruszeń zgodności. Stanowią one dowód na to, że pracownicy próbują rozwiązywać rzeczywiste problemy związane z przepływem pracy, nie korzystając z zatwierdzonych procedur.

Organizacja może następnie sklasyfikować przypadki użycia według ich skutków. Asystent, który zmienia formatowanie tekstu wewnętrznego, nie wymaga takiego samego środowiska kontroli jak system decydujący o przyznaniu klientowi kredytu. Zarządzanie ryzykiem powinno być proporcjonalne, ale nie może go w ogóle brakować.

Procesy o podwyższonym ryzyku wymagają przed uruchomieniem formalnych testów, w tym oceny ochrony prywatności, przeglądu bezpieczeństwa, testów adversarialnych, kontroli jakości danych oraz określonych progów wydajności. Wymagają one również wiarygodnej metody zatrzymania lub cofnięcia procesu, jeśli system wykroczy poza te granice.

Ryzyko nie ogranicza się już tylko do utraty danych

Sztuczna inteligencja zmienia charakter ryzyka związanego z danymi, ponieważ informacje nie są już jedynie przechowywane i pobierane. Są one interpretowane, łączone, na ich podstawie wyciągane są wnioski oraz wykorzystywane do podejmowania decyzji.

Firma może chronić oryginalny wpis dotyczący klienta, a mimo to tworzyć na jego podstawie nieprawidłowy profil. Może zapobiegać nieuprawnionemu dostępowi do bazy danych, a jednocześnie zezwalać asystentowi na ujawnianie poufnych informacji w wygenerowanej odpowiedzi. Może przechowywać kompletne dzienniki audytowe, ale okazać się, że nikt nie jest odpowiedzialny za ich przeglądanie.

Najskuteczniejsze programy zarządzania sztuczną inteligencją to nie te, które zatwierdzają największą liczbę narzędzi lub opracowują najobszerniejsze wytyczne. Będą to te, które zapewniają przejrzysty łańcuch odpowiedzialności od momentu wprowadzenia danych aż po wynik operacyjny.

Zanim proces oparty na sztucznej inteligencji zostanie uruchomiony, kierownictwo powinno być w stanie określić, jakich danych potrzebuje, jakie uprawnienia otrzymuje, jakie błędy może popełnić oraz kto jest uprawniony do jego zatrzymania. Jeśli odpowiedzi na te pytania są niejasne, automatyzacja nie zmniejszyła ryzyka związanego z danymi w firmie. Spowodowała jedynie, że ryzyko to stało się szybsze.