Policyjny algorytm poza kontrolą. Kontrowersyjny system profilował Brytyjczyków

W ostatnim czasie Wielka Brytania coraz śmielej eksperymentuje ze sztuczną inteligencją w administracji publicznej i służbach.

Niedawno opisywaliśmy plany wykorzystania AI do oceny wieku osób ubiegających się o azyl, które docierają do granic Wielkiej Brytanii. Rozwiązanie okazało się jednak obarczone poważnymi błędami, wzbudzając wątpliwości co do swojej rzetelności.

WIRED rozpoczęło kolejne dochodzenie związane z wykorzystywaniem AI, tym razem w analityce predykcyjnej policji z Avon i Somerset. Początkowo założenia programu wydawały się uzasadnione: narzędzia oparte na danych miały pomóc służbom działać szybciej, wcześniej rozpoznawać zagrożenia i skuteczniej chronić osoby narażone na przemoc lub wykorzystanie.

Punktem wyjścia nie była więc chęć masowego nadzoru, a próba rozwiązania problemu. Gary Davies, kierujący zespołem wspierającym dzieci i rodziny w Radzie Miasta Bristol, zwracał uwagę, że instytucje często reagują dopiero wtedy, gdy kryzys jest już widoczny. Znacznie trudniej rozpoznać moment, w którym sytuacja rodziny dopiero zaczyna się pogarszać.

Wierzymy, że rozwiązaniem jest analityka predykcyjna.
Sean Price, szef działu efektywności policji Avon i Somerset

Centralnym elementem tej historii była uruchomiona już w 2016 przez Radę Miasta Bristol oraz policję Avon i Somerset baza Think Family Database. Obejmowała informacje dotyczące blisko pół miliona mieszkańców Bristolu, na podstawie których tworzono modele uczenia maszynowego przypisujące oceny ryzyka dorosłym i dzieciom.

W założeniu system miał dać służbom pełniejszy obraz zagrożeń, szkód i potencjalnych kryzysów w regionie. Z czasem jednak projekt zaczął wymykać się spod społecznej kontroli.

Baza Think Family i skala gromadzenia danych

Zakres informacji gromadzonych przez policję był bardzo szeroki. W bazie znajdowały się między innymi raporty policyjne, dane dotyczące sytuacji mieszkaniowej, dokumentacja związana ze zdrowiem psychicznym, informacje o udziale w kursach dla rodziców oraz korzystaniu przez ich dzieci z bezpłatnych posiłków w szkole, a nawet zapisy o ciążach nastolatek

Baza nie była jednak wyłącznie cyfrowym archiwum. Na podstawie danych zbieranych od 2015 roku, obejmujących około 300 000 osób w regionie, powstały 23 oddzielne modele uczenia maszynowego. Ich zadaniem było przypisywanie ocen ryzyka tysiącom dorosłych i dzieci – między innymi ryzyka włamania, niestawienia się w sądzie, zaginięcia czy stania się ofiarą przemocy domowej. Urzędnicy, zestawiając wiele fragmentów informacji o danej osobie i jej rodzinie, przekształcali je w konkretną ocenę, końcowo tworząc obraz zagrożeń występujących wśród mieszkańców całego regionu.

Za techniczne działanie bazy odpowiadał zespół Insight Bristol, w którym współpracowali pracownicy Rady Miasta Bristol oraz policji Avon i Somerset. Nie prosili oni mieszkańców o zgodę na wykorzystanie danych w bazie danych – podstawą były „legalne furtki”, które pozwalały instytucjom udostępniać dane w określonych sytuacjach (jak ochrona dzieci).

Początkowo mieszkańcy nie mieli też możliwości wypisania się z bazy. Opcja rezygnacji pojawiła się dopiero później w korespondencji podatkowej wysyłanej do mieszkańców.

Problemy z dokładnością i zaufaniem do algorytmów

Na poziomie technicznym, największe wątpliwości nie dotyczyły samej idei analizowania danych, lecz tego, czy wynikom takich systemów można było realnie ufać.

Dokumenty uzyskane przez WIRED pokazały, że co najmniej dwa modele oceny ryzyka zostały po cichu wycofane, gdy pracownicy Rady Miasta Bristol uznali, że przestały być wiarygodne. Powdażyli oni tym samym podstawowe założenie całego programu – jeśli algorytm ma wspierać decyzje instytucji publicznych, jego przewidywania muszą być dokładne, zrozumiałe i możliwe do sprawdzenia.

Pracownicy dodatkowo określali system jako „nienadający się do użycia w codziennej pracy”. Zaczęli zauważać, że wskazania algorytmów rozmijają się z ich doświadczeniem i wiedzą o konkretnych przypadkach.

Podobne wnioski pojawiły się w niezależnym przeglądzie przeprowadzonym przez organizację Social Finance. Modele oceny ryzyka opisano tam jako najsłabszą część projektu, a ich użyteczność miała zostać ograniczona przez brak wystarczającej trafności.

Szczególne zastrzeżenia dotyczyły systemów mających oceniać ryzyko wykorzystywania seksualnego dzieci oraz wykorzystywania ich do działalności przestępczej.

Osobiście czuję się nieswojo, wykorzystując je (modele - red) do kierowania naszą pracą, ze względu na brak przejrzystości co do źródła danych i sposobu ich opracowania.
Jeden z pracowników Social Finance

Problem pogłębiało to, że nie dało się łatwo sprawdzić, skąd brały się poszczególne oceny (tzw. black box problem), a gdy recenzenci Social Finance chcieli samodzielnie przetestować modele, nie odnaleziono ani kodu źródłowego, ani pełnej listy zmiennych opisujących sposób ich budowy.

Dodatkowe zastrzeżenia przyniosła analiza danych przekazanych WIRED przez policję Avon i Somerset. Obejmowały one wyniki dotyczące 13 modeli ryzyka używanych w latach 2017-2024.

Niezależna firma audytorska Eticas oceniła, że większość z nich osiągała niską precyzję – jeden z modeli dotyczących włamań przez ponad trzy lata miał precyzję poniżej 10 procent.

Audytorzy zwrócili też uwagę na gwałtowne wahania wyników modeli.

Brak przejrzystości, dokumentacji i odpowiedzialności

Program w Avon i Somerset cechował się też brakiem jasności wokół tego, jak narzędzia predykcyjne powstawały, kto je nadzorował i w jaki sposób tak naprawdę wpływały na decyzje instytucji publicznych.

Dla mieszkańców regionu działanie tych systemów pozostawało w dużej mierze niewidoczne. Nie zawsze było wiadomo, kto znalazł się w policyjnych aplikacjach, jakie dane zostały wykorzystane ani czy dana osoba otrzymała algorytmiczną ocenę ryzyka – a jeśli tak to jaką.

Badacze i recenzenci dodatkowo opisywali program jako nieuporządkowany i trudny do prześledzenia. Elle Pearson z Royal Holloway University of London, która badała te rozwiązania, wskazywała, że nawet osoby zaangażowane w system nie zawsze potrafiły jasno określić, jakie dane posiadają, skąd one pochodzą i które narzędzie z nich korzysta. Z czasem systemy miały się też rozrastać, łączyć coraz więcej informacji i wychodzić poza pierwotne cele, co zwiększało ryzyko tzw. pełzania funkcji (function creep).

Kiedy zaczynałam, nikt nie potrafił mi powiedzieć, jakie dane posiada, skąd one pochodzą ani który system wykorzystuje które dane.
Elle Pearson

Odpowiedzialność za działanie systemów również pozostawała rozmyta. Zarówno Bristol City Council jak i Policja Avon i Somerset, odmówiły rozmów na temat wykorzystywania predykcyjnych ocen ryzyka i nie odpowiedziała na pytania WIRED.

Równocześnie policja twierdziła, że modele są oceniane pod kątem wydajności i w razie problemów aktualizowane albo wyłączane.

Sprawę dodatkowo komplikuje kwestia nadzoru etycznego. Choć policja deklarowała, że projekty z obszaru data science są sprawdzane przez specjalną grupę etyczną, z ujawnionych informacji wynika, że komisja etyki nie wracała do tematu analityki predykcyjnej po 2017 roku. Rzecznik przekazał, że nie odbyło się żadne spotkanie, ponieważ nie zidentyfikowano modeli budzących potencjalne problemy etyczne. 

Legalność (legality) to nie to samo co legitymizacja (legitimacy).
Recenzenci Insight Bristol

Dobre intencje, ryzykowne narzędzia

Sama idea wykorzystania AI do ochrony osób najbardziej narażonych wydaje się uzasadniona. Jeśli technologia mogłaby pomóc szybciej zauważyć przemoc, wykorzystywanie albo kryzys w rodzinie, warto ją rozważać – zwłaszcza że wiele ofiar nie zgłasza się po pomoc z powodu strachu, wstydu lub zależności od sprawcy.

Nie mamy nic przeciwko temu, że wykorzystujecie je, aby nas wspierać, ale nie chcemy, żebyście wykorzystywali je przeciwko nam.
Gary Davies, były nadinspektor policji

Problem zaczyna się jednak wtedy, gdy system tworzony z myślą o ochronie, zaczyna działać bez wystarczającej przejrzystości i kontroli. Mieszkańcy Avon i Somerset nie byli poinformowani, że ich dane są zbierane, a tym bardziej analizowane w kontekście profilowania. Z czasem pojawiły się też zaniedbania: brak przejrzystości, słaba dokumentacja i wątpliwa dokładność modeli. 

Błędem jest również sprowadzanie człowieka do liczbowego wyniku ryzyka. Sytuacje życiowe są zbyt złożone, by oceniać je wyłącznie na podstawie złączonych ze sobą danych, nawet jeśki pochodzą z wielu różnych baz. Korelacja nie oznacza przyczynowości – ta sama informacja może mieć wiele możliwych przyczyn, a podobne okoliczności nie zawsze prowadzą do takich samych skutków.

AI przy określeniu jasnych granic jej użycia, może wspierać instytucje publiczne, niezastępując jednak ludzkiego osądu. W brytyjskich miesteczkach problemem nie była sama ambicja stworzenia systemu ostrzegania przed zagrożeniami, a jego wdrożenie: mało transparentne, słabo udokumentowane, niekontrolowane i na koniec ryzykowne dla osób ocenianych przez algorytm.