Tłumaczymy, jak będzie działał system Apple wykrywający pornografię dziecięcą

Czym jest system wykrywania treści o charakterze pedofilskim CSAM?

System, nazwany w dokumentacji Apple’a umownie systemem detekcji CSAM (od anglojęzycznego określenia nielegalnych treści o charakterze pedofilskim - Child Sexual Abuse Material) został zaprojektowany z myślą o identyfikowaniu i zgłaszaniu do odpowiednich organów użytkowników chmury iCloud, którzy przechowują na niej w usłudze iCloud Photos nielegalne materiały graficzne.

Serwery Apple’a będą flagowały konta użytkowników, które przekroczą zdefiniowaną przez system liczbę obrazów zgodnych z bazą treści CSAM (identyfikacja ma odbywać się na podstawie haszy). Na podstawie tego działania koncern będzie podejmował stosowne kroki, tj. kierował informacje o nadużyciach właścicieli kont do jednej z instytucji zajmującej się w USA ściganiem przestępstwa pedofilii – NCMEC (Narodowe Centrum ds. Zaginionych i Wykorzystywanych Dzieci, National Center for Missing and Exploited Children).

Według Apple’a proces działania systemu detekcji CSAM jest obwarowany następującymi gwarancjami bezpieczeństwa i prywatności. W dokumentacji technicznej systemu zapewniono, że firma nie będzie gromadziła żadnych informacji na temat zdjęć, które nie zostały zidentyfikowane jako materiały zgromadzone w bazie CSAM. Firma nie będzie miała również dostępu do metadanych, bądź wyróżniających zdjęcia cech wizualnych nawet wtedy, gdy będą one identyczne z treściami z bazy danych CSAM, tak długo, jak nie zostanie przekroczony próg zdefiniowany jako alarmowy i niezbędny do powiadomienia organów.

Zdaniem koncernu ryzyko, że system nieprawidłowo rozpozna zdjęcia i błędnie zaklasyfikuje je jako CSAM, jest ekstremalnie niskie – dodatkowo Apple ma rewidować wszystkie oflagowane i zgłoszone właściwym instytucjom materiały z udziałem zespołu moderacji, co ma wzmocnić ochronę użytkowników przed błędnymi decyzjami algorytmu.

Firma zastrzegła, że użytkownicy nie będą mieli dostępu do bazy danych CSAM i nie będą wiedzieli, które zdjęcia system będzie oznaczał jako niezgodne z prawem.

System detekcji ma działać na smartfonie użytkownika

Według Apple’a system będzie działał na telefonach użytkowników, nie w chmurze. Ma to być możliwe dzięki umieszczanej w systemie operacyjnym bazie haszów – to właśnie w tej formie na telefonach użytkowników będzie przechowywana baza treści CSAM.

Technologia haszująca wykorzystana w systemie to NeuralHash – bazujący na algorytmach sztucznej inteligencji system, który analizuje obrazy i konwertuje je w unikalny ciąg cyfr przypisywany poszczególnym obrazom. Warto jednak zauważyć, że ten sam obraz różniący się jedynie rozdzielczością lub rozmiarem, będzie miał w bazie wspólny hasz – zależy on od bowiem od zawartości, nie od parametrów pliku.

Porównywanie obrazów z bazą CSAM ma odbywać się zanim zdjęcia trafią do chmury iCloud. Cały proces ma być wspierany przez technologię kryptograficzną Apple’a – PSI, która pozwala na znalezienie dopasowania obrazów bez ujawniania ich zawartości. Dopiero zakodowana informacja z telefonu użytkownika trafia w formie „vouchera” do usługi iCloud Photos w chmurze, razem z obrazem przesłanym przez posiadacza smartfona na jego konto.

Apple obiecuje prywatność na każdym etapie procesu

System działa tak, aby treść przesłanego do usługi iCloud „vouchera” z informacją o dopasowaniu haszów nie mogła zostać rozkodowana przez koncern Apple, dopóki liczba naruszeń – sparowanych obrazów reprezentujących pornografię dziecięcą - na koncie danego użytkownika nie zostanie przekroczona. Dopiero gdy tak się stanie, firma zyskuje dostęp do zawartości „voucherów” i dopasowanych obrazów w bazie CSAM.

Zdaniem koncernu prawdopodobieństwo pomyłki to jeden przypadek na bilion.

Apple zastrzega, że użytkownicy, którzy poczują się pokrzywdzeni werdyktem i niesłusznie oskarżeni o posiadanie pornografii dziecięcej, mogą odwoływać się od procesu i wiążącej się z naruszeniami - blokady konta Apple ID.

Chcemy być także bliżej Państwa – czytelników. Dlatego, jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected]. Przyszłość przynosi zmiany. Wprowadzamy je pod hasłem #CyberIsFuture.