Sztuczna inteligencja w sklepie, pracy, szkole. Kiedy będzie zakazana?

Ministerstwo Cyfryzacji (MC) przedstawiło kolejne kroki związane z wdrożeniem unijnego Aktu o sztucznej inteligencji do polskiego porządku prawnego. Już w lutym 2025 roku zaczną obowiązywać przepisy ogólne (rozdział I) oraz te dotyczące systemów zakazanych (rozdział II).

W ramach przygotowań resort cyfryzacji we współpracy z NASK-iem przygotował broszurę na temat systemów AI „szczególnie niebezpiecznych”, gdzie wyczerpująco omówiono zagadnienie.

Kogo dotyczy akt o sztucznej inteligencji?

W dokumencie wymieniono, kto będzie podlegał nowym regulacjom. To:

• dostawcy wprowadzający do obrotu lub oddający do użytku systemy AI lub wprowadzających do obrotu modele AI ogólnego przeznaczenia w Unii niezależnie od tego, czy dostawcy ci mają siedzibę lub znajdują się w Unii, czy w państwie trzecim;
• podmioty stosujące systemy AI, które mają siedzibę lub znajdują się w Unii;
• dostawcy systemów AI i podmioty stosujące systemy AI, którzy mają siedzibę lub znajdują się w państwie trzecim, w przypadku, gdy wyniki wytworzone przez system AI są wykorzystywane w Unii;
• importerzy i dystrybutorzy systemów AI;
• producenci produktu, którzy pod własną nazwą lub znakiem towarowym oraz wraz ze swoim produktem wprowadzają do obrotu lub oddają do użytku system AI trzecim, w przypadku, gdy wyniki wytworzone przez system AI są wykorzystywane w Unii;
• upoważnieni przedstawiciele dostawców niemających siedziby w Unii;
• osoby, na które AI ma wpływ i które znajdują się w Unii.

Co ważne, Akt o sztucznej inteligencji nie obejmuje modeli i systemów AI wykorzystywanych dla celów związanych z obronnością, bezpieczeństwem narodowym oraz badaniami i nauką.

Techniki podprogowe i manipulacyjne

W dokumencie przygotowanym przez Ministerstwo Cyfryzacji szczegółowo opisano też praktyki zakazane związane ze sztuczną inteligencją – na podstawie art. 5 AI Actu. Omówimy je poniżej.

W UE zakazane będzie stosowanie technik podprogowych, manipulacyjnych lub wprowadzających w błąd, które powodują zniekształcenie podejmowanych przez daną osobę decyzji w sposób powodujący u niej lub innych osób istotne szkodę.

Jako przykład podano stosowanie systemów AI w centrach handlowych, które subtelnie wpływają na decyzje zakupowe klientów, aby zwiększyć sprzedaż. Tego typu systemy wykorzystują techniki podprogowe, takie jak dźwięki i obrazy w reklamach.

Przykładem może być odtwarzanie słów jak „kup” czy „potrzebujesz” w tle muzyki w sklepie, co motywuje do zakupu czy też reklamy na ekranach, które są personalizowane na podstawie danych o klientach, co tworzy wrażenie, że produkty są niezbędne lub dostosowane do ich potrzeb, choć w rzeczywistości tak nie jest.

Wykorzystywanie słabości osoby lub grupy osób

Akt o sztucznej inteligencji ochroną obejmuje także osoby szczególnie wrażliwe, które ze względu na wiek, niepełnosprawność lub sytuację społeczną czy ekonomiczną mogą być wyjątkowo narażone na manipulację. Systemy AI, które mogą wyrządzić im szkodę – będą zakazane.

Przykładem może być asystent osobisty, który rzekomo ma pomagać osobom starszym i niepełnosprawnym w zarządzaniu finansami, ale jednocześnie wykorzystuje zebrane dane, aby wywierać presję na użytkowników do zaciągania niekorzystnych zobowiązań, np. drogich pożyczek czy polis.

Scoring społeczny

Jak czytamy w dokumencie, zakazana będzie klasyfikacja osób fizycznych na podstawie ich zachowań społecznych lub cech osobistych, jeśli prowadzi do krzywdzącego lub niekorzystnego traktowania.

To np. system AI wykorzystywany w korporacji do analizy danych biometrycznych pracowników, takich jak skany twarzy, odciski palców i analiza głosu, pod pretekstem zwiększenia efektywności.

Na podstawie tych informacji pracodawca może wyciągać wnioski na temat osobowości, poglądów politycznych, czy przynależności do związków zawodowych. To z kolei może prowadzić do dyskryminacji, np. pomijania przy awansach lub zwolnień pod pretekstem „niedopasowania”.  

Zakazana więc będzie analiza danych biometrycznych, która prowadzi do wnioskowania na temat: rasy, poglądów politycznych, przynależności do związków zawodowych, przekonań religijnych lub światopoglądowych, seksualności lub orientacji seksualnej.

Natomiast AI Act zezwala na kategoryzację danych biometrycznych według emocji, wieku, płci itp., co jak czytamy jest niezbędne np. do szkolenia algorytmów sztucznej inteligencji.

Przewidywanie ryzyka popełnienia przestępstwa

W katalogu praktyk zakazanych znalazło się profilowanie lub analiza cech charakteru danej osoby, czego celem jest ocena ryzyka popełnienia przestępstw.

Przykładem jest system stworzony przez firmę technologiczną, który przewiduje ryzyko popełnienia przestępstwa na podstawie analizy cech osobowości. System zbiera dane z mediów społecznościowych, rejestrów publicznych i testów psychologicznych, tworząc profil ryzyka dla każdej osoby. Ludzie są klasyfikowani jako „niskiego”, „średniego” lub „wysokiego” ryzyka, co może prowadzić do dyskryminacji, np. trudności w znalezieniu pracy lub zwiększonej inwigilacji przez służby.

Co ciekawe, AI Act przewiduje wyjątki od tej reguły:

Systemy do oceny lub przewidywania ryzyka popełnienia przestępstwa mogą być wykorzystywane do wspierania oceny dokonywanej przez człowieka, pod warunkiem, że ocena ta opiera się na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą.
"Zakazane systemy AI" - Ministerstwo Cyfryzacji

Zdalna identyfikacja biometryczna a ściganie przestępstw

Państwa UE mogą wprowadzić przepisy umożliwiające pełne lub częściowe zezwolenie na wykorzystanie systemów AI jako systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw.

Takie zezwolenie jest obwarowane wieloma warunkowi. Może być wdane tylko w kilku przypadkach, np. w celu poszukiwania osób zaginionych i porwanych, zapobiegania atakom terrorystycznym czy lokalizowania lub identyfikowania osoby podejrzanej o popełnienie przestępstwa.

Aby zostawać ten wyjątek trzeba spełniać wymogi prawne: konieczności, proporcjonalności i ochrony praw obywatelskich. Każdy z tych wymogów jest dokładnie opisany w AI Act.

Co ważne, każde użycie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw wymaga uprzedniego zezwolenia.

System taki musi też zostać zgłoszony do organu nadzoru rynku i do krajowego organu ochrony danych, a osoby, wobec których jest stosowany - muszą zostać o tym poinformowane.

Przykładem zakazanego sytemu w tym kontekście jest program AI wykorzystywany przez służby porządkowe do zdalnej identyfikacji biometrycznej w czasie rzeczywistym za pomocą kamer z rozpoznawaniem twarzy, aby ścigać drobne przestępstwa np. kradzieże kieszonkowe i graffiti.  

Dane są porównywane z bazą podejrzanych osób, a system monitoruje ludzi w przestrzeni publicznej bez ich wiedzy. Może to prowadzić do naruszenia prywatności i niesprawiedliwego traktowania na podstawie niepełnych danych.

Scraping

Kolejną praktyką zakazaną w akcie o sztucznej inteligencji jest tzw. scraping.

Scraping (ang. web scraping) to proces najczęściej automatycznego pozyskiwania dużej ilości danych z witryn internetowych, w tym wizerunku twarzy lub nagrań z telewizji przemysłowej.
"Zakazane systemy AI" - Ministerstwo Cyfryzacji

Dane pozyskane w ten sposób mogą być wykorzystywane do analizy rynku, badań naukowych, monitorowania opinii o produktach i usługach, a także do trenowania generatywnych modeli sztucznej inteligencji. To częsta praktyka wielkich gigantów technologicznych, np. OpenAI. Jednak ta metoda szkolenia AI będzie zakazana w Unii Europejskiej.

Rozpoznawanie emocji

Akt o sztucznej inteligencji zakazuje też wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych.

Wyjątkiem od tej reguły są systemy AI wykorzystywane w celach medycznych lub bezpieczeństwa.

Przykładem zakazanego systemu w tym kontekście może być system firmy technologicznej HR, który monitoruje emocje pracowników w miejscu pracy. Używa kamer i mikrofonów do rejestrowania mimiki, tonu głosu i gestów, a AI analizuje te dane, aby ocenić emocje, takie jak stres czy zadowolenie.

Na tej podstawie tworzone są raporty dla menedżerów, którzy podejmują decyzje personalne. Pracownicy często nie są świadomi pełnego zakresu monitorowania, co może prowadzić do niesprawiedliwych ocen i wpływać na ich awanse. Pracodawca może np. uznać zestresowanego pracownika za mniej produktywnego i zwolnić go.

Ministerstwo Cyfryzacji zaprasza do współpracy

Ministerstwo Cyfryzacji zachęca do przesyłania uwag, pytań, sugestii oraz rekomendacji ws. systemów zakazanych AI. Resort zachęca też do dzielenia się przykładami oraz innymi ważnymi informacji, które mogą pomóc we wdrożeniu Aktu o sztucznej inteligencji do polskiego porządku prawnego.

Uwagi można wysyłać na adres [email protected] do 31 grudnia 2024 roku.

„Zgłoszenia będą analizowane i wykorzystane w ramach konsultacji oraz prac eksperckich z Komisją Europejską oraz Europejską Radą ds. sztucznej inteligencji” – deklaruje resort.

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].