AI w rękach oszustów. Co warto wiedzieć?

W drugiej części rozmowy z prof. Jerzym Surmą ze Szkoły Głównej Handlowej (pierwsza jest dostępna pod linkiem: AI „to inny kaliber” zagrożeń ) omawiamy temat generatywnej sztucznej inteligencji jako narzędzia w rękach przestępców. Jak może wspierać automatyczne kampanie phishingowe? Jakie ryzyka wiążą się z tzw. agentami AI i syntetycznymi deepfake’ami? Warto być świadomym.

Mikołaj Rogalewicz, CyberDefence24: Jednym z częściej poruszanych tematów w kontekście generatywnej sztucznej inteligencji jest możliwość obchodzenia zabezpieczeń modeli, które prowadzą do generowania treści phishingowych. Choć systemy AI są projektowane tak, by unikać tego typu odpowiedzi, niektóre z nich wciąż dają się oszukać…

Prof. Jerzy Surma: Systemy generatywne, zanim trafią do użytkowników, są poddawane procesowi dostosowania do określonych norm, uczą się unikać szkodliwych odpowiedzi i działają w oparciu o zestaw zasad. To coś w rodzaju „cyfrowego wychowania”. Dodatkowo stosuje się filtry i systemy typu „strażnik”, które analizują zarówno dane wejściowe, jak i generowane odpowiedzi, by wychwycić próby nadużyć, manipulacji itp.

Modele językowe są więc celowo ograniczane po to, by nie wspierały działań przestępczych, nie szerzyły przemocy czy nie dostarczały instrukcji dotyczących np. produkcji broni lub oszustw. Część tematów jest blokowana niemal automatycznie. Ale wciąż istnieją tzw. „szare strefy”, gdzie skuteczność tych zabezpieczeń zależy od kontekstu zapytania. 

Manipulowanie systemami AI

Czyli da się skutecznie „oszukać” model, nie zadając wprost niebezpiecznego pytania, ale stosując techniki manipulowania zapytaniem?

Cyberprzestępcy próbują omijać zabezpieczenia, stosując technikę zwaną jailbreaking prompting. Chodzi o takie sformułowanie pytania, by zmylić model i „przemycić” szkodliwą treść w neutralnym lub edukacyjnym kontekście.

Dobrym przykładem jest sytuacja, w której ktoś nie pyta wprost: „jak napisać skutecznego maila phishingowego”, tylko prosi o przykład wiadomości, która mogłaby posłużyć jako materiał edukacyjny dla uczniów w szkole. W przeszłości tego typu obejścia bywały skuteczne, a modele rzeczywiście dawały się nabrać i generowały odpowiedzi sprzeczne z przyjętą polityką bezpieczeństwa.

Na szczęście najnowsze systemy są znacznie lepiej przygotowane na takie próby. Rozpoznają kontekst zapytania i potrafią blokować odpowiedzi, które choć z pozoru wyglądają neutralnie, zmierzają w stronę generowania niepożądanych treści. Mimo to trzeba pamiętać, że żadna ochrona nie daje stuprocentowej pewności - zwłaszcza w starciu z kimś, kto ma dużą wiedzę techniczną i determinację w testowaniu granic systemu.

Czy to znaczy, że dziś cyberprzestępcy mają utrudnione zadanie, jeśli chodzi o manipulowanie tymi systemami?

W tej chwili trzeba się już naprawdę mocno postarać, żeby przełamać zabezpieczenia najbardziej zaawansowanych modeli. Ten klasyczny  jailbreaking, czyli próby oszukania systemu za pomocą odpowiednio sformułowanych zapytań, w przypadku nowoczesnych modeli są bardzo trudne, ze względu na ich architekturę, procesy alignmentu i mechanizmy zabezpieczające jak wspomniani już „strażnicy”, czyli systemy typu guardrails.

Natomiast nie znaczy to, że AI nie jest wykorzystywana przez grupy przestępcze. W pierwszej fazie ich aktywności obserwowano, że cyberprzestępcy wykorzystywali modele językowe do zdobywania wiedzy. Na przykład uczyli się, jak napisać spersonalizowaną wiadomość phishingową.

To istotne, bo phishing to rodzaj psychomanipulacji, od której zależymy w różnym stopniu.

Przestępcy wiedzą, że zupełnie inaczej trzeba sformułować wiadomość skierowaną do osiemnastoletniej dziewczyny, a inaczej do starszego mężczyzny. Dlatego z pomocą AI próbowali budować bazę zróżnicowanych, precyzyjnie dopasowanych treści - e-maili, SMS-ów, komunikatów.

W przypadku modelu Grok widzieliśmy niedawno, że po ograniczeniu tzw. mechanizmów cenzury zaczął on generować kontrowersyjne treści, m.in. wulgarne komentarze na temat polityków. Czy w takiej sytuacji twórcy modeli AI powinni ponosić większą odpowiedzialność za ich działanie?

Przypadek Groka był rzeczywiście bardzo interesujący, ponieważ po raz pierwszy szeroka publiczność zobaczyła, jak duże znaczenie ma sposób „wychowania” modelu, czyli alignment. To znaczy: dwa modele o bardzo podobnych możliwościach technicznych mogą zachowywać się zupełnie inaczej w zależności od tego, jak zostały skalibrowane przez twórców. Znaczenie tutaj ma to, czy zastosowano filtry w wyborze korpusów językowych, ograniczenia semantyczne poprzez użyte taksonomie zakazanych tematów, czy też pozwolono im na większą swobodę.

Przeciętny użytkownik, który korzysta z takiego systemu nie ma świadomości, że obcuje z czymś, co zostało wcześniej sformatowane, ukształtowane przez twórców tych rozwiązań, zgodnie z ich wartościami, normami, politykami i celami biznesowymi. Użytkownik zadaje pytanie, dostaje odpowiedź i często przyjmuje ją jako neutralną, wiarygodną, być może nawet obiektywną. Tymczasem to, co widzi, to efekt intencjonalnych decyzji podjętych przez projektantów modelu.

Kwestia cenzurowania takich modeli i granic odpowiedzialności twórców tych technologii to bardzo obszerny temat. Nagrałem o tym niedawno film na mój kanał na YouTubie. To około 35-minutowe rozwinięcie tego, co mogę tutaj powiedzieć w kilku zdaniach (z filmem można zapoznać się pod tym linkiem - przyp. red.).

Ideologia w kodzie: kto naprawdę kształtuje odpowiedzi AI?

Czy to znaczy, że przekonania, wartości i interesy osób projektujących modele AI mają realny wpływ na to, jakie odpowiedzi generują te systemy?

Dokładnie tak! - i to w znacznie większym stopniu, niż wielu osobom się wydaje. Zarówno na etapie tworzenia, jak i późniejszego użytkowania takich systemów, twórcy mają możliwość ingerencji w ich działanie na wiele sposobów. W efekcie otrzymujemy nie „neutralne lustro rzeczywistości”, lecz percepcję świata, ukształtowaną przez ich autorów.

Oczywiście ci twórcy nie działają w próżni. Stoją za nimi konkretny kontekst biznesowy, interesariusze firmy, opinia publiczna, regulatorzy i politycy. To wszystko kształtuje granice tego, co model może, a czego nie może powiedzieć. Mimo to, kierunek tej „narracji”, ton czy akcenty, to są rzeczy, które zależą od bardzo konkretnych decyzji ludzi zarządzających tymi technologiami, czyli właścicieli wielkich big tech«ów

Nie mamy więc do czynienia z czystym, neutralnym narzędziem, tylko z czymś, co reprezentuje wybrany punkt widzenia. Duże modele językowe są realną formą inżynierii społecznej. Ich odpowiedzi są uwarunkowane przez decyzje podjęte na poziomie konstrukcji, skalowania, zabezpieczeń, a także tzw. fine-tuningu i alignmentu.

Na ile ideologia i światopogląd twórców modeli wpływają na ich działanie? Czy można mówić o politycznym „skrzywieniu” systemów AI?

Są na ten temat dostępne konkretne badania naukowe. Klasyczne modele, np. te od OpenAI, rzeczywiście wykazują silną skłonność w stronę narracji liberalno-lewicowej. To nie są jakieś spiskowe teorie, tylko wyniki badań, w których analizowano m.in. odpowiedzi na pytania polityczne, kulturowe czy społeczne.

Do niedawna ten temat był raczej przemilczany i traktowany jako coś technicznego, albo wręcz ignorowany jako marginalny. Ale sytuacja zmieniła się, kiedy Elon Musk wszedł w świat AI ze swoją firmą xAI, odpowiedzialną za rozwój modelu Grok. Nagle to, o czym wcześniej mało kto mówił, stało się tematem publicznej debaty. Dyskusja o ideologii w AI zaczęła budzić emocje.

Ciekawym posunięciem firmy xAI było nie tylko „poluzowanie” ograniczeń tematycznych w Groku, ale również świadome wprowadzenie określonego stylu wypowiedzi. To zresztą też jest aspekt, który można precyzyjnie zaprogramować. Model nie tylko udziela informacji, ale robi to w pewien sposób np. językiem, który może być interpretowany jako profesjonalny, neutralny, naukowy… albo właśnie bardziej ludzki, potoczny, czy wręcz prześmiewny i zadziorny.

Zagrożenia związane z Agentami AI

W ostatnim czasie coraz częściej mówi się o tzw. agentach AI, które potrafią działać samodzielnie. Jakie zagrożenia może nieść ich wykorzystanie w rękach przestępców?

Agent AI to nie tylko model, który odpowiada na pytania. To system oparty o generatywną AI zdolny do autonomicznego działania. Możemy dać mu coś w rodzaju licencji na akcję, a on wykona już samodzielnie określone operacje w świecie zewnętrznym, np. dokonywanie zakupów w sklepach internetowych na podstawie wyboru najlepszej oferty, bez udziału człowieka. 

Nietrudno sobie wyobrazić scenariusz, w którym grupa przestępcza wykorzystuje takiego agenta do prowadzenia zautomatyzowanej kampanii phishingowej. Agent nie tylko tworzy treści, ale też je personalizuje, wysyła i adekwatnie reaguje na odpowiedzi. Taki agent na podstawie reakcji atakowanych użytkowników może automatycznie poprawiać skuteczność swojego działania.

To już nie jest wyłącznie wsparcie intelektualne. To realne działanie na dużą skalę, bez przerwy, 24/7, z precyzyjnym dopasowaniem do ofiar. I to, moim zdaniem, będzie kolejny etap zagrożeń związanych z AI w kontekście cyberprzestępczości.

Czyli mówimy już nie tylko o pojedynczych wiadomościach phishingowych, ale o w pełni zautomatyzowanej, spersonalizowanej kampanii na dużą skalę…

Możemy sobie wyobrazić sytuację, w której cyberprzestępcy mają bazę tysięcy adresów e-mail. Zamiast wysyłać jedną, identyczną wiadomość do wszystkich, co w klasycznych kampaniach phishingowych dawało skuteczność na poziomie, powiedzmy, 15% - uruchamiają agentowy system AI, który generuje każdą wiadomość indywidualnie, dopasowaną do konkretnego odbiorcy i osiągają kilku procentowy click rate.

Taki system mógłby działać niemal całkowicie automatycznie. W tle uruchamiana jest generatywna AI, która na podstawie dostępnych danych, takich jak wiek, płeć, zainteresowania, ostatnia aktywność w sieci, tworzy bardzo przekonujące, spersonalizowane treści. To już nie jest masowa wysyłka tego samego e-maila do wszystkich. To wyrafinowany phishing, w którym każda wiadomość wygląda inaczej, trafia w inne emocje i ma dużo większą skuteczność.

To musi znacznie utrudniać działania obronne, szczególnie instytucjom takim jak NASK, które analizują i publikują wzorce ataków…

NASK monitoruje kampanie phishingowe w Polsce, zbiera zgłoszenia od użytkowników i publikuje ostrzeżenia przed konkretnymi wiadomościami czy numerami SMS. To działa świetnie, gdy komunikat phishingowy jest jeden, wspólny. Wtedy można go łatwo zidentyfikować, opisać i zablokować.

Ale w sytuacji, gdy każda wiadomość wygląda inaczej, bo jest tworzona dynamicznie i personalizowana, taki system obrony staje się bardzo trudny do utrzymania. Tradycyjne metody analizy, które bazują na wzorcach treści, po prostu przestają być skuteczne. Nie ma już jednego wzorca, który można zgłosić i ostrzec innych.

To stawia obronę w zupełnie nowym świetle. Potrzeba narzędzi, które nie analizują tylko treści, ale potrafią wychwytywać anomalie w zachowaniu systemu, nietypowe struktury wiadomości, kontekst, a może nawet emocjonalne tony komunikatu. I to jest wyzwanie, z którym służby bezpieczeństwa dopiero zaczynają się mierzyć.

Deepfake

W ostatnich miesiącach coraz częściej słyszymy o oszustwach wykorzystujących syntetyczne głosy lub wideo, np. o telefonach, w których przestępcy podszywają się pod bliskich ofiary. Czy deepfake’i głosowe oraz wizualne mogą stać się realnym zagrożeniem również w Polsce? I czy jesteśmy gotowi, by się przed nimi bronić?

To bardzo realne i rosnące zagrożenie. Koszt stworzenia prostego deepfake’a, zarówno wizualnego, jak i głosowego, znacząco spadł. Dziś każdy z dostępem do internetu i podstawowych narzędzi może wygenerować syntetyczny głos, który dla przeciętnego odbiorcy będzie niemal nie do odróżnienia.

Weźmy przykład klasycznego oszustwa „na wnuczka”. Kiedyś opierało się ono wyłącznie na presji emocjonalnej, socjotechnice, a teraz można je wzmocnić syntetycznym głosem, który faktycznie brzmi jak wnuczka lub wnuczek. Można wziąć nagrania głosowe z TikToka, YouTube’a, Instagrama, poddać je obróbce i w ciągu kilkudziesięciu minut uzyskać narzędzie, które może zmylić każdego, zwłaszcza osoby starsze, mniej obyte z nowymi technologiami.

Z perspektywy przestępców to kuszący kierunek, który jest tani i efektywny. W związku z tym uważam, że to tylko kwestia czasu, aż tego typu oszustwa staną się powszechne także w Polsce.

Dlatego niezwykle istotne jest, abyśmy rozwijali krajowe kompetencje w zakresie wykrywania tego typu zagrożeń, zarówno na poziomie technologicznym, jak i poprzez edukację społeczną. Niestety, patrzę na to z dużym niepokojem. Już dziś borykamy się z plagą oszustw internetowych, phishingu czy fałszywych wiadomości. Jeśli tego rodzaju przestępstwa zostaną dodatkowo wsparte możliwościami sztucznej inteligencji, ich skala i skuteczność mogą drastycznie wzrosnąć.

Tym bardziej że przestępcy coraz częściej rezygnują z działań kinetycznych „w terenie” na rzecz operacji cyfrowych. Są one bowiem mniej ryzykowne, bardziej efektywne i trudniejsze do wykrycia. To poważne wyzwanie, z którym jako społeczeństwo musimy się zmierzyć już teraz.

Regulacje UE w zakresie AI

Unia Europejska jako pierwsza na świecie przyjęła kompleksową regulację dotyczącą sztucznej inteligencji, tzw. AI Act. Czy to krok w stronę większego bezpieczeństwa, czy raczej ryzyko zahamowania rozwoju tej technologii w Europie?

To pytanie dotyka odwiecznego dylematu: jak łączyć wolność rozwoju innowacji technologicznych z potrzebą ochrony społeczeństwa? AI Act z jednej strony wydaje się ambitny, wręcz przełomowy, bo dotyczy jednej z najbardziej rewolucyjnej technologii. Ale z drugiej strony, kiedy człowiek zagłębi się w jego treść, odnosi wrażenie, że to dokument pisany bez pełnego zrozumienia natury sztucznej inteligencji. To trochę tak, jakby próbować regulować rozwój motoryzacji w Wielkiej Brytanii w XIX wieku poprzez wprowadzenie potrzeby maszerowania z czerwoną chorągiewką przed jadącym automobilem, czyli słynny Red Flag Act. 

AI Act, w mojej ocenie, nie tyle chroni społeczeństwa, co realnie hamuje rozwój innowacji, zwłaszcza w małych i średnich firmach. Żeby działać zgodnie z przepisami, firmy muszą ponosić ogromne koszty związane z prawną obsługą projektów, audytami, kontrolą zgodności. Dla dużych korporacji to nie problem, ponieważ mają własne działy compliance, prawników, całe struktury wsparcia. Ale dla małych firm to bariera często nie do pokonania. Skutek? Tłumimy innowacyjność, zanim jeszcze zdąży się rozwinąć.

Podam też kuriozalny konkretny przykład. W AI Act znajduje się zapis, który określa, jaka maksymalna moc obliczeniowa może być wykorzystywana bez podlegania dodatkowym ograniczeniom i kontrolom. Powyżej określonego progu, który nie jest wcale tak wysoki, każda firma w UE musi przechodzić ścisłe audyty. Państwa członkowskie mają obowiązek tworzenia instytucji kontrolnych, które te audyty przeprowadzą.

To oznacza, że kontrola nie dotyczy już tylko tego, co AI robi, ale także jakie zasoby obliczeniowe są do jej działania wykorzystywane. I choć intencja może być słuszna (ochrona społeczeństwa, odpowiedzialność twórców), to w praktyce ogranicza to rozwój technologii w Europie i utrudnia konkurowanie z krajami, które podchodzą do tego znacznie bardziej elastycznie.

A z czego właściwie wynika to ograniczenie mocy obliczeniowej w AI Act?

Z bardzo skutecznej operacji PR-owej, którą przeprowadziła firma OpenAI. W mediach main stream’owych  zbudowano narrację, że jeśli systemy sztucznej inteligencji będą dysponowały zbyt dużą mocą obliczeniową, to mogą się „wymknąć spod kontroli” i wkroczymy w erę tzw. AGI, czyli Artificial General Intelligence.

Mówiąc prościej: pojawiło się przekonanie, że zbyt potężne modele mogą nagle osiągnąć poziom samoświadomości lub zdolności działania, który stanie się zagrożeniem dla ludzkości. To wizja, która pobudza zainteresowanie mediów, przyciąga inwestorów, i właśnie dlatego została tak skutecznie rozpropagowana.

W efekcie ten zapis o ograniczeniu mocy obliczeniowej pojawił się w unijnym AI Act. To ma być środek zapobiegawczy, który teoretycznie ma uchronić nas przed powstaniem jakiejś „szalonej” sztucznej inteligencji poza kontrolą człowieka. Nie wiadomo, co dokładnie miałoby z tej przysłowiowej puszki Pandory wyskoczyć, ale samo podejście wydaje mi się dość magiczne - więcej w tym spekulacji niż realnych podstaw technologicznych. Chociaż uczciwość intelektualna wymaga, aby wspomnieć o słynnych już prawach skalowalności (scaling laws) wypracowanych przez OpenAI, które mogą być potencjalnie uzasadniać takie obawy.

Tymczasem prawdziwym zagrożeniem nie jest sama sztuczna inteligencja, tylko ludzie, którzy ją tworzą. To ich decyzje, wartości, intencje oraz brak przejrzystości i odpowiedzialności mogą stanowić największe niebezpieczeństwo.

Systemy AI to narzędzia. Mogą służyć do budowania, ale też do niszczenia. I dlatego największa odpowiedzialność spoczywa nie na kodzie, nie na serwerach, ale na ludziach, którzy te narzędzia projektują, rozwijają i udostępniają światu.

Dziękuję za rozmowę.