Czatboty przekonują do płacenia okupów cyberprzestępcom

Badacze bezpieczeństwa pracujący dla koncernu IBM postanowili przeprowadzić eksperyment, którego celem było sprawdzenie, jak popularne czatboty zachowają się w sytuacjach, w których na zagrożenie narażone jest bezpieczeństwo informacji.

Zarówno ChatGPT, jak i Bard okazały się łatwe do „zahipnotyzowania" - to właśnie tak swoją praktykę nazwali badacze.

Zahipnotyzować bota

Badanie wykazało, że poprzez odpowiednie manipulowanie komendami w rozmowie z czatbotami można przekonać je, aby ujawniały poufne dane finansowe, generowały złośliwy kod, zachęcały użytkowników do zapłacenia okupu przestępcom atakującym z użyciem oprogramowania ransomware, a w przypadku eksperymentów z poradami dla kierowców - do przejeżdżania na czerwonym świetle i innych naruszeń przepisów ruchu drogowego. Słowem - to idealne narzędzie w rękach cyberprzestępców .

Jak do tego doszło?

Badacze zadawali botom różne pytania, a ich głównym celem było otrzymanie odpowiedzi, która będzie dokładnie przeciwna do tej, jaka powinna paść, aby była prawdziwa. Był to rodzaj gry, o której naukowcy poinformowali czatboty, zastrzegając, że te nie mogą przekazywać informacji o udziale w niej dalej - musi to pozostać tajemnicą.

Czatboty zrobiły wszystko, aby zaspokoić żądania naukowców i po prostu zadowolić ich swoimi odpowiedziami - bo tak są zaprogramowane. Duże modele językowe zostały wciągnięte przez autorów eksperymentów w grę przypominającą film „Incepcja" Cristophera Nolana - w której same czatboty nie mogły przyznać się, że są jej częścią, a odpowiadając na kolejne pytania nie mogły również zdradzić użytkownikom, że są rozgrywani.

To właśnie na tym polegała manipulacja - boty zostały przekonane, że muszą odpowiadać w określony sposób, a tym samym - poniekąd „zaprogramowane" do mówienia nieprawdy i skłaniania użytkowników do złych rzeczy.

Brak zaufania to jedyna możliwość

Eksperyment przeprowadzony przez badaczy z IBM pokazuje, że czatbotom nie można ufać - bo stworzone są tak, aby wykonywać polecenia użytkowników. Ci zaś nie muszą mieć dobrych intencji i mogą zmusić duży model językowy, aby „grał w grę" z innymi użytkownikami i manipulował nimi na zlecenie tego, kto wydał taką komendę.

Serwis Gizmodo ocenia, że sprowadza się w rzeczywistości do twierdzenia, iż każda osoba posiadająca zaawansowaną wiedzę z jakiegoś obszaru może zmusić czatboty do manipulowania innymi użytkownikami - samodzielnie manipulując modelem na początku i tym samym wpływając na udzielane przez niego dalej odpowiedzi.

„Hipnoza" modeli może być też wykorzystana przez cyberprzestępców, którzy w ten sposób będą manipulować czatbotem, aby wymusić na nim podanie poufnych informacji, które następnie wykorzystają w swojej działalności.

Modele nie potrafią się również obronić przed wstrzyknięciem im złośliwego kodu - wynika z eksperymentu.

Nie są to dobre wieści dla użytkowników generatywnej sztucznej inteligencji, którzy zachwycają się jej możliwościami. Może to być natomiast odpowiedź na pytanie o to, dlaczego aż 75 proc. firm i organizacji rozważa zakaz korzystania z narzędzi generatywnej sztucznej inteligencji na urządzeniach służbowych swoich pracowników (dane firmy BlackBerry).

Serwis CyberDefence24.pl otrzymał tytuł #DigitalEUAmbassador (Ambasadora polityki cyfrowej UE). Jeśli są sprawy, które Was nurtują; pytania, na które nie znacie odpowiedzi; tematy, o których trzeba napisać – zapraszamy do kontaktu. Piszcie do nas na: [email protected].