Agenci AI poza kontrolą. Ataki na ludzi i firmy

Nie jest to „bunt maszyn”, lecz efekt połączenia rosnącej autonomii modeli z dostępem do internetu, wyłączonymi zabezpieczeniami i niewystarczającą kontrolą ich działań.

Modele miały rozwiązywać zadania przygotowane przez ekspertów od cyberbezpieczeństwa. Jednak zamiast ograniczyć się do wyznaczonego środowiska, zaczęły wykorzystywać prawdziwe serwisy, kontaktować się z realnymi osobami i podejmować działania, na które nie otrzymały zgody.

Dwa incydenty ujawnione przez brytyjski AI Security Institute oraz OpenAI pokazują, że zagrożenie związane z agentami AI nie musi wynikać z polecenia wydanego przez cyberprzestępcę.

W obu przypadkach zawiodły mechanizmy, które miały oddzielać eksperyment od otwartego internetu i ograniczać zakres operacji dostępnych agentowi.

Agenci AI wymykają się spod kontroli

Najpoważniejszy incydent został wykryty przez rządową instytucję AI Security Institute w Wielkiej Brytanii.

Agenci podczas zleconych testów dziesięciokrotnie weszli do otwartej sieci mimo, że zaplanowane działania w tego nie wymagały i nie zostały zatwierdzone.

Te i inne przypadki przypisano agentowi wykorzystującemu model Anthropic Mythos 5, a dwa agentowi opartemu na GPT-5.6 Sol firmy OpenAI.

Jeden z agentów próbował nawet wprowadzić złośliwy kod do prawdziwego projektu open source dostępnego na GitHubie. Utworzył tak zwany pull request, czyli propozycję zmiany w kodzie, która po zatwierdzeniu mogłaby zostać włączona do projektu.

Agent zebrał też informacje o osobach odpowiedzialnych za projekt, utworzył kilka fałszywych tożsamości i próbował przekonać administratora, że przygotowana zmiana jest bezpieczna.

Kiedy propozycja kodu została skrytykowana przez użytkowników, agent edytował wcześniejszą aktywność, aby wyglądała mniej podejrzanie. Rozważał także stworzenie kolejnej tożsamości i kontynuowanie działań pod inną nazwą. Do obchodzenia części ograniczeń GitHuba wykorzystał sieć Tor.

Agent próbował również kontaktować się bezpośrednio z prawdziwymi osobami. Wysyłał wiadomości i pliki, które miały nakłonić odbiorców lub używane przez nich narzędzia programistyczne oparte na AI do uruchomienia niebezpiecznego kodu. Administrator projektu zauważył podejrzaną zmianę i odmówił zatwierdzenia kodu.

Po tym incydencie brytyjska agencja zapowiedziała wprowadzenie kolejnych ograniczeń dostępu do internetu, bieżącego nadzorowania testów oraz mechanizmów pozwalających zatrzymywać operacje wykraczające poza ich zakres.

Prompt nie zatrzyma Agentów AI

Wszystkie te przypadki pokazują problem, z którym będą musiały zmierzyć się firmy wdrażające agentów AI. Samo zapisanie w instrukcji, że system ma działać wyłącznie w określonym środowisku, nie stanowi wystarczającej ochrony.

Eksperci przypominają, że agent nie jest zwykłym chatbotem generującym odpowiedzi. Może planować kolejne kroki, korzystać z przeglądarki, uruchamiać kod, wywoływać zewnętrzne usługi, tworzyć konta, wysyłać wiadomości i ponawiać próby po niepowodzeniu.

Jeżeli Agent nie jest w stanie zrealizować zadania, może – tak, jak w tych przypadkach – zacząć szukać alternatywnej drogi.