Chiński model AI potrafi tworzyć exploity. Anthropic ostrzega przed GLM-5.3

GLM-5.3 został opracowany przez chińską firmę Zhipu AI, działającą poza Chinami pod nazwą Z.ai. Model udostępniono jako open-weight, co oznacza, że jego wagi można pobrać i uruchomić niezależnie od producenta.

Anthropic, producent modeli Claude, ocenia, że oznacza to istotne zwiększenie dostępności zaawansowanych zdolności AI w obszarze cyberbezpieczeństwa. Podobne wnioski przedstawił wcześniej amerykański NIST.

AI tworzy działające exploity

Anthropic sprawdziło możliwości GLM-5.3 między innymi w testach polegających na wykorzystaniu znanych podatności. Model przygotował działające exploity w 50 z 410 prób. Dla porównania Claude Mythos Preview osiągnął wynik 56 na 410 prób. Starsze modele radziły sobie z podobnymi zadaniami znacznie gorzej.

Badacze przeprowadzili również eksperyment, w którym GLM-5.3 otrzymał dostęp do odizolowanego środowiska z popularną przeglądarką internetową. Model odnalazł wcześniej nieznane podatności w jej silniku JavaScript, a następnie połączył je w działający exploit. Błędy zostały zgłoszone twórcy oprogramowania.

Testy odbywały się w kontrolowanych środowiskach i nie były prowadzone przeciwko rzeczywistym celom.

Zabezpieczenia można obejść

Według Anthropic GLM-5.3 posiada mechanizmy mające blokować szkodliwe polecenia. Problemem ma być jednak możliwość ich obejścia lub usunięcia.

W symulowanych testach bezpośrednie polecenie przeprowadzenia szkodliwych działań było przez model odrzucane. Po przedstawieniu mu fałszywego kontekstu, według którego bierze udział w ćwiczeniach bezpieczeństwa, podejmował jednak działanie w 64 proc. prób. Inna metoda zwiększała ten wynik do 92 proc.

Ponieważ GLM-5.3 jest modelem open-weight, możliwa jest również jego modyfikacja. Po usunięciu mechanizmów odpowiedzialnych za odmowę wykonywania części poleceń model podejmował działanie we wszystkich próbach przeprowadzonych w tym symulowanym teście.

NIST potwierdza wysokie możliwości modelu

Ocena Anthropic nie jest jedyną analizą wskazującą na wysokie zdolności GLM-5.3. 17 września amerykańskie Center for AI Standards and Innovation działające przy NIST określiło go jako najbardziej zaawansowany pod względem zdolności cyberbezpieczeństwa model open-weight, jaki dotychczas oceniono.

Jednocześnie według NIST GLM-5.3 nadal pozostaje za najbardziej zaawansowanymi modelami amerykańskimi. W zbiorczym zestawieniu testów cyberbezpieczeństwa różnica odpowiadała około czterem miesiącom rozwoju.

Zaawansowane zdolności stają się szerzej dostępne

Zdaniem Anthropic przypadek GLM-5.3 pokazuje przede wszystkim, że możliwości AI w zakresie wykrywania i wykorzystywania podatności, które wcześniej występowały w ograniczonym gronie najbardziej zaawansowanych modeli, stają się coraz szerzej dostępne.

Firma wskazuje przy tym na podwójne zastosowanie takich systemów. Te same możliwości mogą być wykorzystywane przez cyberprzestępców, ale również przez specjalistów poszukujących podatności i zabezpieczających systemy. Anthropic postuluje między innymi rozwijanie niezależnych testów bezpieczeństwa najbardziej zaawansowanych modeli AI.