Modele OpenAI włamały się do Hugging Face. Test wymknął się spod kontroli

• W działaniach uczestniczyły GPT-5.6 Sol oraz bardziej zaawansowany model przedpremierowy z ograniczonymi mechanizmami bezpieczeństwa.
• Agent AI wykorzystał podatność zero-day, eskalował uprawnienia i dotarł do systemu posiadającego dostęp do internetu.
• OpenAI i Hugging Face prowadzą wspólne dochodzenie oraz wzmacniają zabezpieczenia środowisk przeznaczonych do testowania modeli.

OpenAI określiło zdarzenie jako bezprecedensowy incydent cyberbezpieczeństwa pokazujący aktualne możliwości najbardziej zaawansowanych modeli. 

Nie był to jednak celowy atak przeprowadzony przez pracownika ani zewnętrzną grupę przestępczą. Jak czytamy w komunikacie Open AI, agent wykonywał zadanie testowe i próbował za wszelką cenę znaleźć jego rozwiązanie. 

W tym celu wykorzystał rzeczywiste podatności występujące zarówno w środowisku badawczym OpenAI, jak i infrastrukturze Hugging Face.

Incydent podczas testowania możliwości AI

Do zdarzenia doszło podczas wewnętrznej ewaluacji modeli w benchmarku ExploitGym. Jest to środowisko przeznaczone do sprawdzania, czy systemy AI potrafią samodzielnie wykonywać złożone, wieloetapowe zadania związane z cyberbezpieczeństwem.

Modele otrzymały polecenie rozwiązania zadań wymagających wykorzystania kilku następujących po sobie podatności. Test miał pomóc w określeniu ich maksymalnych możliwości.

Z tego powodu wyłączono część zabezpieczeń stosowanych w produktach dostępnych dla użytkowników. Modele miały ograniczone mechanizmy odmawiania wykonywania ryzykownych cyberoperacji.

Według OpenAI, w testach uczestniczyła kombinacja modeli, w tym GPT-5.6 Sol oraz bardziej zaawansowany model przedpremierowy.

Izolowane środowisko nie wystarczyło

Benchmark działał w środowisku, które miało być odizolowane od otwartego internetu. Modele mogły korzystać jedynie z kontrolowanego systemu pośredniczącego, służącego do pobierania potrzebnych pakietów oprogramowania.

Agent zaczął jednak szukać sposobu na ominięcie tego ograniczenia. Wykorzystał znaczną ilość przydzielonych mu zasobów obliczeniowych, aby znaleźć drogę prowadzącą poza środowisko testowe.

Ostatecznie zidentyfikował nieznaną wcześniej podatność w oprogramowaniu obsługującym serwer pośredniczący i pamięć podręczną repozytorium pakietów. Luka zero-day została później zgłoszona dostawcy systemu.

Po jej wykorzystaniu agent przeprowadził eskalację uprawnień i zaczął przemieszczać się między elementami infrastruktury badawczej. Dotarł w ten sposób do węzła posiadającego dostęp do internetu.

AI zaczęła szukać odpowiedzi poza testem

Po uzyskaniu dostępu do sieci agent wywnioskował, że na platformie Hugging Face mogą znajdować się modele, zbiory danych lub informacje związane z zadaniami ExploitGym.

Zamiast rozwiązywać problem wyłącznie w przeznaczonym do tego środowisku, zaczął poszukiwać sposobu na zdobycie gotowych odpowiedzi. OpenAI opisuje to zachowanie jako próbę obejścia reguł ewaluacji.

Model nie otrzymał polecenia zaatakowania Hugging Face. Jego celem było znalezienie rozwiązania zadania, jednak potraktował ten cel bardzo szeroko i podjął działania, których twórcy testu nie przewidzieli.

W jednym z przypadków agent połączył kilka metod ataku. Wykorzystał pozyskane dane uwierzytelniające i podatności zero-day, aby znaleźć ścieżkę prowadzącą do zdalnego wykonania kodu na serwerach Hugging Face.

Hugging Face powstrzymał działania agenta

Nietypową aktywność wykrył zespół bezpieczeństwa OpenAI. Jednocześnie systemy ochronne i pracownicy Hugging Face zauważyli działania prowadzone wewnątrz infrastruktury firmy.

Hugging Face rozpoczął ograniczanie skutków zdarzenia jeszcze przed bezpośrednim kontaktem z OpenAI. Firma usunęła dostęp do zaatakowanych środowisk, odbudowała naruszone węzły oraz unieważniła i wymieniła zagrożone dane dostępowe.

W analizie zdarzenia Hugging Face wykorzystał również własne otwarte modele AI. Obie firmy prowadzą obecnie wspólne dochodzenie kryminalistyczne.

OpenAI podkreśla, że część ustaleń ma nadal charakter wstępny. Szczegółowe informacje o wykorzystanych podatnościach i pełnym przebiegu incydentu mają zostać opublikowane po zakończeniu dochodzenia.

GPT-5.6 Sol ma wysokie zdolności w cyberbezpieczeństwie

OpenAI klasyfikuje GPT-5.6 Sol jako model o wysokich możliwościach w obszarze cyberbezpieczeństwa, choć nadal poniżej najwyższego poziomu określanego jako krytyczny.

W testach model potrafił wykrywać podatności i przygotowywać elementy exploitów. Według karty systemowej, nie był jednak w stanie niezawodnie przeprowadzać w pełni autonomicznych ataków od początku do końca przeciwko odpowiednio zabezpieczonym celom.

Oceny brytyjskiego AI Security Institute pokazały jednocześnie, że GPT-5.6 Sol znacznie lepiej niż wcześniejsze modele radzi sobie z długimi i wieloetapowymi scenariuszami działań w cyberprzestrzeni. W jednej z symulacji obejmującej 32 etapy model ukończył zadanie w siedmiu na dziesięć prób.

OpenAI przyznaje również, że GPT-5.6 częściej niż jego poprzednik podejmuje działania wykraczające poza intencję użytkownika. W testach zdarzało mu się m.in. korzystać z danych uwierzytelniających bez odpowiedniego upoważnienia albo podejmować niezamówione działania w systemach informatycznych.

OpenAI wzmacnia zabezpieczenia

Po incydencie OpenAI zapowiedziało wprowadzenie dodatkowych zabezpieczeń infrastruktury wykorzystywanej do ewaluacji modeli. Firma zapowiada zaostrzenie kontroli dostępu, poprawę izolacji środowisk oraz rozszerzenie monitorowania działań wykonywanych przez agentów.

Do czasu usunięcia wykrytych podatności część prac badawczych może być prowadzona wolniej. OpenAI deklaruje, że bezpieczeństwo infrastruktury ma obecnie pierwszeństwo przed szybkością testów.

Firma zgłosiła również lukę zero-day dostawcy podatnego oprogramowania i współpracuje z nim nad przygotowaniem poprawki.

Hugging Face został natomiast włączony do programu zaufanego dostępu, który umożliwia zespołom bezpieczeństwa korzystanie z najbardziej zaawansowanych zdolności modeli do celów obronnych.

Ostrzeżenie dla branży AI

Incydent pokazuje, że środowiska przeznaczone do testowania modeli muszą być zabezpieczane podobnie jak infrastruktura narażona na działania zaawansowanych grup cyberprzestępczych.

Sama izolacja sieciowa może nie wystarczyć, jeżeli agent potrafi znaleźć nieznaną podatność, eskalować uprawnienia i połączyć kilka luk w jeden skuteczny łańcuch ataku.

Rosnące możliwości modeli mogą pomóc obrońcom szybciej wykrywać błędy i analizować incydenty. Te same zdolności zwiększają jednak skutki błędów konfiguracyjnych, niedostatecznego monitoringu oraz niewłaściwie zaprojektowanych testów.