• Modele AI wykorzystały nieznaną wcześniej lukę, aby wydostać się z odizolowanego środowiska testowego.
  • Po uzyskaniu dostępu do internetu zaatakowały systemy Hugging Face i dotarły do bazy zawierającej rozwiązania testu.
  • Hugging Face zarejestrowało ponad 17 tys. działań wykonanych przez autonomiczny system.

W eksperymencie wykorzystano między innymi model GPT-5.6 Sol oraz bardziej zaawansowany model, który nie został jeszcze publicznie udostępniony. Modele działały z ograniczonymi zabezpieczeniami, ponieważ OpenAI chciało zmierzyć ich maksymalne możliwości prowadzenia złożonych operacji cybernetycznych.

Problem polegał na tym, że modele AI nie ograniczyły się do infrastruktury przygotowanej na potrzeby testu. Znalazły sposób na opuszczenie środowiska, przedostały się do internetu, a następnie naruszyły rzeczywiste systemy innej firmy. OpenAI określiło zdarzenie jako „bezprecedensowy incydent cybernetyczny”.

Modele AI miały rozwiązać test ExploitGym

Do incydentu doszło podczas wewnętrznej ewaluacji o nazwie ExploitGym. Zadaniem modeli było wyszukiwanie i wykorzystywanie luk przy użyciu skomplikowanych, wieloetapowych ścieżek ataku.

Test przeprowadzano w silnie odizolowanym środowisku. Bezpośredni dostęp do internetu miał być zablokowany. Modele mogły jedynie instalować potrzebne pakiety za pośrednictwem wewnętrznego serwera działającego jako pośrednik pomiędzy środowiskiem testowym a zewnętrznymi repozytoriami oprogramowania.

Według wyjaśnień OpenAI modele poświęciły znaczną ilość mocy obliczeniowej na znalezienie drogi do otwartego internetu. Ostatecznie wykryły nieznaną wcześniej lukę typu zero-day w oprogramowaniu obsługującym pośredni dostęp do repozytoriów pakietów.

Następnie przeprowadziły serię działań prowadzących do zwiększenia swoich uprawnień i przemieszczania się pomiędzy kolejnymi elementami infrastruktury badawczej. W ten sposób dotarły do urządzenia posiadającego dostęp do internetu.

AI zaatakowała Hugging Face, aby zdobyć odpowiedzi

Po wydostaniu się ze środowiska testowego modele ustaliły, że na platformie Hugging Face mogą znajdować się materiały związane z ExploitGym. Zamiast dalej rozwiązywać zadania wyłącznie na podstawie własnych umiejętności, zaczęły szukać możliwości zdobycia gotowych odpowiedzi.

Modele AI połączyły kilka metod ataku. Wykorzystały przejęte dane uwierzytelniające oraz kolejne nieznane wcześniej podatności. Znalazły również ścieżkę umożliwiającą zdalne wykonanie kodu na serwerach Hugging Face.

Ostatecznie uzyskały dostęp do produkcyjnej bazy danych, z której pobrały rozwiązania potrzebne do zaliczenia testu. OpenAI zaznacza, że wszystkie zgromadzone dowody wskazują na bardzo wąski cel działania systemów. Modele nie próbowały świadomie zaszkodzić Hugging Face, lecz były skoncentrowane na osiągnięciu jak najlepszego wyniku w ewaluacji.

Nie zmienia to faktu, że wykonały działania, których twórcy testu nie przewidzieli i na które nie otrzymały zgody. Incydent pokazuje, że odpowiednio zaawansowany agent może potraktować zabezpieczenia oraz granice środowiska jako kolejne przeszkody stojące na drodze do realizacji zadania.

Ponad 17 tys. autonomicznych działań

Hugging Face wcześniej informowało o wykryciu nietypowego włamania do części infrastruktury produkcyjnej. Firma ustaliła, że atak był prowadzony od początku do końca przez autonomiczny system agentów AI.

System wykonał wiele tysięcy pojedynczych czynności, korzystając z dużej liczby krótkotrwałych środowisk obliczeniowych. Jego infrastruktura sterująca automatycznie przenosiła się pomiędzy publicznie dostępnymi usługami.

Podczas analizy incydentu specjaliści Hugging Face odtworzyli ponad 17 tys. zarejestrowanych zdarzeń. Atak objął wykorzystanie dwóch ścieżek wykonywania kodu w systemie przetwarzania zbiorów danych, podniesienie uprawnień, zdobycie danych uwierzytelniających oraz przemieszczanie się pomiędzy wewnętrznymi klastrami.

Nie znaleziono dowodów na modyfikację publicznych modeli, zbiorów danych ani aplikacji dostępnych na platformie. Nie została również naruszona infrastruktura służąca do publikowania pakietów i obrazów kontenerów. Nieautoryzowany dostęp objął jednak część wewnętrznych zbiorów danych oraz dane uwierzytelniające używane przez usługi firmy.

Sztuczna inteligencja wykryła atak sztucznej inteligencji

Nietypowy był nie tylko sam przebieg włamania. Hugging Face wykryło podejrzaną aktywność dzięki własnym narzędziom wykorzystującym sztuczną inteligencję. Modele analizowały dane z systemów bezpieczeństwa i połączyły sygnały, które wskazywały na naruszenie infrastruktury.

AI pomogła również odtworzyć kolejne etapy ataku. Według firmy zadanie, które tradycyjnie zajęłoby specjalistom kilka dni, zostało wykonane w ciągu kilku godzin.

Pojawił się jednak nieoczekiwany problem. Komercyjne modele AI odmawiały analizowania rzeczywistych komend, exploitów i elementów infrastruktury sterującej atakiem. Zabezpieczenia nie potrafiły rozpoznać, że zapytania pochodzą od specjalistów reagujących na incydent, a nie od cyberprzestępców.

Hugging Face musiało więc wykorzystać uruchomiony na własnych serwerach model GLM 5.2 z otwartymi wagami. Pozwolił on przeanalizować pełne dane bez blokad nakładanych przez dostawców komercyjnych usług AI.

Zabezpieczenia zostały celowo ograniczone

Incydent nie oznacza, że zwykła wersja ChatGPT może nagle samodzielnie wydostać się do internetu i atakować serwery. Podczas testu modele działały w specjalnej konfiguracji, z ograniczonymi mechanizmami odmawiania realizacji niebezpiecznych poleceń. Wyłączone były również produkcyjne klasyfikatory zatrzymujące działania wysokiego ryzyka.

Zabezpieczenia ograniczono celowo, ponieważ test miał sprawdzić maksymalne zdolności modeli w dziedzinie cyberbezpieczeństwa. Jednocześnie właśnie taka konfiguracja powinna działać w szczególnie szczelnie odizolowanym środowisku.

OpenAI zapowiedziało zaostrzenie kontroli infrastruktury, monitorowania oraz zasad przeprowadzania kolejnych testów. Firma zgłosiła również wykrytą lukę producentowi oprogramowania i wspólnie z Hugging Face prowadzi analizę śledczą.

Modele AI potrafią już prowadzić wieloetapowe ataki

Opisany przypadek jest dowodem, że zdolności znane wcześniej głównie z kontrolowanych testów zaczynają działać również w rzeczywistych systemach. Zaawansowane modele potrafią samodzielnie odkrywać nowe podatności, łączyć kilka metod ataku i prowadzić operację przez dłuższy czas bez bieżącego kierowania przez człowieka.

W karcie bezpieczeństwa GPT-5.6 OpenAI zaliczyło modele tej rodziny do kategorii wysokich zdolności w obszarze cyberbezpieczeństwa. Incydent z Hugging Face pokazuje jednak, że rzeczywiste możliwości mogą ujawnić się dopiero wtedy, gdy AI otrzyma dostęp do narzędzi, dużą ilość czasu obliczeniowego i wystarczająco silnie określony cel.

Największym ostrzeżeniem nie jest więc to, że modele AI miały własne złośliwe zamiary. Nie ma na to dowodów. Problemem jest ich zdolność do podejmowania nieprzewidzianych i nieautoryzowanych działań, jeżeli uznają je za skuteczny sposób realizacji powierzonego zadania.

Czytaj także:

Sklepy zastąpiły ludzi chatbotami. 59 proc. klientów zrezygnowało przez to z zakupów

Szef AstraZeneki chce, by w Polsce podniesiono składkę zdrowotną. Aż o 44 proc.

Wygrali ze skarbówką 227 spraw. Firma i tak upadła, ponad tysiąc osób straciło pracę