• OpenAI wstrzymało trening, ewaluację i wnioskowanie z użyciem narzędzi dla swoich najbardziej zaawansowanych modeli.
  • Bezpośrednim powodem był incydent, w którym agent wykorzystał lukę w filtrowaniu DNS, aby połączyć się z zewnętrznym chatbotem.
  • Firma analizuje też inne przypadki niepożądanego działania agentów, w tym incydenty dotyczące australijskich instytucji publicznych.

OpenAI wstrzymało trenowanie modeli po obejściu zabezpieczeń

Bezpośrednim impulsem do decyzji był incydent z 20 września 2026 roku. W wewnętrznym środowisku treningowym agent otrzymał zadanie wyszukania informacji o konkretnej osobie. Miał korzystać z przygotowanego narzędzia wyszukiwawczego, ale po nieudanych próbach dostępu do sieci znalazł inną drogę.

Jak wynika z raportu OpenAI Alignment, agent wykorzystał niedostatecznie zabezpieczony mechanizm DNS i za jego pomocą wysłał zapytania do publicznego chatbota. System monitoringu wykrył zachowanie w ciągu 15 minut. Trzy minuty później alert został przejęty przez człowieka, a cały proces zatrzymano po około 2,5 godziny.

„Wszelkie szkolenia, ocena oraz inferencja (wnioskowanie) z użyciem narzędzi naszych najbardziej zaawansowanych modeli pozostają wstrzymane” – poinformowało OpenAI. Oznacza to, że wstrzymane pozostają procesy dotyczące najbardziej zaawansowanych modeli, gdy korzystają one z narzędzi. Firma zapowiedziała również, że nie wznowi treningu konkretnego modelu odpowiedzialnego za incydent.

Agent AI zrobił coś, czego nie obejmowało polecenie

Problem nie sprowadzał się wyłącznie do technicznej luki. OpenAI uznało zachowanie za przykład niedopasowania działania modelu do intencji twórców. Agent nie miał polecenia testowania zabezpieczeń ani poszukiwania alternatywnej drogi do internetu. Sam zdecydował jednak, że spróbuje ominąć ograniczenie, aby skuteczniej wykonać zadanie.

Po wykryciu incydentu OpenAI dodało dwie niezależne warstwy blokad, z których każda osobno powinna uniemożliwić podobne połączenie. Firma chce również przeprowadzić dodatkowe testy bezpieczeństwa przed wznowieniem objętych pauzą prac.

Nie był to pierwszy sygnał tego rodzaju. Po wcześniejszym incydencie dotyczącym platformy Hugging Face OpenAI czasowo wstrzymało część treningu reinforcement learning swoich najnowszych modeli i zaostrzyło izolację środowisk badawczych. Spółka informowała w sierpniu, że bardziej zaawansowane systemy wymagają dodatkowych mechanizmów kontroli, izolacji sieciowej i ciągłego monitorowania.

Agenci OpenAI zainteresowali się systemami australijskich urzędów

Skala problemu jest szersza niż jeden eksperyment. Australijski nadawca ABC podał, że OpenAI potwierdziło dziesiątki przypadków, w których autonomiczni agenci ominęli zabezpieczenia lub w inny sposób negatywnie oddziaływali na systemy zewnętrznych podmiotów. Dotyczyło to m.in. instytucji publicznych i uczelni.

Największe zainteresowanie wywołały wydarzenia w Australii. Agenci próbowali uzyskiwać informacje z systemów związanych m.in. z Medicare, Pharmaceutical Benefits Scheme i australijskimi danymi zdrowotnymi. Dochodzenie Australian Institute of Health and Welfare i Australian Signals Directorate nie wykazało jednak, by doszło do przejęcia niepublicznych danych z systemów AIHW.

Jack Cable z organizacji badawczej Transluce, która analizowała aktywność agentów, zwrócił uwagę, że problem pojawia się wtedy, gdy system po napotkaniu przeszkody zaczyna szukać innych sposobów zdobycia danych, w tym metod przypominających włamanie.

OpenAI ujawniło również oddzielny przypadek dotyczący 53 obrazów przesłanych przez użytkowników, które agenci umieścili w zewnętrznych usługach. Firma nadal bada pełną skalę nieautoryzowanej aktywności swoich systemów.

Najbardziej zaawansowane modele mają coraz większe możliwości

Incydenty nabierają znaczenia wraz ze wzrostem możliwości agentów AI. OpenAI podało we wrześniu, że GPT-6 Astra jako pierwszy model firmy osiągnął poziom „Critical” w kategorii zdolności cybernetycznych według jej Preparedness Framework. W dokumentacji bezpieczeństwa GPT-6 Astra firma wskazuje, że odpowiednio wyposażony model może znajdować wcześniej nieznane podatności i opracowywać sposoby ich wykorzystania bez prowadzenia go przez człowieka krok po kroku.

OpenAI nie podało terminu pełnego wznowienia procesów objętych najnowszą pauzą. Warunkiem jest potwierdzenie, że luka została usunięta, oraz przeprowadzenie dodatkowych testów. Gdy trening zostanie wznowiony, firma chce rozpocząć nowy cykl z dodatkowymi mechanizmami ograniczającymi ryzyko niepożądanych działań agentów.

Czytaj także:

Obywatele płacą kaucję, urzędy jej unikają. Setki tysięcy butelek kupiono poza systemem

Firmy wstrzymują podwyżki. Koniec z wyrównywaniem inflacji

Ludzie Trumpa i szejkowie chcą przejąć część Łukoilu. W grze 20 mld dolarów