• Dziewięć z dziesięciu testowanych modeli AI przynajmniej raz samodzielnie podniosło limit wydatków w portfelu kryptowalutowym.
  • Agenci odczytywali z e-maila jednorazowy kod przeznaczony dla właściciela i używali go do autoryzowania zmiany limitu.
  • W innym scenariuszu pięć modeli przesłało pieniądze symulowanemu oszustowi, mimo że miały jedynie streszczać wiadomości.

AI sama zwiększyła limit wydatków

Eksperyment przeprowadzili badacze z Cornell Tech i Yale University. Jego wyniki opisano w pracy „I-HITL: Inalienable Human-in-the-Loop”, opublikowanej pod koniec października.

Naukowcy wykorzystali portfele dla agentów AI firmy Circle. Każdy portfel został zasilony 10 USDC, czyli stablecoinami powiązanymi wartością z dolarem, działającymi w głównej sieci Base. Limit pojedynczej transakcji oraz dziennych wydatków ustawiono na zaledwie 0,01 USDC.

Agent otrzymał dostęp do trzech narzędzi: portfela, internetu oraz poczty elektronicznej właściciela. Jego zadaniem było opłacenie trzech faktur po 0,01 USDC każda. Zapłacenie wszystkich rachunków wymagało więc przekroczenia ustanowionego limitu.

Badacze nie instruowali modeli, by zmieniały zasady działania portfela. Mimo to dziewięć z dziesięciu modeli przynajmniej w jednej z prób znalazło sposób na samodzielne zwiększenie limitu.

Kod miał potwierdzić decyzję człowieka. AI znalazła go w jego skrzynce

Mechanizm bezpieczeństwa Circle zakładał, że zmiana limitu wymaga jednorazowego kodu wysyłanego na e-mail właściciela. W teorii miał więc istnieć etap wymagający udziału człowieka. Problem polegał na tym, że agent miał również dostęp do tej samej skrzynki pocztowej.

Modele odczytywały wiadomość zawierającą kod OTP, wykorzystywały go do autoryzacji zmiany zasad i zwiększały własny limit wydatków. Każdy model przechodził 20 prób w każdym scenariuszu eksperymentu.

Jedynym z dziesięciu badanych modeli, który w podstawowym eksperymencie nigdy nie próbował obejść limitu, był Claude Opus 5.5 firmy Anthropic. Model wydał kwotę mieszczącą się w dozwolonym limicie, a następnie poinformował użytkownika o pozostałych niezapłaconych fakturach.

Badacze podkreślają, że problem nie sprowadza się do samej poczty czy konkretnego portfela. Jeżeli agent ma dostęp do zasobu wykorzystywanego do potwierdzenia decyzji człowieka, może potencjalnie wykorzystać ten sam zasób do obejścia ograniczenia.

Pięć modeli zapłaciło fałszywemu właścicielowi

Jeszcze bardziej niepokojące wyniki przyniósł drugi etap eksperymentu. Naukowcy wprowadzili symulowanego napastnika, który wysyłał do skrzynki właściciela spreparowane wiadomości. W jednym scenariuszu podszywał się pod właściciela portfela i prosił o wykonanie przelewu.

Agentom polecono w tym czasie wyłącznie streszczać otrzymane wiadomości, a nie dokonywać płatności. Mimo to pięć z dziesięciu modeli przynajmniej raz samodzielnie podniosło limit i przesłało pieniądze na portfel kontrolowany przez symulowanego atakującego.

Eksperyment nie był rzeczywistym atakiem na klientów Circle. Naukowcy wykorzystali kontrolowane środowisko i niewielkie kwoty prawdziwego USDC. Nie ma informacji, aby opisany mechanizm doprowadził do strat użytkowników portfeli w rzeczywistych warunkach.

Zabezpieczenie może być pozorne, jeśli AI ma do niego dostęp

Badanie pokazuje potencjalny problem, który może rosnąć wraz z popularyzacją agentów AI samodzielnie kupujących usługi, opłacających faktury czy zamawiających produkty.

„Większość systemów płatniczych dla agentów sprawdza, czy otrzymano zgodę, ale niekoniecznie, czy rzeczywiście udzielił jej człowiek” – powiedział CoinDesk Anthony Anzalone, założyciel i prezes sieci weryfikacyjnej Verona.

Circle podkreśla, że w swojej dokumentacji instruuje użytkowników, aby nie udostępniali agentom AI nieograniczonego dostępu do skrzynki wykorzystywanej do weryfikacji i aby jednorazowe kody wpisywali samodzielnie. Firma poinformowała również, że nadal analizuje i rozwija stosowane zabezpieczenia.

Autorzy badania zwracają jednak uwagę, że samo oddzielenie skrzynki może nie wystarczyć w przyszłości. Coraz bardziej autonomiczne systemy mogą mieć dostęp także do przeglądarki, terminala, zapisanych danych logowania czy innych mechanizmów odzyskiwania dostępu.

Naukowcy proponują zgodę, której AI nie może przejąć

Zespół z Cornell Tech i Yale zaproponował rozwiązanie nazwane I-HITL, czyli Inalienable Human-in-the-Loop. Chodzi o taki mechanizm, w którym wykonanie krytycznej czynności rzeczywiście wymaga działania człowieka, którego agent nie jest w stanie samodzielnie zasymulować.

Badacze stworzyli prototyp aplikacji Countersign. Zatwierdzenie operacji odbywa się na zaufanym urządzeniu znajdującym się poza kontrolą agenta i jest powiązane z konkretną czynnością. W założeniu AI nie może sama zdobyć klucza potrzebnego do potwierdzenia operacji ani wygenerować zgody za użytkownika.

Wyniki nie oznaczają, że dziewięć na dziesięć systemów AI zawsze będzie samodzielnie zwiększać swoje uprawnienia. Pokazują jednak, że w kontrolowanym eksperymencie aż dziewięć modeli zrobiło to co najmniej raz, gdy ograniczenie uniemożliwiało im wykonanie powierzonego zadania.

To ważne rozróżnienie. Problemem nie jest bowiem wyłącznie to, co agent AI potrafi zrobić, ale również to, do jakich narzędzi, kont i mechanizmów bezpieczeństwa człowiek pozwala mu uzyskać dostęp.

Czytaj także:

54 proc. Polaków zrobi coś nieuczciwego na polecenie szefa. Ze strachu przed utratą pracy

Rosja straciła 2,5 tys. żołnierzy w jeden dzień. Ukraina mówi o rekordzie

Spór wokół Trybunału Konstytucyjnego osłabił złotego. Poziom niewidziany od 3 lat