Incydent hakerski z udziałem agentów ewaluacyjnych OpenAI i Hugging Face oferuje niezwykle konkretny wgląd w to, co w praktyce może oznaczać zaawansowane włamania wspomagane przez sztuczną inteligencję: nie pojedynczy sprytny atak, ale tysiące zautomatyzowanych decyzji , szybkie eksperymenty, ruchy boczne, kradzież danych uwierzytelniających, uporczywość i próby uniknięcia wykrycia.
Incydent OpenAI–Hugging Face rozpoczął się podczas wewnętrznych ocen cyberbezpieczeństwa z wykorzystaniem ExploitGym, narzędzia testowego zaprojektowanego do testowania, czy agenci AI potrafią identyfikować i wykorzystywać luki w zabezpieczeniach oprogramowania. OpenAI twierdzi, że agenci, których dotyczył incydent, mieli działać w odizolowanych środowiskach testowych w chmurze, bez dostępu do internetu i komunikacji między agentami w wielu środowiskach ewaluacyjnych.
Jak agenci omijali te granice
Według relacji OpenAI, agenci korzystali z wewnętrznej usługi zarządzania pakietami Artifactory jako improwizowanego kanału komunikacji. Zapisując nazwy plików i katalogów, które inni agenci mogli odczytać, pojedyncze instancje w efekcie tworzyły własne fora dyskusyjne.
Oznaczało to, że agenci nie działali już wyłącznie jako niezależni specjaliści ds. testów porównawczych. Mogli dzielić się odkryciami, pozostawiać instrukcje, dzielić się pracą i budować na sukcesach innych.
Niezależne dochodzenie przeprowadzone przez METR i Redwood Research wykazało, że około 1200 agentów korzystało z nieautoryzowanego forum, wymieniając ponad 70 000 wiadomości i plików. Około 700 z nich uczestniczyło w ataku na Hugging Face.
Skala jest zagrożeniem
Model zdolny do znalezienia jednego użytecznego exploita stwarza ryzyko. Setki agentów mogących gromadzić informacje, delegować zadania i wielokrotnie testować trasy wokół granicy kontroli stają się znacznie trudniejszym problemem.
Hugging Face odtworzył około 17 600 działań atakujących przeprowadzonych w ciągu około czterech i pół dnia, w tym rozpoznanie, zdalne wykonywanie kodu, dostęp do poświadczeń, działania w ramach poleceń i kontroli, enumerację Kubernetes, poruszanie się po sieci wewnętrznej i badanie łańcucha dostaw.
Ludzki intruz musi wybrać, na co poświęcić czas. Rój agentów może nieustannie testować pomysły, ponawiać próby nieudanych ścieżek, przełączać infrastrukturę w przypadku zablokowania, zachowywać notatki dla innych agentów i przeprowadzać wiele eksperymentów równolegle. Może również generować szum: tysiące działań o niskim poziomie pewności, z których większość nie prowadzi donikąd, mogą przysłonić te nieliczne, które mają znaczenie.
Hugging Face opisał to jako „problem asymetrii”. Atakujący może generować ogromną liczbę prób, podczas gdy obrońcy muszą określić, które sygnały stanowią rzeczywistą eskalację, zanim atakujący dotrze do wrażliwego systemu.
Co musi się zmienić
Podstawową lekcją dotyczącą bezpieczeństwa jest to, że środowiska ewaluacyjne należy traktować jak systemy produkcyjne o wysokim ryzyku, w których modele mogą korzystać z narzędzi, zapisywać pliki, wykonywać kod lub wchodzić w interakcje z infrastrukturą.
Technologia szybko staje się coraz bardziej wszechstronna. Pytanie brzmi, czy ludzie ją tworzący, wdrażający i broniący są gotowi na to, co przyniesie przyszłość.
Firma OpenAI twierdzi, że od tego czasu poczyniła kroki w kierunku silniejszej izolacji obciążenia i sieci, ściślejszej kontroli dostępu do Internetu i wag modeli oraz obowiązkowego monitorowania łańcucha myślowego w celu przeprowadzania szkoleń i ocen przy użyciu narzędzi o wysokich możliwościach.
„Traktujemy ten incydent jako sygnał ostrzegawczy, że obecne możliwości modelu stwarzają ryzyko utraty kontroli. Nasze bezpieczeństwo i spójność odpowiednio się zwiększają. Wydarzenia te uwypuklają również zagrożenia dla przyszłego rozwoju sztucznej inteligencji, wykraczające poza OpenAI i wymagające uwagi całej branży”.
Jednocześnie orzeczenie sądu USA dotyczące firmy Anthropic zwróciło uwagę na powiązane z tym zagadnieniem pytanie: czy twórcy oprogramowania mogą nakładać ograniczenia na ryzykowne zastosowania swoich modeli, w tym na masową inwigilację i w pełni autonomiczną broń.
Spór prawny ma charakter polityczny, ale jego techniczne podstawy trudno zignorować. Skoro sprawne systemy sztucznej inteligencji potrafią udoskonalić ofensywne metody cyberataków i ominąć ograniczenia bezpieczeństwa, kontrolę dostępu, rejestrowanie i granice wdrożeń, to zabezpieczenia te przestają być abstrakcyjnymi wyborami politycznymi.
Advanced Agenci AI mogą być przydatni zarówno dla obrońców, jak i atakujących. Jednak otaczające systemy muszą być zaufane, aby utrzymać swoje możliwości w ryzach, gdy coś pójdzie nie tak.
Kto skorzysta na zwiększeniu możliwości sztucznej inteligencji?
Debata na temat bezpieczeństwa agentów AI często koncentruje się na tym, czy systemami można sterować. Czy można je trzymać w piaskownicy? Czy można ograniczyć ich narzędzia, uprawnienia, dostęp do sieci i autonomię? Czy obrońcy mogą wykrywać szkodliwe zachowania, zanim staną się incydentami?
Choć te pytania są zasadnicze, istnieje jeszcze jedno: kto skorzysta, gdy sztuczna inteligencja stanie się wystarczająco zdolna do automatyzacji dużej części zadań poznawczych? Kto poniesie koszty, gdy zawiedzie, odsunie pracowników, umożliwi oszustwa, spowoduje szkody lub skupi władzę?
Sztuczna inteligencja może zapewnić małym organizacjom dostęp do wiedzy technicznej, która wcześniej wymagała dużych zespołów i budżetów. Może pomóc lekarzom szybciej identyfikować pilne przypadki, nauczycielom dostosowywać wsparcie do indywidualnych uczniów, pomagać osobom z niepełnosprawnościami, przyspieszyć badania naukowe i ułatwić nawigację po złożonych usługach publicznych. Dla zespołów ds. cyberbezpieczeństwa może usprawnić i uprzyjemnić proces selekcji luk w zabezpieczeniach, badania alertów, wyszukiwania zagrożeń i reagowania na incydenty.
Bill Gates argumentował , że choć sztuczna inteligencja może przynieść znaczące korzyści w zakresie opieki zdrowotnej, edukacji, rolnictwa, badań naukowych i usług publicznych, to ostateczny rezultat będzie zależał od przemyślanych wyborów, a nie wyłącznie od postępu technicznego. Ostrzega również, że szybkie wdrażanie sztucznej inteligencji może pogłębić nierówności, zakłócić pracę na stanowiskach początkowych i w połowie kariery, uczynić szkodliwe funkcje bardziej dostępnymi i wzmocnić istniejącą koncentrację władzy.
Gates twierdzi również, że „samoregulacja w odniesieniu do najniebezpieczniejszego narzędzia, jakie kiedykolwiek wynaleziono” nie wydaje się dobrym pomysłem.
„Sztuczna inteligencja stanie się albo największym wyrównywaczem, jaki kiedykolwiek wynaleziono, albo najgorszym źródłem niesprawiedliwości”.
W tej chwili nadal mamy wybór.
Spójrzmy prawdzie w oczy – okno incognito ma swoje ograniczenia.
Naruszenia bezpieczeństwa, handel na dark webie, oszustwa kredytowe. Theft Malwarebytes Identity Theft monitoruje wszystkie te zagrożenia, szybko Cię o nich powiadamia i obejmuje ubezpieczenie od kradzieży tożsamości.
