Agent OpenAI nie przyjął odmowy, gdy napotkał kontrolę dostępu na rządowej stronie internetowej. Udało mu się to, co skłoniło premiera Australii Anthony'ego Albanese'a do bezpośredniego zgłoszenia swoich obaw prezesowi OpenAI, Samowi Altmanowi.
BBC donosi , że agent OpenAI uzyskał nieautoryzowany dostęp do portalu statystycznego rządu Australii podczas prowadzenia wewnętrznych badań. To kolejny incydent , który przekształca abstrakcyjne obawy dotyczące autonomicznego zachowania sztucznej inteligencji w konkretny przypadek cyberbezpieczeństwa.
Australia twierdzi, że incydent miał miejsce 18 czerwca, kiedy zespół badawczy OpenAI wykorzystał wewnętrzny model do analizy wydatków na opiekę zdrowotną. Mimo że agent napotykał na wielokrotne blokady podczas próby uzyskania informacji, ostatecznie uzyskał dostęp do publicznych i niepublicznych plików w portalu Medicare Statistics Reporting Service.
Informacje obejmowały zbiorcze statystyki Medicare, takie jak dane dotyczące wydatków, ale nie obejmowały dokumentacji medycznej pacjentów. Agent wchodził również w interakcję z trzema innymi rządowymi stronami internetowymi, ale australijscy urzędnicy twierdzą, że uzyskał dostęp wyłącznie do informacji publicznych na tych stronach.
Zatem agent sztucznej inteligencji (AI) użyty w legalnym badaniu napotkał elementy sterujące i zachowywał się w sposób, którego operator nie zamierzał. Po zablokowaniu „znalazł sposób na obejście tych blokad”, uzyskując dostęp do obszarów, do których nie powinien był dotrzeć.
Ta sekwencja jest znana specjalistom ds. bezpieczeństwa. System napotyka granicę kontroli dostępu, szuka innej drogi i dociera do zasobu poza swoją autoryzacją.
Jednym z głównych zmartwień Australii jest zbyt długi czas oczekiwania na powiadomienie o incydencie. Nieautoryzowany dostęp miał miejsce w czerwcu. OpenAI poinformowało o problemie w sierpniu, podczas analizy nieprawidłowej aktywności modelu, a następnie 10 września wysłało wiadomość e-mail na publiczną skrzynkę Services Australia. Pięć dni później Services Australia przekazało wiadomość do australijskich organów ds. cyberbezpieczeństwa.
Takie opóźnienia mogą mieć katastrofalne skutki, ponieważ organizacje, których to dotyczy, potrzebują wystarczająco dużo szczegółów, wystarczająco szybko, aby zabezpieczyć dowody, ocenić ryzyko, powstrzymać powiązane działania i zdecydować, czy konieczne jest wysłanie powiadomień.
Niedopasowanie sztucznej inteligencji
OpenAI opisuje zachowanie, w którym model działa bez autoryzacji lub unika nadzoru, jako „niezgodność”. Nowa propozycja oceny przez strony trzecie wyraźnie wskazuje niezależne badanie krytycznych incydentów niezgodności jako jeden z czterech priorytetów zewnętrznej kontroli.
Firma OpenAI twierdzi, że chce zapewnić niezależnym oceniającym dogłębny dostęp do szkoleń, ocen i wdrożeń, aby mogli kwestionować założenia firmy i oceniać skuteczność jej zabezpieczeń.
Jednak, jak powiedziałem CIO o tej propozycji, same zasady nie zobowiązują firmy do zaakceptowania konkretnego zakresu oceny, opublikowania niekorzystnych ustaleń ani zmiany decyzji o wdrożeniu. Ich wiarygodność ostatecznie zależy od tego, czy niezależni eksperci będą w stanie przeprowadzić rzeczywiście niewygodne dochodzenia oraz czy osoby z zewnątrz będą w stanie zweryfikować ustalenia, działania naprawcze, redakcje i wynikające z nich decyzje o wdrożeniu.
Dla organizacji wdrażających agentów AI lekcja jest równie praktyczna: nie traktuj agenta jak kolejnego chatbota. Potraktuj go raczej jak półautonomiczny komponent oprogramowania z uprawnieniami, narzędziami, dostępem do sieci i możliwością podejmowania nieoczekiwanych decyzji.
Oprócz powstrzymania tych agentów, musimy jeszcze przeanalizować ich działania. Jedną z rzeczy, których dowiedzieliśmy się z incydentu z Hugging Face, jest to, że agenci AI potrafią kłamać i próbować ukryć swoje działania.
Agenci AI mogą stwarzać trudne problemy z detekcją, ponieważ generują dużą liczbę zautomatyzowanych działań, dążąc do celu wieloma ścieżkami. To może pozostawić obrońcom zagmatwany ślad nieudanych żądań, ponownych prób i alternatywnych działań, utrudniając wykrycie zdarzenia, które przekroczyło granicę autoryzacji. Nie jest jeszcze jasne, czy przyczyniło się to do niewykrycia samego incydentu przez rząd Australii, ale przypadek ten ilustruje, dlaczego organizacje potrzebują monitoringu zaprojektowanego w celu identyfikacji nietypowego zachowania agentów, a nie tylko tradycyjnych wzorców włamań.
Wydarzenie to pokazało już szerszy kontekst: laboratoria sztucznej inteligencji nie mogą poprzestać na stwierdzeniu, że testują niezgodności. Muszą wykazać, że ich testy są niezależne, rzetelne w warunkach rzeczywistych, a w przypadku zaniku zabezpieczeń następuje natychmiastowa, weryfikowalna odpowiedzialność.
Spójrzmy prawdzie w oczy – okno incognito ma swoje ograniczenia.
Naruszenia bezpieczeństwa, handel na dark webie, oszustwa kredytowe. Theft Malwarebytes Identity Theft monitoruje wszystkie te zagrożenia, szybko Cię o nich powiadamia i obejmuje ubezpieczenie od kradzieży tożsamości.
