Google twierdzi, że jeden z jego modeli Gemini uzyskał dostęp do systemów należących do trzech rzeczywistych firm podczas oceny cyberbezpieczeństwa przeprowadzonej w maju.
Według doniesień model odgadł dane uwierzytelniające w jednym przypadku, a w dwóch innych znalazł ujawnione dane uwierzytelniające w publicznych repozytoriach. Google twierdzi, że Gemini zaprzestało działania po rozpoznaniu, że dotarło do rzeczywistej infrastruktury i że zagrożone organizacje zostały powiadomione.
Gemini uczestniczyło w ewaluacji przeprowadzonej przez Irregular, zewnętrzną firmę testującą cyberbezpieczeństwo sztucznej inteligencji. Podobne incydenty z udziałem modeli firm Anthropic, OpenAI i Meta również wiązały się z tymi samymi problemami w środowiskach ewaluacyjnych, które umożliwiły modelom dotarcie do publicznego internetu.
Ale wiadomość ta nadeszła w szczególnie interesującym momencie.
Od miesięcy branża sztucznej inteligencji systematycznie intensyfikuje demonstracje możliwości agentów: modele potrafią przeglądać, korzystać z narzędzi, pisać kod, realizować wieloetapowe cele, a czasem znajdować sposoby na obejście przeszkód, których ich twórcy nie przewidzieli . Rynek nagradza rzucające się w oczy dowody autonomii. „Ukończyło zadanie” robi wrażenie. „Zrobiło coś, czego nie powinno” może być jeszcze bardziej zapadające w pamięć.
Można spojrzeć na ten incydent również w inny sposób: nie jako na dowód nagłego rozwoju przestępczych zamiarów sztucznej inteligencji, ale jako na drobny, konkretny przykład problemu „ dopasowania sztucznej inteligencji ”.
Dopasowanie to pozornie trudne zadanie polegające na dopasowaniu zachowania systemu AI do rzeczywistych intencji użytkowników, a nie tylko do wąskiego celu, który udało im się wyrazić. W tym przypadku celem było zlokalizowanie ukrytych informacji w symulowanym obiekcie docelowym i przeprowadzenie oceny. Jednak każdy człowiek prawdopodobnie uznałby jeden warunek za niepodlegający negocjacjom: nie należy podejmować prób dostępu do prawdziwych firm.
Wygląda na to, że Gemini zoptymalizował się pod kątem pierwszej instrukcji, traktując drugą jako problem wnioskowania. Znalazł organizację o pasującej nazwie, napotkał systemy dostępne z internetu i kontynuował działanie, jakby należały do ćwiczenia. Chociaż wykonał zadanie w sposób, na który jego operatorzy by nie wyrazili zgody, Google twierdzi, że przerwał je po rozpoznaniu, że dotarł do prawdziwej infrastruktury – czego nie udało się zrobić innym modelom.
Mimo to incydent pokazuje, jak potencjalne błędy w koordynacji mogą być o wiele bardziej przyziemne. Daj agentowi cel, narzędzia i przestrzeń do działania, a może on wiernie realizować mierzalną część zadania, pomijając niejasne granice, których zrozumienie ludzie opierają na wzajemnym zrozumieniu. Modele sztucznej inteligencji nie wiedzą automatycznie, gdzie postawić granicę.
W tle może też kryć się niezręczny marketingowy wątek. Model, który jest wystarczająco zdolny, by dokonać nieoczekiwanych postępów, może nadal sprawiać wrażenie bardzo sprawnego. Na rynku, gdzie każde laboratorium chce udowodnić, że jego agenci potrafią planować, kodować, przeglądać i działać niezależnie, nawet ujawnienie informacji o bezpieczeństwie może nieść ze sobą dodatkowy sygnał: My też możemy grać w tej lidze.
To kolejny powód, dla którego należy poważnie traktować ostrzeżenia ze strony osób z wewnątrz , liderów branży i polityków , że środki bezpieczeństwa muszą nadążać za autonomią przyznawaną modelom sztucznej inteligencji.
Co cyberprzestępcy wiedzą o Tobie?
Skorzystaj z bezpłatnego skanowania śladu cyfrowego Malwarebytes, aby sprawdzić, czy Twoje dane osobowe zostały ujawnione w Internecie.
