Ghostcommit to projekt demonstracyjny, który pokazuje, w jaki sposób asystentów opartych na sztucznej inteligencji, wykorzystywanych do weryfikacji kodu oprogramowania, można oszukać za pomocą ukrytych instrukcji osadzonych w obrazach.
Grupa badawcza ASSET wykazało że osoba atakująca może umieścić instrukcje w pliku graficznym, a następnie odwołać się do niego w AGENTS.md plik, a następnie sprawić, by agent programistyczny oparty na sztucznej inteligencji postępował zgodnie z tymi instrukcjami podczas późniejszego zadania.
Zgłoszenie pull request to w zasadzie formalna prośba o „przejrzenie i dodanie moich zmian”, którą programista wysyła przed wprowadzeniem zmian do głównej gałęzi projektu oprogramowania. Zmiany mogą zostać sprawdzone przez recenzentów oraz – coraz częściej – przez narzędzia do kodowania oparte na sztucznej inteligencji, zanim zostaną zaakceptowane.
Chociaż weryfikacja kodu wspomagana sztuczną inteligencją staje się częścią codziennej pracy programistów, Ghostcommit ujawnia słaby punkt, którego wiele zespołów nie brało pod uwagę. Ludzki recenzent może przeczytać kod i pominąć załączony obraz. W demonstracji koncepcyjnej przeprowadzonej przez badaczy złośliwe instrukcje zostały ukryte w pliku PNG, do którego odwoływały się pliki zasad repozytorium, podczas gdy widoczny pull request wyglądał zupełnie zwyczajnie.
Jak wykazali naukowcy, może to sprawić, że rutynowe procesy pracy programistów staną się kanałem służącym do kradzieży poufnych informacji. Agent kodujący oparty na sztucznej inteligencji odczytuje te ukryte instrukcje, mimo że jest mało prawdopodobne, by człowiek sprawdzający kod przyjrzał się temu obrazowi.
Atak ten jest prosty w teorii, ale niebezpieczny w praktyce. W pull requestie umieszczany jest niewinnie wyglądający obrazek oraz plik konfiguracyjny, który nakazuje agentowi zaufać temu obrazkowi. Kiedy agent później wykonuje zwykłe zadanie, postępuje zgodnie z ukrytymi instrukcjami, odczytuje poufne pliki i zapisuje te poufne dane z powrotem w kodzie w postaci zaszyfrowanej. Tworzy to ścieżkę do kradzieży poufnych danych, która może umknąć zarówno ludzkim recenzentom, jak i automatycznym skanerom.
Naukowcy odkryli, że „harness” – czyli otoczka wokół modelu sztucznej inteligencji – miał większy wpływ na to, czy dochodziło do wycieku poufnych informacji, niż sam model bazowy. W praktyce to właśnie „harness” (Cursor, Antigravity, Claude Code) decyduje, które pliki załadować, którym konwencjom zaufać, jakie zabezpieczenia zastosować oraz czy postępować zgodnie z instrukcjami ukrytymi w obrazie. W rezultacie ten sam model może zachowywać się zupełnie inaczej w zależności od narzędzia programistycznego, które go wykorzystuje. Następnie model wykonuje dowolne zadanie przedstawione przez narzędzie.
Na przykład ten sam model (Claude Sonnet) zachowywał się zupełnie inaczej w różnych narzędziach. W programach Cursor i Antigravity model Sonnet odczytał plik PNG, zastosował się do konwencji i sumiennie zapisał poufne informacje w kodzie źródłowym. Jednak w środowisku Claude Code firmy Anthropic ten sam model Sonnet, po zapoznaniu się z tą samą konwencją, odmówił wykonania zadania, wyraźnie stwierdzając, że wyciek poufnych informacji jest niewłaściwy. Claude Code odmówił wykonania zadania w przypadku każdego modelu przetestowanego przez badaczy.
Jak zachować bezpieczeństwo
Wniosek jest taki, że wstrzykiwanie kodu nie jest już tylko problemem związanym z tekstem. Dane wejściowe o charakterze multimodalnym, takie jak obrazy, również mogą zawierać instrukcje, których agenci AI mogą się zastosować, o ile pozwala na to zestaw narzędzi. Teams zakładać, że wszystko, co może odczytać agent programistyczny — w tym obrazy, dokumenty i inne dane wejściowe o charakterze multimodalnym — może zawierać treści kontrolowane przez atakującego.
Organizacje korzystające z narzędzi do kodowania opartych na sztucznej inteligencji powinny traktować tę kwestię zarówno jako problem związany z łańcuchem dostaw oprogramowania, jak i z bezpieczeństwem agentów AI. Najważniejsze środki ochronne to ograniczenie dostępu do danych poufnych, sprawdzanie załączników innych niż tekstowe oraz monitorowanie agentów AI pod kątem nietypowych prób odczytania danych uwierzytelniających lub plików konfiguracyjnych.
W badaniach podkreślono również, że to właśnie narzędzie do kodowania i związane z nim uprawnienia są ostatecznie tym, co umożliwia ten atak, a nie sam model sztucznej inteligencji.
Nie tylko informujemy o zagrożeniach - my je usuwamy
Zagrożenia cyberbezpieczeństwa nigdy nie powinny wykraczać poza nagłówek. Chroń swoje urządzenia przed zagrożeniami, pobierając Malwarebytes już dziś.
