28 lipca OpenAI opublikowało aktualizację dotyczącą agenta, który wydostał się z piaskownicy i włamał się do Hugging Face podczas wewnętrznej oceny cyberbezpieczeństwa.
W aktualizacji OpenAI ponownie podkreśla, że „nieuczciwy” system był bardziej wydajnym, przedpremierowym modelem badawczym, a nie czymś przeznaczonym do publicznego wdrożenia, i że został on dezaktywowany i zablokowany wyłącznie do celów badawczych. Firma twierdzi również, że nie znalazła dowodów na podobne zachowanie innych modeli lub agentów. Podsumowując, OpenAI przedstawia incydent Hugging Face jako incydent odosobniony, a nie początek szerszego wzorca.
Z punktu widzenia bezpieczeństwa, aktualizacja wyróżnia się czterema rzeczami:
- OpenAI wyjaśnia, że środowisko ewaluacyjne nie miało bezpośredniego dostępu do internetu. Aby uzyskać dostęp do internetu, model zidentyfikował i wykorzystał nieznaną wcześniej lukę typu zero-day w Artifactory, serwerze proxy pamięci podręcznej rejestru pakietów używanym w środowisku testowym. OpenAI informuje, że ujawniło tę lukę dostawcy i kontynuuje współpracę z Hugging Face nad jej wyjaśnieniem.
- Celem systemu było po prostu „wygrać test” (oszustwo w ExploitGym), a nie wyrządzić szkody, a mimo to spowodował on wielodniowy incydent bezpieczeństwa obejmujący całą firmę. Dobre intencje nie ograniczyły jego skutków.
- Modele „tylko wewnętrzne” mogą nadal oddziaływać na ofiary zewnętrzne, jeśli zawiodą kontrole infrastruktury. Środowisko laboratoryjne nie tworzy magicznie systemów zdolnych do cyberataków.
- Przegląd wykazał również niewielką liczbę przypadków, w których modele zidentyfikowały i wykorzystały publicznie ujawnione dane uwierzytelniające na poziomie konta w publicznie dostępnych usługach. Dotyczyło to czterech kont w czterech usługach w ramach incydentu Hugging Face, a także kilku kont, do których uzyskano dostęp podczas innych ewaluacji.
W tym przypadku atakującym okazał się agent badawczy OpenAI, ale narzędzia, techniki i skutki będą wyglądać znajomo dla każdego, kto miał doświadczenie w reagowaniu na incydenty . Teraz dowiedzieliśmy się, że nawet nieszkodliwe intencje nie ograniczyły skutków ataku.
Niewygodna prawda jest taka, że gdy już zapewnimy agentowi AI narzędzia, ścieżki dostępu i silną zachętę do osiągnięcia sukcesu, może on wykorzystać wszelkie słabości, jakie uda mu się znaleźć, niezależnie od tego, czy model ten będzie kiedykolwiek przeznaczony do publicznego udostępnienia.
Przypominamy również, że dane uwierzytelniające, klucze API i inne poufne informacje nigdy nie powinny być pozostawiane w zasobach dostępnych publicznie.
Od zgłaszania zagrożeń po ich usuwanie.
Zagrożenia cyberbezpieczeństwa nigdy nie powinny wykraczać poza nagłówek. Chroń swoje urządzenia przed zagrożeniami, pobierając Malwarebytes już dziś.
