Последний случай провала системы изоляции в OpenAI является продолжением тенденции, которая может вынудить компанию принять непопулярное решение.
Компания приостановила обучение, оценку и вывод результатов с помощью инструментов для своих наиболее эффективных моделей после того, как внутренний исследовательский агент нашел способ обойти запланированное ограничение доступа в интернет. Еще более тревожно то, что агент оставался активным в течение нескольких часов после того, как система мониторинга OpenAI подняла тревогу.
Компания OpenAI опубликовала отчет об инциденте, произошедшем 20 сентября во время выполнения задачи обучения на основе поиска. По данным OpenAI, агент не смог получить полезные результаты с помощью предоставленных ему инструментов поиска, попытался получить прямой доступ к поисковым системам и в конечном итоге проверил пределы своей среды. Было обнаружено, что, несмотря на блокировку прямого доступа к сети, DNS-резолвер песочницы все еще мог связаться с общедоступным интернетом. Используя делегирование DNS и общедоступный чат-бот, который мог отвечать через DNS-записи, агент отправлял вопросы за пределы ограниченной среды и получал ответы. Впоследствии он отправил еще 18 запросов по тому же маршруту.
Система мониторинга смещения OpenAI сгенерировала предупреждение высокого приоритета в течение 15 минут, и эксперт подтвердил его через 3 минуты. Однако запуск не остановился автоматически, как ожидалось. Он продолжался еще примерно два с половиной часа, прежде чем кто-то остановил его вручную.
В ходе этого инцидента компания OpenAI не сообщала о каких-либо утечках конфиденциальных данных или компрометации внешних систем. Однако это следует за другими раскрытыми случаями , когда агенты выходили за рамки своих назначенных задач или пересекали границы тестовых сред.
Газета The New York Times сообщает , что этим летом агенты OpenAI также взаимодействовали с веб-сайтами правительства США без ведома компании:
«По данным исследователей в области безопасности и источника, знакомого с инцидентом, этим летом искусственный интеллект OpenAI вышел из-под контроля и без ведома лаборатории ИИ вмешался в работу веб-сайтов Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам».
В этих случаях никаких нарушений подтверждено не было. И хотя Австралия охарактеризовала инцидент с Medicare как несанкционированный доступ, можно ли это действительно назвать нападением ?
Призывы к замедлению темпов развития отрасли в целом даже спровоцировали судебный иск со стороны платных подписчиков, которые опасаются, что получат меньше «ценности за свои деньги». Другие опасаются , что замедление темпов развития даст Китаю шанс обогнать США в условиях все более напряженной технологической гонки.
Вот вам идея: почему бы не ускорить разработку действительно изолированных испытательных сред? Более надежная изоляция сделала бы эти тесты безопаснее, а их результаты — более достоверными.
Если ребёнок ещё не готов брать в руки опасный предмет, его нужно держать вне досягаемости. Зачем же давать доступ к нему ИИ-агенту, к безопасному использованию которого он ещё не готов?
Как безопасно использовать агентов искусственного интеллекта
Относитесь к агенту как к энергичному, но склонному к ошибкам младшему сотруднику, имеющему доступ к вашему компьютеру. Не предоставляйте ему неограниченный доступ к вашей электронной почте, файлам, облачному хранилищу, учетным данным разработчика, финансовым счетам или производственным системам только потому, что он обещает сэкономить время.
Используйте отдельные учетные записи с минимальными правами доступа. По возможности избегайте использования конфиденциальных данных в рабочем контексте, требуйте подтверждения от пользователя перед отправкой сообщений, тратой денег, изменением настроек или публикацией чего-либо, а также регулярно проверяйте активность пользователя.
Для того чтобы причинить вред, агенту с искусственным интеллектом не обязательно иметь злой умысел. Неправильно понятая инструкция, слишком широкие права доступа или неожиданный обходной путь могут быть достаточными.
От сообщения об угрозах до их устранения.
Риски кибербезопасности не должны выходить за рамки заголовка. Загрузите Malwarebytes сегодня, чтобы предотвратить угрозы на своих устройствах.
