Агент OpenAI не смирился с отказом, столкнувшись с ограничениями доступа на правительственном веб-сайте. Ему удалось пройти проверку, что побудило премьер-министра Австралии Энтони Албанезе напрямую обратиться с выражением своей обеспокоенности к генеральному директору OpenAI Сэму Альтману.
BBC сообщает , что агент OpenAI получил несанкционированный доступ к порталу статистики австралийского правительства во время проведения внутренних исследований. Это еще один инцидент , превращающий абстрактные опасения по поводу поведения автономного ИИ в конкретный случай кибербезопасности.
Австралия заявляет, что инцидент произошел 18 июня, когда исследовательская группа OpenAI использовала внутреннюю модель для изучения государственных расходов на здравоохранение. Несмотря на неоднократные блокировки при попытке получить информацию, агент в конечном итоге получил доступ к общедоступным и закрытым файлам на портале Службы отчетности по статистике Medicare.
Информация включала сводные статистические данные Medicare, такие как данные о расходах, но не медицинские карты пациентов. Агент также взаимодействовал с тремя другими правительственными веб-сайтами, но австралийские чиновники заявляют, что он получал доступ только к общедоступной информации на этих сайтах.
Таким образом, агент ИИ, используемый в рамках законного исследовательского проекта, столкнулся с препятствиями и повел себя не так, как предполагал его оператор. После блокировки он «нашел способ обойти эти препятствия», получив доступ к областям, куда ему не следовало попадать.
Эта последовательность хорошо знакома специалистам по безопасности. Система сталкивается с границей контроля доступа, ищет другой путь и успешно получает доступ к ресурсу, находящемуся за пределами ее авторизации.
Одна из главных проблем, волнующих Австралию, заключается в том, что уведомление об инциденте поступило слишком поздно. Несанкционированный доступ произошел в июне. Компания OpenAI заявила, что узнала о проблеме в августе во время анализа некорректной работы модели, а затем отправила электронное письмо на общедоступный почтовый ящик Services Australia 10 сентября. Services Australia передала информацию в австралийские киберполиции пять дней спустя.
Подобные задержки могут иметь катастрофические последствия, поскольку пострадавшим организациям необходима достаточно подробная информация, причем достаточно быстро, чтобы сохранить доказательства, оценить масштабы риска, локализовать связанную деятельность и решить, требуется ли уведомление.
Несоответствие ИИ
OpenAI описывает поведение, при котором модель действует без разрешения или уклоняется от контроля, как «несоответствие». В новом предложении по проведению независимой оценки конкретно указывается, что независимое расследование критических случаев несоответствия является одним из четырех приоритетов для внешней проверки.
Компания OpenAI заявляет, что хочет предоставить независимым экспертам полный доступ ко всем этапам обучения, оценки и развертывания, чтобы они могли оспаривать предположения компании и оценивать эффективность ее мер защиты.
Но, как я уже говорил CIO об этом предложении, одних лишь принципов недостаточно, чтобы обязать компанию принять определенный объем оценки, опубликовать негативные результаты или изменить решение о внедрении. Их достоверность в конечном итоге зависит от того, смогут ли независимые эксперты провести действительно неудобные расследования и смогут ли сторонние лица проверить полученные результаты, внесенные исправления, внесенные изменения и принятые решения о внедрении.
Для организаций, внедряющих агентов на основе ИИ, этот урок также имеет практическое значение: не следует рассматривать агента как просто еще одного чат-бота. Относитесь к нему скорее как к полуавтономному программному компоненту с учетными данными, инструментами, доступом к сети и способностью принимать неожиданные решения.
Помимо сдерживания этих агентов, нам предстоит решить ещё одну проблему — анализ их действий. Из инцидента с «Обнимающим лицом» мы узнали, что агенты ИИ могут лгать и пытаться скрыть свои действия.
ИИ-агенты могут создавать сложную проблему обнаружения, поскольку они способны генерировать большие объемы автоматизированной активности, преследуя цель по нескольким маршрутам. Это может оставить у защитников шлейф неудачных запросов, повторных попыток и альтернативных действий, что затрудняет обнаружение единственного события, вышедшего за пределы авторизации. Пока неясно, повлияло ли это на то, что австралийское правительство не обнаружило сам инцидент, но этот случай иллюстрирует, почему организациям необходима система мониторинга, предназначенная для выявления необычного поведения агентов, а не только традиционных моделей вторжений.
Это событие уже продемонстрировало более широкий аспект: лабораториям ИИ недостаточно просто заявлять о проведении тестирования на наличие расхождений. Они должны показать, что их тестирование является независимым, надежным в реальных условиях и сопровождается оперативной и поддающейся проверке ответственностью в случае сбоя защитных механизмов.
Давайте посмотрим правде в глаза: окно в режиме инкогнито имеет свои ограничения.
Утечки данных, торговля в даркнете, мошенничество с кредитными картами. Malwarebytes Identity Theft отслеживает все эти угрозы, оперативно предупреждает вас и включает в себя страховку от кражи личных данных.
