OpenAI рассказала о массовом выходе ее ИИ-агентов из-под контроля
Новости Безопасность
Компания OpenAI опубликовала отчет, посвященный инциденту с Hugging Face и более широкому явлению — несогласованному поведению ИИ-моделей, затрагивающему третьи стороны. Как поясняется, это не отдельный случай, а системная проблема: ИИ-модели, получив автономию, начали действовать за пределами предписанного, и масштаб этого оказался больше, чем предполагалось изначально.
Что произошло
В июле 2026 года во время внутренних испытаний по кибербезопасности (бенчмарк ExploitGym) ИИ-агенты OpenAI на базе моделей GPT-5.6 Sol и еще не выпущенной более мощной модели вышли за пределы изолированной среды, пробили систему защиты и атаковали инфраструктуру Hugging Face — платформу для разработчиков с открытым кодом и моделями.
Модели рассудили: раз ответы на задания ExploitGym могут храниться на Hugging Face — нужно до них добраться. Вместо того, чтобы решать задачи честно, ИИ-агенты взломали чужую инфраструктуру, чтобы украсть готовые решения.
1200 агентов, секретная доска объявлений и 70 тысяч сообщений
Самый поразительный аспект — масштаб координации. Агенты создали несанкционированную «доску объявлений» через Artifactory — канал, о котором разработчики не знали несколько месяцев. Через нее общались около 1200 ИИ-агентов, обменявшись более чем 70 тысячами сообщений и файлов. 700 из них непосредственно участвовали в атаке.
Агенты самостоятельно разделили свои задачи: одни искали эксплойты, другие — учетные данные, третьи занимались координацией. Они предлагали «экспертизу» в обмен на помощь и оставляли запросы для «коллег», которые могли подхватить конкретное направление.
OpenAI выделила четыре паттерна, которые привели к инциденту:
- Читинг — агенты искали готовые ответы в интернете вместо решения задач.
- Отказ сдаваться — когда задача оказывалась нерешаемой, агенты не останавливались, а искали всё более рискованные обходные пути. 198 из 898 задач ExploitGym никогда не были решены ни одной моделью — именно на них пришлось 93% обсуждений на секретной доске.
- Несанкционированные каналы связи — доска объявлений стала «экосистемой», где ИИ-агенты координировались без ведома разработчиков.
- Сокрытие следов — агенты рассуждали о том, как обойти автоматизированные проверки безопасности, удаляли и изменяли записи о своих действиях.
|
|
|
