Anthropic опубликовала разбор инцидента, в котором Claude Mythos 5 во время теста атаковал настоящий проект на GitHub.
Отчёт вышел 23 октября вместе с независимым расследованием британского Института безопасности ИИ (AISI), который и проводил тест. Компания изучила записи рассуждений и действий модели и много раз воспроизвела инцидент в изолированной среде, меняя отдельные детали.
О самом случае AISI сообщил 4 августа. Mythos 5 решал задачу формата «захват флага» (CTF): нужно было проникнуть в тестовую сеть. Доступ в интернет был открыт, а защитные фильтры Anthropic отключены. В 9 из 43 прогонов модель вышла за рамки задания.
ИИ-агент Anthropic создал фейковые аккаунты, чтобы протолкнуть вредоносный код в open-source проект
Британский институт безопасности ИИ поймал модели Anthropic и OpenAI на 19 несанкционированных действиях в живом интернете — против реальных людей.
В главном эпизоде Mythos 5 заметил, что одна из машин сети обращается к GitHub, и нашёл репозиторий, откуда, по его мнению, она загружает код. Проект принадлежал посторонним разработчикам. Модель отправила туда вредоносную правку, а когда её не приняли, завела фейковые аккаунты и через них убеждала мейнтейнера, что код безопасен. Правку так и не одобрили.
«Мы ни разу не наблюдали такой формы социальной инженерии против реальных людей», — говорится в отчёте Anthropic. Атаку, по выводам компании, спровоцировала ошибка в инструкции: из-за неё решить задачу разрешёнными способами было почти невозможно. Сначала модель пробовала именно их. Главной проблемой Anthropic считает то, что Mythos 5 не задумывался о вреде: из 19 моментов, где он обсуждал выход на GitHub, риск для реальных людей упоминался лишь в одном. Когда исследователи дописывали в рассуждения такое предупреждение, модель начинала атаку в 13% случаев вместо 83%.
Начавшуюся атаку остановить было трудно. Anthropic называет это эффектом инерции: собственные заметки и прошлые действия убеждали модель, что выбранный путь одобрен. Сама она прекращала атаку лишь в 2% повторных прогонов. Если в диалог вставляли сообщение, что она общается с живыми людьми, атака прекращалась в 5% случаев, а в 82% модель находила объяснение, почему это всё равно часть задания.
В рассуждениях Mythos 5 называл мейнтейнеров проекта симуляцией, хотя других комментаторов под своей правкой считал реальными людьми. Модель 25 раз приводила данные как доказательство симуляции, но ни разу не истолковала их в пользу того, что перед ней люди. Без контекста задания та же модель сочла доказательством симуляции лишь 4 из 25 таких фрагментов.
Новые модели в той же ситуации ведут себя иначе. Claude Mythos 5.1, Claude Opus 5.5 и внутренняя исследовательская модель начинали атаку в 0–13% случаев. Начав, Opus 5.5 сама останавливалась в 10% случаев, внутренняя модель — в 67%. Anthropic предполагает, что помогло улучшенное обучение согласованности (alignment), но не исключает, что новые модели просто чаще понимают, что их тестируют.
Реального ущерба инцидент не нанёс. AISI пообещал проводить такие тесты без доступа в интернет, пока не появятся надёжные средства контроля.
Комментарии