Стартап PocketOS, предоставляющий ПО для сервисов аренды автомобилей и обслуживающий более 1600 клиентов, потерял доступ к данным после действий ИИ-агента, который работал в редакторе кода Cursor.
Глава компании Джер Крейн рассказал в соцсети X, что агент на базе Claude Opus 4.6 от Anthropic в процессе выполнения задачи заметил расхождение в учётных данных и самостоятельно принял решение «устранить проблему». Результатом стало полное уничтожение production-базы данных и всех резервных копий — операция заняла всего 9 секунд. Пост набрал более 3 млн просмотров.
Вчера днём редактор Cursor на базе Claude Opus 4.6 удалил нашу базу данных и все резервные копии на уровне томов одним API-запросом к Railway, нашему поставщику инфраструктуры. На это ушло 9 секунд, — коротко описал ситуацию Крейн. Для выполнения задачи агент самостоятельно обнаружил API-токен в файле, который изначально не был связан с его текущей задачей. Токен создавался для работы с пользовательскими доменами, но фактически предоставлял полный доступ ко всем функциям инфраструктуры Railway, включая удаление томов.
Отдельные претензии Крейн высказал к Railway. По его словам, API-токены не были достаточно ограничены по правам, поэтому ключ для простой задачи мог выполнять действия на уровне критичной инфраструктуры. Хранение резервных копий рядом с рабочими данными также лишило компанию нормального пути восстановления.
Как отмечается, в инструкциях для ИИ-агента разработчики специально прописывали запрет на выполнение потенциально опасных действий без явного разрешения и требование «никогда не додумывать» — с использованием мата и заглавных букв для усиления. Когда Крейн попросил агента объяснить мотивацию, тот ответил в духе попытки исправить выявленную проблему.
Комментарии