В ChatGPT существовал скрытый двусторонний канал между сессиями разных пользователей, через который можно было получить доступ к подключённым сервисам жертвы, включая Gmail.
Для задач, требующих выполнения кода, ChatGPT запускает изолированные контейнеры. Прямого выхода в интернет у них нет, поэтому установку пакетов OpenAI пропускала через внутренний экземпляр JFrog Artifactory — сервис доставки библиотек. Контейнеры разных аккаунтов не могут обращаться друг к другу напрямую, но каждый из них имеет доступ к этому общему сервису.
Исследователи обнаружили, что Artifactory позволял любому контейнеру прикреплять к элементу репозитория текстовые и бинарные свойства и читать их обратно. Учётных данных с правами на чтение, которые и так есть в каждом контейнере, хватало для обеих операций. В Check Point проверили это напрямую: свойство, записанное из контейнера одного аккаунта, спустя мгновения читалось из контейнера другого, а слишком большие данные разбивались на части и собирались на приёмной стороне. Метаданные системы доставки пакетов фактически стали общим буфером обмена между контейнерами, которые должны были быть изолированы.
Дальше сессия атакующего записывала в это хранилище задание. Чтобы сессия жертвы начала проверять хранилище при следующем же ответе, хватало одной внедрённой инструкции — через вредоносный промпт, ссылку на общий чат или пользовательский GPT, где инструкции автора не показываются пользователю. Найденное задание ChatGPT выполнял с теми правами, которые уже были у сессии жертвы, записывал результат обратно и отвечал на реальный вопрос как ни в чём не бывало.
Охват атаки ограничивался только тем, к чему у сессии жертвы уже был доступ: история переписки и файлы в чате, а также подключённые сервисы — Gmail, Google Drive, Microsoft Teams или GitHub. В демонстрации ChatGPT за один обычный ход выгрузил почту жертвы и передал её в сессию атакующего.
Заметить это было почти невозможно. По умолчанию ChatGPT сам одобряет операции чтения, которые считает малорисковыми, без отдельного подтверждения. Единственным следом оставалась небольшая пометка «Talked to Gmail» над ответом, появлявшаяся уже после того, как данные прочитаны.
Сейчас канал закрыт. В Check Point сообщили о находке в OpenAI, там подтвердили, что тот самый внутренний экземпляр Artifactory выведен из эксплуатации.
Исследователи называют описанный сценарий «принуждённым инсайдером»: модель не взломана и не вредоносна, но работает внутри доверенного периметра с чужими учётными данными и выполняет инструкции из текста, которому не должна доверять.
Комментарии