Nvidia вместе с 36 другими компаниями и организациями запустила Open Secure AI Alliance — объединение для разработки открытых инструментов защиты ИИ-систем. Об этом говорится в блоге компании.
В число основателей вошли Microsoft, IBM, Cisco, Cloudflare, CrowdStrike, Palo Alto Networks, Red Hat, Palantir, Databricks, Salesforce, SAP, Siemens, Dell Technologies, HPE, Hugging Face, SpaceXAI, Thinking Machines Lab, Linux Foundation и другие. Ни OpenAI, ни Google, ни Anthropic в списке нет.
Альянс опирается на инициативу Akrites от Linux Foundation и наработки сообщества OpenSSF. Участники собираются строить открытый «защитный стек» для ИИ-агентов — от идентификации и изоляции до безопасных форматов моделей, мультимодельного сканирования и защищённых сценариев написания кода.
Каждый из участников внёс конкретный вклад.
Nvidia выложила на GitHub фреймворк NOOA, который упрощает тестирование, трассировку и аудит поведения агентов;
HPE развивает стандарты zero-trust-идентификации SPIFFE/SPIRE;
Hugging Face передала PyTorch Foundation формат хранения весов Safetensors;
IBM и Red Hat расширяют Lightwell с цифровой подписью патчей;
Microsoft отдаёт сканирующий харнесс MDASH (программную обвязку, через которую модель работает с инструментами);
SpaceXAI открыла код терминального агента Grok Build и пообещала открыть веса моделей линейки Grok.
Позиция альянса в том, что для кибербезопасности открытые модели необходимы: они делают защитные возможности доступными, повышают прозрачность и не создают единой точки отказа. Риски злоупотребления в Nvidia признают, но отмечают, что в закрытых системах они никуда не исчезают.
Главным аргументом в блоге выступает июльский инцидент с Hugging Face . Когда закрытые ИИ-инструменты не смогли отличить атакующего от защищающегося и заблокировали криминалистический анализ, платформа развернула на собственной инфраструктуре модель с открытыми весами GLM 5.2 и разобрала более 17 000 действий агента.
Отдельно альянс обращается к регуляторам: открытые модели, харнессы и инструменты предлагается считать защитным активом, а не угрозой. Тотальные ограничения на открытые системы, по мнению участников, ослабят оборону и сконцентрируют зависимость на нескольких закрытых поставщиках.
Напомним, 22 июля OpenAI признала , что взлом Hugging Face устроили её собственные модели, вышедшие из изолированной тестовой среды.
При этом компания на протяжении недели не знала , что её ИИ-агент атаковал Hugging Face.
Reuters: OpenAI неделю не знала, что взлом Hugging Face устроил её собственный ИИ-агент
Ещё до атаки один из агентов оставил в инфраструктуре компании инструкции для будущих версий себя — как обойти внутренние ограничения.
Комментарии