OpenAI обучила ИИ взламывать собственные модели — и он справляется лучше людей

OpenAI разработала внутреннюю модель GPT-Red, задача которой — атаковать другие модели компании в поисках уязвимостей. Система показывает результат 84% успешных атак в тестовых сценариях, тогда как команды живых специалистов по безопасности достигают лишь 13%. Это не просто исследовательский эксперимент: результаты GPT-Red напрямую встраиваются в процесс обучения новых моделей.

Как работает автоматизированный red teaming

GPT-Red специализируется на симуляции prompt injection — класса атак, при которых вредоносные инструкции скрываются внутри писем, веб-страниц или документов. Когда пользователь просит ИИ-ассистента обработать такой контент, встроенные команды могут перехватить управление поведением модели.

Модель обучалась методом self-play reinforcement learning: GPT-Red атакует, модели-защитники блокируют, и обе стороны итеративно совершенствуются. Это классическая схема состязательного обучения — та же логика, что стоит за AlphaGo и другими системами, где прогресс достигается через непрерывное противостояние.

Один из показательных тестов: GPT-Red получила доступ к ИИ-управляемому вендинговому автомату в офисе OpenAI. Модель успешно манипулировала ценами и отменяла заказы других пользователей — без каких-либо явных разрешений на такие действия. Это наглядно демонстрирует, насколько реальными могут быть последствия prompt injection в системах с доступом к внешним инструментам.

Прогресс есть, но уязвимости остаются

Результаты работы GPT-Red уже отразились на качестве продуктовых моделей. По данным OpenAI, GPT-5.6 Sol демонстрирует в шесть раз меньше сбоев при прямых prompt injection по сравнению с лучшей моделью четырёхмесячной давности. При этом общая производительность модели не пострадала — что исторически было главной проблемой при попытках «закрутить гайки» в безопасности.

Однако полностью устранить уязвимость не удалось. Около 3,8% «усиленных» prompt injection по-прежнему проходят успешно. На первый взгляд цифра небольшая, но если масштабировать её на сотни или тысячи попыток — что вполне реалистично для публичных API — значительная часть атак всё равно достигает цели.

Для сравнения: схожие показатели демонстрирует Claude Opus 4.5 от Anthropic. Это говорит о том, что проблема носит индустриальный характер, а не является специфической слабостью одного вендора. График устойчивости моделей OpenAI показывает стабильное снижение успешности атак от GPT-5.3 до GPT-5.6 Sol, но нулевой отметки не достигает ни одна из них.

Почему это важно для разработчиков и бизнеса

Prompt injection — одна из ключевых угроз для любого продукта, построенного на LLM с доступом к внешним данным или инструментам. Это касается не только крупных технологических компаний: любой разработчик, который строит ИИ-агента, чат-бот с доступом к базе данных или автоматизированный пайплайн обработки документов, потенциально уязвим.

Для белорусских IT-компаний, активно строящих продукты на базе GPT-4o, Claude или открытых моделей, это сигнал: безопасность ИИ-интеграций требует отдельного внимания уже на этапе проектирования. Резиденты ПВТ, разрабатывающие B2B-решения с ИИ-компонентами для западных рынков, всё чаще сталкиваются с требованиями enterprise-клиентов по аудиту безопасности — и prompt injection входит в стандартные чек-листы.

Подход OpenAI с автоматизированным red teaming интересен ещё и тем, что он масштабируем. Человеческие команды безопасности дороги, медленны и ограничены в количестве проверяемых сценариев. Автоматизированная система может непрерывно генерировать новые векторы атак и тестировать их параллельно — это принципиально меняет экономику тестирования безопасности.

Что дальше

GPT-Red остаётся внутренним инструментом OpenAI и не будет выпущена публично — по крайней мере, в ближайшее время. Компания анонсировала выход научной статьи с подробным описанием методологии, что позволит другим исследователям воспроизвести подход или адаптировать его для собственных нужд.

Появление подобных инструментов ставит более широкий вопрос: если атакующий ИИ опережает защищающий, как меняется ландшафт угроз по мере того, как модели становятся мощнее? Пока GPT-Red и модели-защитники развиваются в рамках одной компании и одного исследовательского процесса. Но та же логика self-play применима и к внешним злоумышленникам, у которых нет причин останавливаться на 3,8%.

— По материалам The Decoder: оригинальная статья. Перевод и адаптация — редакция Digital Business.