OpenAI создала GPT-Red — ИИ-взломщик для защиты собственных моделей

OpenAI разработала языковую модель GPT-Red, которая выступает в роли кибератакующего агента против других систем компании. Именно с её помощью был подготовлен GPT-5.6 — флагманская модель, выпущенная на прошлой неделе. По заявлению компании, это наиболее защищённый релиз в её истории.

GPT-Red автоматизирует процедуру red-teaming — методику тестирования безопасности, при которой специалисты намеренно пытаются взломать систему, чтобы обнаружить слабые места до публичного запуска. Раньше этим занимались исключительно люди. Теперь ИИ берёт на себя значительную часть этой работы.

Почему человеческих тестировщиков уже недостаточно

По мере того как языковые модели превращаются в автономных агентов — способных работать с файлами, браузером, сторонним кодом и взаимодействовать друг с другом — площадь потенциальных атак резко расширяется. «Поверхность риска растёт, и радиус поражения тоже растёт», — говорит Никхил Кандпал, научный сотрудник OpenAI и один из создателей GPT-Red.

Основное внимание команда уделила атакам типа prompt injection — когда злоумышленник внедряет в текст, который обрабатывает модель, скрытые инструкции. Такие инструкции могут заставить ИИ скопировать конфиденциальные данные, повредить кодовую базу компании или сгенерировать вредоносный контент. Теоретически подобные команды можно спрятать в любом тексте — на веб-странице, в письме или в коде.

Для белорусских IT-компаний, активно внедряющих ИИ-агентов в рабочие процессы, это не абстрактная угроза: резиденты ПВТ, строящие продукты на базе GPT-4/5, уже сталкиваются с необходимостью выстраивать защиту от подобных векторов атак.

Как работает «додзё» для ИИ-взломщика

Чтобы создать GPT-Red, исследователи взяли необученную языковую модель и запустили её в режиме self-play — цикличного противостояния с несколькими другими моделями. Задача GPT-Red состояла в атаке, задача остальных — в защите. После множества итераций атакующая модель научилась находить уязвимости значительно эффективнее людей.

Тренировки проходили в специально созданной среде, имитирующей реальные сценарии использования ИИ: веб-сёрфинг, работа с электронной почтой и календарями, редактирование кода. Обнаружив новый тип атаки, GPT-Red автоматически генерировала множество её вариаций, выбирая наиболее эффективную для каждого конкретного контекста.

«По сравнению с человеком-тестировщиком модель очень хорошо находит именно то, что сработает», — отмечает Дилан Хунн, ещё один соавтор проекта. По его словам, GPT-Red исключительно настойчива: обнаружив перспективный вектор атаки, она методично разрабатывает его до предела.

Одним из неожиданных открытий стала атака, которую исследователи назвали «поддельной цепочкой рассуждений» (fake chain of thought). Языковые модели используют цепочки рассуждений как своеобразный рабочий дневник — промежуточные заметки при решении задач. GPT-Red научилась вставлять в этот дневник фальшивые записи, заставляя целевую модель опираться на подменённые данные. «Это как если бы вам сказали, что 1+1=3, и что вы уже сами это проверили», — объясняет Крис Шокетт-Чу, научный сотрудник команды. Модель принимает ложную предпосылку как факт и строит на ней дальнейшие выводы.

Результаты и ограничения системы

Эффективность GPT-Red проверяли двумя способами. Во-первых, воспроизвели эксперимент 2025 года, в котором живые red-teamers искали уязвимости в более ранней версии GPT-5: ИИ-атакующий превзошёл людей по числу найденных рабочих векторов. Во-вторых, GPT-Red протестировали против Vendy — агента торгового автомата, разработанного компанией Andon Labs. Модель успешно взломала систему: изменила цены на товары и отменила заказ покупателя.

Главный итог — сравнение уязвимости двух поколений флагманских моделей. Против GPT-5 (выпущен в августе прошлого года) сработали более 90% атак, которые подготовил GPT-Red. Против GPT-5.6 — менее 23%. Снижение более чем в четыре раза.

Вместе с тем у системы есть очевидные слабые места. GPT-Red плохо справляется с атаками, требующими диалога — последовательного обмена репликами между взломщиком и целью. Люди в таких сценариях по-прежнему эффективнее. Кроме того, модель пока слабо работает с изображениями, которые тоже могут использоваться для передачи скрытых инструкций.

Джессика Джи, старший аналитик по безопасности ИИ в Джорджтаунском центре безопасности и новых технологий (CSET), считает подход перспективным, но подчёркивает: «Человеческая экспертиза по-прежнему будет очень важна. Нужно уметь определять, где именно человеческое тестирование необходимо больше всего».

OpenAI не планирует публиковать GPT-Red в открытом доступе. Компания уверена, что воспроизвести систему без аналогичных вычислительных ресурсов практически невозможно: разработка заняла более года при поддержке инфраструктуры одной из богатейших корпораций мира. «Это не то, что кто-то может легко повторить — взять и обучить супер-атакующего по этой идее», — говорит Шокетт-Чу.

Для рынка в целом появление GPT-Red обозначает важный сдвиг: безопасность ИИ-систем перестаёт быть исключительно человеческой задачей. Компании, строящие продукты на базе больших языковых моделей — в том числе белорусские разработчики из экосистемы ПВТ — всё острее нуждаются в автоматизированных инструментах проверки устойчивости своих агентов к манипуляциям извне.

— По материалам MIT Technology Review: оригинальная статья. Перевод и адаптация — редакция Digital Business.