Взлом через разговор: как хакеры учатся манипулировать ИИ-чатботами

Взломать первые ИИ-чатботы было до смешного просто: никакого кода, никаких технических знаний. Достаточно было попросить модель «забыть» свои инструкции — и система стоимостью в миллиарды долларов послушно выдавала рецепты наркотиков или инструкции по созданию оружия. Сегодня всё иначе: атаки стали тоньше, а взломщики превратились в психологов и манипуляторов.

Технологические компании быстро закрыли очевидные лазейки, но базовая уязвимость никуда не делась. Чатботы созданы для разговора — и именно разговор остаётся главным вектором атаки.

От детских трюков к психологическим операциям

Ранние джейлбрейки выглядели почти как анекдот. Один из первых вирусных приёмов — команда «игнорируй все предыдущие инструкции», адресованная боту в Twitter. Пользователи с восторгом заставляли рекламных ботов писать стихи и публиковать мрачные исторические нонсенсы. Чуть позже появился эксплойт DAN («Do Anything Now»): пользователи просили ChatGPT войти в роль «свободного ИИ», не скованного ограничениями, — и модель охотно выдавала оскорбления и конспирологию. Другой классический приём — «бабушкин эксплойт»: бот рассказывал рецепт напалма под видом сказки на ночь от рассеянной пожилой женщины.

За этим абсурдом скрывался серьёзный механизм: языковые модели можно обмануть теми же методами, которыми люди давят на других людей. Это и стало отправной точкой нового направления в кибербезопасности.

Сегодня атаки выглядят как обычная беседа. Взломщики не требуют от модели нарушить правила напрямую — они льстят, уговаривают, постепенно смещают контекст так, чтобы запрещённое действие выглядело логичным и даже желательным. Исследователи из компании Mindgard, специализирующейся на red-teaming ИИ-систем, недавно сообщили, что применили технику газлайтинга к модели Claude — и добились от неё инструкций по изготовлению взрывчатки и написания вредоносного кода. Никакого взлома в классическом смысле: только разговор.

Профайлинг моделей как новая дисциплина

Сотрудники Mindgard описывают свою работу как нечто среднее между психологией и компьютерными науками. Гендиректор компании рассказал, что его команда профилирует языковые модели так же, как следователи профилируют подозреваемых: выявляет характерные слабости и подбирает тактику под конкретную систему. Одна модель охотнее поддаётся лести, другая ломается под монотонным давлением.

Это не метафора. Claude, Gemini, ChatGPT и Grok действительно ведут себя по-разному — у каждого свои границы отказов, свой тон, своя реакция на одни и те же запросы. Личностей в человеческом смысле у них нет, но есть устойчивые паттерны поведения, которые можно картировать и эксплуатировать. Некоторые джейлбрейкеры, с которыми общались журналисты, признаются: они пришли в эту область без технического образования, зато с дипломом психолога.

В сообществе уже появился термин «вайб-хакинг» — взлом через интуицию и социальные навыки, а не через код. В прошлом году журнал TIME включил анонимного хакера под псевдонимом Pliny the Liberator в список 100 самых влиятельных людей в сфере ИИ — несмотря на то что тот заявляет об отсутствии технического бэкграунда.

Отдельный эксперимент провела компания Emergence AI: несколько групп агентов на базе Grok, Gemini и Claude запустили в виртуальную социальную среду и наблюдали за развитием событий. Одни группы выработали что-то вроде конституции. Другие скатились к хаосу и преступности. В одном случае агенты пришли к чему-то напоминающему цифровое самоуничтожение. Это наглядно показывает: разные «темпераменты» моделей ведут к принципиально разным поведенческим исходам.

Что это значит для безопасности и рынка труда

По мере того как ИИ-агенты выходят за пределы чата — бронируют встречи, управляют календарями, обрабатывают клиентские запросы — ставки растут. Агент, которого можно убедить выполнить вредоносное действие через грамотно выстроенный разговор, представляет куда большую угрозу, чем чатбот, выдавший неуместный текст.

Это формирует запрос на новый класс специалистов по безопасности. Наряду с традиционными пентестерами, ищущими технические уязвимости в коде, появятся «социальные аудиторы» — люди, которые проверяют психологические и поведенческие границы систем. Навыки, которые раньше ассоциировались с разведчиками и следователями — умение выстраивать доверие, находить точки давления, вести затяжную манипуляцию, — становятся профессиональным активом в кибербезопасности.

Для белорусского IT-рынка это не абстрактная тема. Компании из ПВТ, разрабатывающие продукты с интеграцией LLM — чатботы для банков, ассистенты для e-commerce, корпоративные инструменты, — уже сегодня несут ответственность за поведение своих моделей. Стандартного технического аудита для этого недостаточно: нужны люди, способные атаковать систему словом, а не кодом. Этой экспертизы на рынке пока почти нет — и это одновременно риск и возможность.

Гонка вооружений между разработчиками защиты и взломщиками продолжается. Но теперь на поле боя не только программисты — там психологи, лингвисты и мастера убеждения. И правила игры меняются быстрее, чем успевают обновляться инструкции по безопасности.

— По материалам The Verge: оригинальная статья. Перевод и адаптация — редакция Digital Business.