Стандартные тесты занижают реальные возможности ИИ-агентов — исследование AISI

Британский институт безопасности ИИ (AI Security Institute, AISI) опубликовал исследование, которое ставит под сомнение достоверность большинства существующих оценок ИИ-систем. Главный вывод: стандартные бенчмарки с фиксированным вычислительным бюджетом измеряют не реальный потолок возможностей агента, а лишь его минимальный результат при искусственных ограничениях. Чем больше токенов разрешено потратить на задачу, тем выше итоговый результат — и во многих случаях кривая роста ещё не выходит на плато.

Цифры, которые меняют картину

Исследователи AISI прогнали передовые модели через семь бенчмарков при разных вычислительных бюджетах и зафиксировали конкретные приросты. В области кибербезопасности около 8% задач решались только при бюджете свыше 10 миллионов токенов, а часть требовала и вовсе 50 миллионов. Новейшие модели показывали ещё более высокие результаты при бюджетах от 100 миллионов токенов.

На задачах по разработке программного обеспечения (бенчмарки TerminalBench 2.0 и SWE-Bench Pro) успешность выросла примерно на 25% при увеличении бюджета с одного до десяти миллионов токенов. В математических и академических задачах (Humanity's Last Exam) прирост составил около 22% при бюджете до пяти миллионов токенов. Единственное исключение — медицинский бенчмарк HealthBench: все протестированные модели достигали плато уже в рамках стандартного бюджета.

По наблюдениям AISI, дополнительные вычисления помогают прежде всего там, где агент может самостоятельно проверить результат — например, запустить код или протестировать эксплойт. Там, где обратная связь отсутствует или задержана, эффект от увеличения бюджета минимален.

Время человека как предиктор токенов агента

Одна из ключевых находок исследования — статистическая связь между временем, которое тратит на задачу эксперт-человек, и количеством токенов, необходимых агенту. На выборке из 211 задач по разработке ПО (от исследовательского института METR) и 78 киберзадач (от самого AISI) эта зависимость подчиняется степенному закону.

Задача на одну минуту стоит агенту тысячи токенов. Задача на час — миллионы. Задача на неделю — миллиарды. Это означает: фиксированный бюджет оценки автоматически отсекает самые сложные и длинные задачи, а провал агента может объясняться не отсутствием нужных навыков, а просто нехваткой ресурсов.

АISI приводит показательный пример — киберзадача «The Last Ones», на решение которой у эксперта уходит около 20 часов. Ни одна из протестированных моделей не справилась с ней при бюджете менее 30 миллионов токенов.

Новые модели используют вычисления эффективнее

Исследование фиксирует ещё одну закономерность: каждое новое поколение моделей извлекает из дополнительных вычислений значительно больше пользы, чем предыдущее. Прогресс идёт сразу по трём осям: охват (агент берётся за более сложные задачи), надёжность (одна и та же задача решается стабильнее) и эффективность (на ту же задачу уходит меньше токенов).

Горизонт планирования текущей передовой модели вырос примерно с 40 минут при бюджете 2,5 миллиона токенов до четырёх часов при 50 миллионах. Если смотреть на весь фронтир целиком, горизонт сдвигается с примерно двух часов до 14 часов при том же увеличении бюджета. В тестировании участвовали модели GPT-5, GPT-5.5, Claude Opus 4.5, Opus 4.8 и Sonnet 4.5.

При этом прогресс неравномерен: на 10–30% задач новые модели показали результат хуже, чем их предшественники. Это важная оговорка: общий тренд на улучшение не означает, что каждая новая версия лучше во всём.

Скорость прогресса оказалась выше прогнозов

Ранее AISI оценивал, что горизонт планирования передовых моделей на киберзадачах удваивается примерно каждые 4,7 месяца — при фиксированном бюджете в 2,5 миллиона токенов. При бюджете в 50 миллионов тренд оказывается примерно на 60% круче: удвоение происходит каждые 40–50 дней вместо 67–91.

Иными словами, скорость прогресса — не фиксированная характеристика технологии, а функция от того, какой бюджет вы выбираете для измерения. Это принципиально меняет подход к оценке рисков: если вы тестируете модель при заниженном бюджете, вы получаете заниженную оценку угрозы.

Что это значит для рынка и регуляторов

АISI делает прагматичный вывод: главная проблема не в том, что модели стали опаснее, а в том, что их измеряют неправильно. Если оценивать возможности как фиксированную точку, а не как кривую, зависящую от вычислительного бюджета, решения о развёртывании систем, их экономической ценности и допустимых рисках будут приниматься на основе заниженных данных.

Дополнительный фактор — снижение стоимости токенов. Вычислительные бюджеты, которые сегодня кажутся дорогостоящими, через год-два могут стать рутинными. Это означает, что возможности, которые сейчас выглядят экзотично, станут доступны значительно более широкому кругу пользователей — в том числе потенциально недобросовестных.

Для белорусского IT-рынка это исследование актуально сразу в нескольких плоскостях. Компании-резиденты ПВТ, работающие с ИИ-инструментами в разработке и кибербезопасности, уже сейчас сталкиваются с вопросом: насколько адекватно существующие бенчмарки отражают реальные риски при внедрении агентных систем? Ответ AISI однозначен: недостаточно адекватно. AISI теперь тестирует модели при нескольких разных бюджетах и вводит концепцию «минимально информативного бюджета» — порога, при котором результат перестаёт расти с добавлением вычислений. Только такой результат считается содержательным.

— По материалам The Decoder: оригинальная статья. Перевод и адаптация — редакция Digital Business.