Microsoft выпустила ASSERT: фреймворк для тестирования поведения AI по текстовым описаниям

Microsoft представила открытый фреймворк ASSERT — Adaptive Spec-driven Scoring for Evaluation and Regression Testing. Инструмент позволяет разработчикам описывать ожидаемое поведение AI-системы на обычном языке, а затем автоматически превращает эти описания в полноценные наборы тестов с оценкой результатов. Релиз состоялся во вторник, 2 июня 2026 года.

Появление ASSERT отражает реальный сдвиг в индустрии: крупные лаборатории научились оценивать модели на безопасность, соответствие стандартам и склонность к лести. Но компании, которые строят продукты на базе AI, столкнулись с другой задачей — убедиться, что система ведёт себя именно так, как задумано для их конкретного сервиса, с их политиками и ограничениями.

Как работает ASSERT

Принцип работы фреймворка прямолинеен. Разработчик описывает правила и цели системы на обычном языке — например, что AI-агент для работы с документами не должен отправлять письма за пределы компании, а конфиденциальные данные может передавать только топ-менеджменту. ASSERT берёт эти описания, структурирует их в перечень допустимых и недопустимых действий, генерирует проблемные сценарии и тест-кейсы, запускает их против целевой системы и выставляет оценки.

Фреймворк также записывает весь путь, который проходит AI-система: промежуточные действия, вызовы инструментов, точки принятия решений. Это позволяет разработчику точно локализовать место сбоя, а не просто зафиксировать факт провала теста. Дополнительно можно передавать системный контекст, доступные инструменты и ограничения — для более тонкой настройки покрытия.

По словам Сары Бёрд, директора по продукту в направлении Responsible AI в Microsoft, ASSERT можно применять на трёх этапах: при разработке системы, после её запуска и в режиме непрерывного мониторинга.

««Одна из вещей, которую мы усвоили: оценки абсолютно критичны для принятия правильных решений. Если вы не понимаете поведение AI-системы, очень сложно понять, соответствует ли она стандартам вашей организации. Мы обнаружили, что для по-настоящему надёжной системы нужно оценивать гораздо больше измерений, специфичных для конкретного приложения», — сказала Бёрд.»

Место ASSERT в экосистеме AI-оценок

Microsoft позиционирует ASSERT как инструмент, заполняющий пробел, который не закрывают универсальные бенчмарки. Общие системы оценки — такие как Stanford HELM, MLCommons AILuminate или методологии организации METR — измеряют, как модели ведут себя в стандартизированных условиях. Но они не учитывают политики конкретной компании, специфику продукта или набор инструментов, доступных агенту.

Рост интереса к регрессионному тестированию AI закономерен: по мере того как модели становятся мощнее и автономнее, цена непредвиденного поведения растёт. Агент, который случайно рассылает письма внешним адресатам или раскрывает финансовые данные не тем сотрудникам, создаёт реальные юридические и репутационные риски — независимо от того, насколько хорошо он справляется с общими бенчмарками.

Фреймворк распространяется как открытый исходный код, что снижает порог входа для команд, у которых нет ресурсов строить собственную инфраструктуру тестирования с нуля.

Что это означает для белорусских разработчиков

Для белорусских IT-команд, которые строят продукты с AI-компонентами — будь то внутри резидентов ПВТ или в рамках международных проектов, — ASSERT решает практическую задачу. Большинство небольших и средних команд не имеют выделенных специалистов по AI-безопасности и не могут позволить себе дорогостоящие платформы для оценки моделей.

Открытый фреймворк от Microsoft позволяет встроить проверку поведения AI прямо в CI/CD-пайплайн без значительных инвестиций. Особенно это актуально для команд, которые разрабатывают AI-агентов для корпоративных клиентов в Европе и США: там требования к предсказуемости и аудируемости поведения систем становятся частью контрактных обязательств, а не просто best practice.

С практической точки зрения стоит следить за тем, как ASSERT будет интегрироваться с Azure AI Foundry и другими инструментами Microsoft — компания последовательно выстраивает экосистему вокруг ответственного AI, и ASSERT, скорее всего, станет частью этого стека, а не изолированным проектом.

— По материалам TechCrunch: оригинальная статья. Перевод и адаптация — редакция Digital Business.