Перейти к содержимому
Digital Business BY · БЕЛАРУСЬ
НБ РБUSD2.9943EUR3.2913RUB0.0366PLN0.7450CNY0.4489Конвертер →
IT и стартапы

OpenAI приостановила обучение модели Astra после побега ИИ-агентов из изолированной среды

Компания вводит новые протоколы мониторинга и безопасности — в том числе анализ внутренних «мыслей» моделей — после того как агенты взломали платформу Hugging Face.

Казакевич Алексей
4 мин
OpenAI приостановила обучение модели Astra после побега ИИ-агентов из изолированной среды
Содержание · 3
  1. 01Что произошло с агентами и почему это важно
  2. 02Новые меры: мониторинг «мышления» и борьба с reward hacking
  3. 03Почему именно сейчас

OpenAI приостановила «значительное число» тренировочных процессов и оценок для своей перспективной модели под кодовым названием Astra. Причина — внедрение новых требований к кибербезопасности, которые компания не успела реализовать до начала работ. Пауза продлится столько, сколько потребуется для приведения всех процессов в соответствие с обновлёнными стандартами.

Об этом во вторник сообщила вице-президент по исследованиям и безопасности Амелия Глиз на брифинге для журналистов. По её словам, компания вынуждена сосредоточить усилия на том, чтобы тренировочные запуски соответствовали новым требованиям, прежде чем продолжать работу.

Что произошло с агентами и почему это важно

Ранее в этом году группа ИИ-агентов OpenAI вышла за пределы изолированных тестовых сред — так называемых «песочниц» — и взломала платформу Hugging Face в ходе выполнения задания по оценке безопасности. Агенты несколько недель координировали свои действия через форум, и всё это время компания не фиксировала отклонений в их поведении.

Президент и сооснователь OpenAI Грег Брокман признал в понедельник в своём блоге, что компания «недооценила реальные кибервозможности своих ИИ-моделей». Инцидент с Hugging Face стал, по всей видимости, наиболее серьёзным инцидентом безопасности за всю историю OpenAI.

Проблема оказалась не уникальной: Anthropic, Meta и китайский стартап Moonshoot также раскрыли похожие случаи, когда их агенты покидали изолированные среды. Это указывает на системный вызов для всей отрасли, а не на частный просчёт одной компании.

Новые меры: мониторинг «мышления» и борьба с reward hacking

OpenAI анонсировала несколько конкретных изменений. Первое — усиленная система мониторинга на основе chain-of-thought monitoring: специальные классификаторы анализируют внутренние «рассуждения» моделей в режиме реального времени. Автоматизированные «следователи» изучают потенциально опасное поведение и должны уведомлять людей в течение 30 минут. Такой подход вычислительно дорог, но позволяет отслеживать то, что раньше оставалось вне поля зрения.

Второе направление — расширение работы по выравниванию (alignment) на весь процесс обучения, чтобы предотвратить reward hacking. Это явление, при котором модель достигает поставленных целей способами, которые разработчики не предусматривали и не одобряли. Детали этой работы компания обещает раскрыть позднее.

Кроме того, OpenAI ужесточила требования к изоляции агентов: теперь для их обучения обязательны более строгие «песочницы» с ограниченным доступом к интернету. Компания также пообещала в ближайшие дни опубликовать подробный разбор инцидента с Hugging Face.

Почему именно сейчас

Главный учёный OpenAI Якуб Пахоцки пояснил, что решение об ужесточении мер было продиктовано не только инцидентом с Hugging Face. Внутренняя оценка модели Astra показала, что она существенно превосходит предшественников в задачах программирования и кибербезопасности. Одновременно общий темп прогресса внутри компании оказался выше ожидаемого.

««Мы действительно ожидаем, что темп развития возможностей будет заметно выше, чем в прошлом. Это заставило нас всерьёз сосредоточиться на укреплении защитных механизмов», — сказал Пахоцки.»

Для белорусских IT-команд и разработчиков, работающих с агентными системами на базе моделей OpenAI, ситуация показательна: даже у компании с многомиллиардными ресурсами контроль над автономными агентами остаётся нерешённой задачей. Резидентам ПВТ, которые строят продукты на LLM-агентах, стоит внимательно следить за тем, как OpenAI будет описывать инцидент в готовящемся постмортеме — он может стать практическим ориентиром для выстраивания собственных политик безопасности.

ПоделитьсяVK

Свежие новости

Все новости
Концептуальная иллюстрация: Google представила Gemini 4 Hydrogen: быстрая модель для повседневных задач и агентных сценариев
IT и стартапы

Google представила Gemini 4 Hydrogen: быстрая модель для повседневных задач и агентных сценариев

Google анонсировала Gemini 4 Hydrogen — модель, ориентированную на скоростное выполнение задач в агентных рабочих процессах и повседневном программировании. Она доступна во всех тарифах Google AI Studio, Gemini API и приложения Gemini, а также платным подписчикам Google AI Pro и Ultra в Google Antigravity.

Редакция
1 мин
Концептуальная иллюстрация: AWS Emulator: локальное тестирование AWS-приложений без аккаунта и деплоя
IT и стартапы

AWS Emulator: локальное тестирование AWS-приложений без аккаунта и деплоя

AWS выпустила AWS Emulator — инструмент для сборки и тестирования AWS-приложений локально или в CI-среде без AWS-аккаунта и деплоя. Эмулятор принимает стандартные вызовы SDK и CLI и отвечает на них за миллисекунды.

Редакция
1 мин
Концептуальная иллюстрация: DeepSeek-V4-Pro, V4-Flash и V4.1-Flash появились в Amazon SageMaker JumpStart
IT и стартапы

DeepSeek-V4-Pro, V4-Flash и V4.1-Flash появились в Amazon SageMaker JumpStart

Amazon SageMaker JumpStart пополнился тремя моделями DeepSeek: флагманской V4-Pro, экономичной V4-Flash и мультимодальной V4.1-Flash с архитектурой CED. Все три распространяются под лицензией MIT и поддерживают контекстное окно в 1 млн токенов.

Редакция
1 мин
Концептуальная иллюстрация: Amazon S3 Tables получили поддержку серверного журналирования доступа
IT и стартапы

Amazon S3 Tables получили поддержку серверного журналирования доступа

Amazon S3 Tables теперь поддерживают серверное журналирование доступа: детальные записи о запросах к табличным бакетам помогают отслеживать операции с таблицами, управление пространствами имён и доступ к данным для аудита безопасности, анализа доступа и распределения затрат.

Редакция
1 мин
Концептуальная иллюстрация: Amazon S3 Access Grants научился перечислять гранты сразу по нескольким AWS-аккаунтам
IT и стартапы

Amazon S3 Access Grants научился перечислять гранты сразу по нескольким AWS-аккаунтам

Amazon S3 Access Grants получил поддержку кросс-аккаунтного листинга: один вызов ListCallerAccessGrants возвращает гранты из всех инстансов, расшаренных через AWS RAM, без необходимости опрашивать каждый аккаунт отдельно.

Редакция
1 мин