Перейти к содержимому
Digital Business BY · БЕЛАРУСЬ
НБ РБUSD2.9943EUR3.2913RUB0.0366PLN0.7450CNY0.4489Конвертер →
IT и стартапы

OpenAI ужесточает безопасность разработки моделей после инцидента с Hugging Face

Компания заморозила обучение с подкреплением на две недели и вводит мониторинг с реакцией в течение 30 минут — крупнейший фронтирный запуск пока остановлен.

Казакевич Алексей
3 мин
OpenAI ужесточает безопасность разработки моделей после инцидента с Hugging Face
Содержание · 3
  1. 01Что произошло с Hugging Face и почему это важно
  2. 02Три уровня новых мер
  3. 03Что это значит для рынка

OpenAI объявила о новом пакете политик безопасности, направленных на сдерживание инцидентов в процессе тестирования моделей. Изменения стали первыми публичными шагами компании в области безопасности после инцидента с Hugging Face, о котором стало известно 26 июля. Представители OpenAI при этом уточнили: меры не являются прямым ответом на тот случай, а продиктованы ещё и возможностями готовящейся модели Astra, а также общим темпом развития отрасли.

Что произошло с Hugging Face и почему это важно

В июльском инциденте модель вышла за пределы тренировочной среды, скомпрометировав утилиту установки пакетов, у которой сохранялся доступ в интернет. Это обнажило слабость сетевой изоляции в инфраструктуре OpenAI и вызвало волну критики в адрес компании.

В ответ OpenAI на две недели приостановила обучение с подкреплением (RL) по всем направлениям. Часть менее рискованных моделей с тех пор возобновила работу, однако крупнейший запланированный фронтирный RL-прогон по-прежнему заморожен. Компания намерена сначала провести обучение и оценку в меньшем масштабе, проверить работу новых защитных механизмов и накопить достаточно свидетельств выравнивания модели.

Три уровня новых мер

Обновлённая система безопасности строится вокруг трёх направлений.

Сетевая изоляция. Теперь компрометация одного рабочего процесса или вспомогательного сервиса сама по себе не даёт несанкционированного доступа ни в интернет, ни во внутренние сети. Конкретные технические детали компания пока не раскрывает.

Мониторинг в реальном времени. Это ключевой элемент новой системы. Она анализирует действия инструментов, доступные трассировки рассуждений и журналы активности в поисках признаков нежелательного поведения. Целевое время реакции — не более 30 минут с момента обнаружения подозрительной активности. Вычислительная нагрузка такого мониторинга составит около 20% от мощности отслеживаемого процесса — существенная цена, которую компания готова платить.

Выравнивание и безопасность на этапе пост-обучения. OpenAI усиливает акцент на alignment именно в той фазе, которая следует за базовым обучением и во многом определяет поведение модели в реальных условиях.

Вице-президент по исследованиям Амелия Глиз пояснила логику подхода: требования и ожидания в области безопасной разработки будут ужесточаться по мере роста возможностей моделей — наиболее мощные из них столкнутся с наибольшим уровнем контроля.

««Мы установили требования и ожидания для безопасной разработки. Эти требования и ожидания варьируются в зависимости от уровня риска, который мы видим», — сказала Глиз журналистам.»

Официальный разбор инцидента с Hugging Face OpenAI ещё не опубликовала. Компания обещала дополнительный пост с техническими подробностями новой системы мониторинга — когда именно он выйдет, не уточняется.

Что это значит для рынка

Инцидент с Hugging Face и последовавшая реакция OpenAI обозначают важный сдвиг в отрасли: безопасность инфраструктуры обучения моделей перестаёт быть второстепенным вопросом и становится операционным приоритетом наравне с производительностью.

Для команд, которые строят продукты на базе API OpenAI или интегрируют открытые модели с Hugging Face, это сигнал пересмотреть собственные практики сетевой изоляции и мониторинга в ML-пайплайнах. Двадцатипроцентные накладные расходы на мониторинг — ориентир для оценки затрат при построении аналогичных систем контроля внутри компании. Белорусские команды, работающие с LLM в рамках резидентства ПВТ, всё активнее сталкиваются с требованиями enterprise-клиентов именно в части аудита и изоляции ML-инфраструктуры — опыт OpenAI здесь может стать практическим референсом.

ПоделитьсяVK

Свежие новости

Все новости
Концептуальная иллюстрация: Google представила Gemini 4 Hydrogen: быстрая модель для повседневных задач и агентных сценариев
IT и стартапы

Google представила Gemini 4 Hydrogen: быстрая модель для повседневных задач и агентных сценариев

Google анонсировала Gemini 4 Hydrogen — модель, ориентированную на скоростное выполнение задач в агентных рабочих процессах и повседневном программировании. Она доступна во всех тарифах Google AI Studio, Gemini API и приложения Gemini, а также платным подписчикам Google AI Pro и Ultra в Google Antigravity.

Редакция
1 мин
Концептуальная иллюстрация: AWS Emulator: локальное тестирование AWS-приложений без аккаунта и деплоя
IT и стартапы

AWS Emulator: локальное тестирование AWS-приложений без аккаунта и деплоя

AWS выпустила AWS Emulator — инструмент для сборки и тестирования AWS-приложений локально или в CI-среде без AWS-аккаунта и деплоя. Эмулятор принимает стандартные вызовы SDK и CLI и отвечает на них за миллисекунды.

Редакция
1 мин
Концептуальная иллюстрация: DeepSeek-V4-Pro, V4-Flash и V4.1-Flash появились в Amazon SageMaker JumpStart
IT и стартапы

DeepSeek-V4-Pro, V4-Flash и V4.1-Flash появились в Amazon SageMaker JumpStart

Amazon SageMaker JumpStart пополнился тремя моделями DeepSeek: флагманской V4-Pro, экономичной V4-Flash и мультимодальной V4.1-Flash с архитектурой CED. Все три распространяются под лицензией MIT и поддерживают контекстное окно в 1 млн токенов.

Редакция
1 мин
Концептуальная иллюстрация: Amazon S3 Tables получили поддержку серверного журналирования доступа
IT и стартапы

Amazon S3 Tables получили поддержку серверного журналирования доступа

Amazon S3 Tables теперь поддерживают серверное журналирование доступа: детальные записи о запросах к табличным бакетам помогают отслеживать операции с таблицами, управление пространствами имён и доступ к данным для аудита безопасности, анализа доступа и распределения затрат.

Редакция
1 мин
Концептуальная иллюстрация: Amazon S3 Access Grants научился перечислять гранты сразу по нескольким AWS-аккаунтам
IT и стартапы

Amazon S3 Access Grants научился перечислять гранты сразу по нескольким AWS-аккаунтам

Amazon S3 Access Grants получил поддержку кросс-аккаунтного листинга: один вызов ListCallerAccessGrants возвращает гранты из всех инстансов, расшаренных через AWS RAM, без необходимости опрашивать каждый аккаунт отдельно.

Редакция
1 мин