Amazon SageMaker AI поддерживает разделение GPU для инференса в реальном времени
NVIDIA MIG позволяет запускать до семи изолированных моделей на одном ускорителе
Amazon SageMaker AI теперь поддерживает разделение GPU для эндпоинтов инференса в реальном времени. На основе технологии NVIDIA Multi-Instance GPU (MIG) сервис делит один ускоритель на до семи изолированных разделов — каждый с выделенной памятью и вычислительными ресурсами. Это позволяет размещать несколько моделей на одном GPU вместо того, чтобы выделять отдельный ускоритель под каждую.
Для каких моделей и как настраивается
Функция ориентирована на небольшие и средние модели: дообученные варианты, эмбеддинг-модели, реранкеры и классификаторы. Разделение настраивается при создании эндпоинта с инференс-компонентами; вызов каждой модели по имени остаётся прежним — код приложения менять не нужно. Каждый раздел работает с аппаратно изолированной памятью и вычислительными ресурсами, не разделяя их с соседними моделями.
Доступные инстансы и регионы
ГПУ-разделение поддерживается на инстансах P4d, P5, G7 и G7e. Функция доступна в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) и Europe (Ireland).
Свежие новости
Все новости
Shopify Payments Apps API 2027-01 получил сигнал trusted_vault_origin
В релиз-кандидате Payments Apps API версии 2027-01 появилось поле payment_method.data.trusted_vault_origin. Оно позволяет платёжным приложениям не отклонять транзакцию при отсутствии CVV, если карта поступила из хранилища, которому доверяет Shopify. Поле опциональное и требует отдельного включения со стороны Shopify.
AWS Step Functions теперь можно подключать как инструменты для ИИ-агентов
AWS Step Functions добавила поддержку использования рабочих процессов в роли инструментов для ИИ-агентов через Amazon Bedrock AgentCore Gateway. Агент самостоятельно решает, когда запустить процесс и какие данные передать, а Step Functions выполняет каждый шаг в заданном порядке.
Shopify Flow теперь управляется через AI Toolkit
Shopify добавила в AI Toolkit поддержку управления рабочими процессами Flow. Агент может разбирать .flow-файлы, получать задачи и пути окружения, а также строить автоматизации — но только для собственного магазина и при наличии одобренного скоупа.
Shopify Tax: управляемый режим вводит новые ограничения Admin API
Shopify Tax managed mode теперь влияет на поведение Admin API: часть запросов на запись проходит валидацию на соответствие требованиям управляемого режима. Затронуты приложения, работающие с рынками, товарами, черновыми заказами и оформлением заказа.
Amazon EKS Auto Mode получил поддержку Kubernetes Gateway API
EKS Auto Mode теперь поддерживает Kubernetes Gateway API: маршрутизация трафика через ресурсы Gateway и HTTPRoute с автоматическим управлением инфраструктурой AWS.
Microsoft открыла доступ к Copilot Harness через Microsoft Foundry
Microsoft открыла Copilot Harness — оркестровочный слой, который уже используется в Copilot Code, Copilot Studio, GitHub Copilot и VS Code — для разработчиков и корпоративных клиентов через платформу Microsoft Foundry.
GitHub Copilot Fusion научился выбирать между локальными и облачными моделями
GitHub выпустил экспериментальную функцию интеллектуальной маршрутизации для локальных моделей в Copilot Fusion. Теперь инструмент может автоматически выбирать между моделями на устройстве и облачными — без ручного переключения при каждом запросе.
Shopify Theme App Add-ons: приложение можно предложить вместе с темой
Shopify представил механизм Theme App Add-ons, позволяющий разработчикам темы включать в её листинг собственное приложение. Блоки приложения интегрируются нативно через theme app extensions.
Shopify добавляет selling plans в черновые заказы через Admin API 2027-01
Admin GraphQL API версии 2027-01 получил поддержку selling plans в черновых заказах: можно задавать план при создании позиции и читать применённый план — как в сохранённом, так и в расчётном черновике.