Сбер открыл Kandinsky WM 1.0: генерация видео для обучения роботов и беспилотников

Сбер представил семейство генеративных моделей Kandinsky WM 1.0, способных создавать физически достоверное синтетическое видео для обучения систем Physical AI. В семейство вошли три специализированные нейросети: одна генерирует дорожные сценарии, вторая симулирует движения роборуки, третья воспроизводит сложные физические процессы.

Ключевая идея — снизить зависимость разработчиков от реальных данных. Сбор видео с камер беспилотников или промышленных роботов дорог, долог и небезопасен, особенно когда нужны редкие аварийные ситуации.

Как устроены модели

Основой для Kandinsky WM 1.0 послужила модель Kandinsky 5.0 Video Lite, которую дообучили на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. Разработчики уделили особое внимание физической корректности: следили за тем, чтобы автомобили не меняли форму в движении, предметы не исчезали из кадра, а траектории оставались реалистичными.

Модели умеют генерировать сценарии, которые сложно или опасно воспроизвести в реальности: ДТП, экстремальные погодные условия, нештатные ситуации на производстве. Именно такие кейсы наиболее ценны при обучении автономных систем, которые должны уверенно действовать в непредсказуемых условиях.

Кому это нужно и как получить доступ

Целевая аудитория Kandinsky WM 1.0 — команды, разрабатывающие беспилотный транспорт, производители промышленных и сервисных роботов, специалисты по компьютерному зрению, а также университеты и исследовательские центры. Среди первых пользователей — собственный Центр робототехники Сбера и институт AIRI, который применяет модели для создания дорожного симулятора.

Код и веса опубликованы под лицензией MIT: любой разработчик может использовать их бесплатно и без ограничений на коммерческое применение. Для белорусских команд, работающих в сфере робототехники и автономных систем в рамках ПВТ, это прямой доступ к инструменту, который иначе потребовал бы значительных затрат на сбор и разметку данных.

— По материалам Rusbase: оригинальная статья. Перевод и адаптация — редакция Digital Business.