Китайская модель Orca управляет роботами без единой метки действий в обучающих данных

Пекинский институт искусственного интеллекта BAAI опубликовал технический отчёт о модели Orca — универсальной архитектуре, которая строит внутреннее представление о мире из видео и текста, а затем применяет его сразу к трём задачам: генерации текста, синтезу изображений и управлению роботами. Ключевой результат: на пяти манипуляционных задачах с двуруким роботом Orca сравнялась с π0.5 — системой, которая создавалась специально под робототехнику и обучалась на размеченных данных движений.

Примечательно, что базовая модель Orca в процессе предобучения ни разу не видела пар «изображение — действие». Разметка движений появляется только на этапе дообучения отдельного управляющего модуля, и то лишь на 200 реальных записях на каждую задачу.

Как устроено обучение: два режима и замороженное ядро

Авторы разделили обучение на два параллельных потока. Первый — «бессознательное обучение»: модель смотрит сырые видео без каких-либо подписей и предсказывает следующий кадр не на уровне пикселей, а в абстрактном пространстве признаков. Так она улавливает паттерны движения, перекрытия объектов и типичную динамику сцен.

Второй поток — «сознательное обучение»: видео нарезаются на сегменты, каждый получает текстовое описание изменения состояния. Модель учится понимать, что происходит со сценой при конкретном действии. Дополнительно она тренируется на классических задачах видео-вопрос-ответ, чтобы сохранить способность отвечать на произвольные запросы на естественном языке.

В качестве основы используется языковая модель Qwen3.5, которая после предобучения остаётся замороженной. К ней подключаются три сменных модуля: языковая голова самого Qwen3.5 для текста, небольшой адаптер поверх Stable Diffusion 3.5 для изображений и модуль Action Expert, обученный с нуля для управления роботом. Такая архитектура позволяет обновлять или заменять каждый выходной модуль независимо, не трогая общее ядро.

Для обучения команда собрала 125 000 часов видео, 160 миллионов описаний событий и 11,5 миллиона пар вопрос-ответ. Видеоматериал охватывает четыре типа съёмки: вид от первого лица при бытовых взаимодействиях, вид от третьего лица при манипуляциях с объектами, записи роботов без данных о движениях и сцены из реальной жизни. При этом в текущей версии использована лишь одна десятая от всего видеомассива.

Результаты на бенчмарках: текст, изображения, роботы

Модель обучалась в двух конфигурациях: 0,8 и 4 миллиарда параметров. На текстовых бенчмарках Orca-4B набрала средний балл 51,8% по четырём тестам — MVBench, TemporalBench, 3DSRBench и SWITCH — и обошла сопоставимые по размеру модели Qwen3.5-4B, Gemma 4-4B и DeepSeek-VL2-3B. Она также превзошла значительно более крупные мировые модели Emu3 (8B) и Emu3.5 (34B) по среднему показателю, хотя на отдельных тестах, например MVBench, Qwen3.5-4B всё же опережает её.

Для оценки генерации изображений исследователи создали собственный бенчмарк PRICE-V0.1: модель получает команду вроде «закрой микроволновку» и должна сгенерировать изображение результата. Orca-4B набрала 59,8%, обойдя специализированные генераторы FLUX.2 small (56,1%), FLUX.1-context (40,9%) и OmniGen2 (39,6%). Чистые генеративные модели нередко добавляют посторонние объекты или галлюцинируют руки — Orca сохраняет форму робота, точки контакта с предметами и связь с инструкцией значительно точнее.

В робототехнических задачах — расстановка книг на полку, укладка мисок, пересыпание сахара — Orca сравнялась с π0.5 и показала преимущество в восстановлении после ошибок: когда захват не удавался, модель повторяла попытку и завершала задачу, тогда как π0.5 зависала в цикле повторяющихся неудач. Базовые линии V-JEPA 2.1 и Qwen3.5 с тем же управляющим модулем заметно отстали.

С точки зрения вычислительной эффективности команда использует собственную библиотеку FlagScale с оптимизациями памяти и коммуникаций, достигая 2,91 обучающего примера в секунду на GPU на картах H100 — примерно в 4,4 раза быстрее, чем StarVLA, широко применяемая в робототехнике.

Ограничения и дорожная карта

Авторы честно перечисляют то, чего Orca пока не умеет. Модель работает только с изображениями и текстом — звук, тактильные ощущения и данные о силе воздействия отсутствуют полностью. Предсказание следующего визуального состояния происходит в пространстве предобученного энкодера изображений, а не в собственном пространстве мира, построенном с нуля. При 0,8 и 4 миллиардах параметров модели слишком малы для полноценного моделирования мира. Описания событий охватывают лишь короткие временны́е окна в несколько минут.

Конечная цель BAAI — нативная мировая модель, обученная с нуля на множестве типов сигналов. Это согласуется с более широкой дискуссией в исследовательском сообществе: команда Пекинского университета предложила унифицированное определение мировых моделей через OpenWorldLib, исключающее из категории чисто текстово-видеовые системы вроде Sora. Бенчмарк Университета Цинхуа показал, что даже Sora 2 и Veo 3.1 испытывают трудности с физически правдоподобной прогрессией сцен.

Для белорусских разработчиков и компаний, работающих в сфере робототехники и компьютерного зрения, Orca интересна прежде всего своей методологией: возможность получить конкурентоспособное управление роботом, обучив управляющий модуль всего на 200 записях на задачу, существенно снижает порог входа. Резиденты ПВТ, занимающиеся промышленной автоматизацией или разработкой автономных систем, могут рассматривать подобные архитектуры как способ сократить дорогостоящий сбор размеченных данных о движениях.

— По материалам The Decoder: оригинальная статья. Перевод и адаптация — редакция Digital Business.