Mistral AI выпустила Robostral Navigate — навигационную модель для роботов на одной камере

Mistral AI представила Robostral Navigate — первую собственную модель для автономной навигации роботов. Система принимает текстовую инструкцию и поток изображений с обычной RGB-камеры, после чего самостоятельно перемещает робота по незнакомому пространству. На отраслевом бенчмарке R2R-CE (Room-to-Room in Continuous Environments) модель набрала 76,6% на «невиданных» тестовых сценах — то есть в локациях, которые не использовались при обучении.

Это не просто конкурентный результат: Robostral Navigate опережает лучшую однокамерную систему на 9,7 процентных пункта и лучшую систему с глубинными сенсорами или несколькими камерами — на 4,5 пункта. При этом модель не использует ни LiDAR, ни датчики глубины.

Как это работает: указание вместо координат

Ключевое архитектурное решение — навигация через «указание» (pointing). Получив задачу и историю наблюдений, модель предсказывает пиксельные координаты целевой точки в текущем кадре камеры вместе с желаемой ориентацией при прибытии. Такой подход устойчив к различиям в параметрах камеры и масштабе сцены — в отличие от команд, основанных на метрических смещениях.

Когда цель выходит за пределы поля зрения, модель переключается на локальные координаты: «Двигайся 2 метра вперёд, 1,5 метра влево, повернись на 25 градусов». Это резервный режим, который покрывает случаи, где pointing неприменим.

Модель весом 8 миллиардов параметров создана полностью внутри компании и не базируется на существующих открытых VLM. За основу взята собственная vision-language модель Mistral, специализированная на задачах «заземления» — указании на объекты, их подсчёте и локализации. Навигация стала естественным расширением этих способностей: модель сначала научилась понимать, где находятся объекты, а затем — как к ним двигаться.

Обучение: 400 тысяч траекторий и ускорение в 22 раза

Весь датасет сгенерирован в симуляции: около 400 000 траекторий в 6 000 сцен. Это позволило быстро итерировать данные без дорогостоящих физических экспериментов.

Особого внимания заслуживает алгоритм обучения на основе prefix-caching. Древовидная стратегия маскирования внимания позволяет упаковать целый эпизод в одну последовательность и обучаться на всех временных шагах за один прямой проход, не допуская утечки информации между шагами. По сравнению с классическим подходом «один пример на шаг» это сокращает количество обучающих токенов в 22 раза при сохранении всех обучающих сигналов. Практический результат: обучающие прогоны, которые раньше занимали месяцы, теперь завершаются за дни.

После этапа supervised learning модель дополнительно улучшается с помощью онлайн-обучения с подкреплением — алгоритма CISPO. Он позволяет модели учиться на ошибках, восстанавливаться после сбоев и вырабатывать исследовательское поведение. Только этот этап добавил 3,2 процентных пункта к показателю успешности. По словам команды, плато пока не наблюдается.

Универсальность и применения

Robostral Navigate работает на колёсных, шагающих и летающих роботах разных размеров. Модель устойчива к различиям в параметрах камеры, что упрощает интеграцию в существующий парк оборудования без дополнительной калибровки под конкретное устройство.

Целевые сферы применения — производство, доставка, логистика и гостиничный бизнес. Робот получает одну инструкцию вроде «Выйди из лобби, пройди по коридору, войди в кладовую и остановись напротив второй полки» — и выполняет весь маршрут автономно, в живом пространстве с людьми и препятствиями, которых не было в обучающих данных.

Что это значит для рынка

Выход Robostral Navigate важен сразу по нескольким причинам. Во-первых, Mistral демонстрирует, что европейская AI-компания способна конкурировать с американскими и азиатскими игроками в сегменте embodied AI — одном из наиболее капиталоёмких направлений. Во-вторых, отказ от дорогостоящих сенсоров снижает порог входа для компаний, которые хотят автоматизировать логистику или складскую навигацию.

Для белорусских IT-компаний и резидентов ПВТ, работающих в сфере робототехники, компьютерного зрения или промышленной автоматизации, это сигнал: конкурентоспособные навигационные решения теперь можно строить на компактных моделях без дорогой сенсорной обвязки. API-доступ к модели Mistral открывает возможность встраивать такие возможности в собственные продукты без необходимости обучать модель с нуля.

Mistral уже объявила о расширении команды робототехники и ищет исследователей и инженеров. Robostral Navigate позиционируется как первый шаг к единому embodied-агенту — системе, которая сможет не только перемещаться, но и взаимодействовать с окружающей средой.

— По материалам Mistral AI: оригинальная статья. Перевод и адаптация — редакция Digital Business.