Немецкий консорциум выпустил открытую языковую модель Soofi S 30B, которая обходит конкурентов на немецком и английском

Немецкий исследовательский консорциум под координацией KI Bundesverband (Федеральная ассоциация ИИ Германии) опубликовал открытую языковую модель Soofi S 30B-A3B. По данным отчёта о предобучении, она показывает лучшие результаты среди полностью открытых моделей на бенчмарках как для английского, так и для немецкого языка — обходя OLMo 3 32B от Allen Institute for AI и Apertus 70B от ETH Zurich и EPFL.

Модель обучалась с марта по май 2026 года на инфраструктуре Deutsche Telekom Industrial AI Cloud в Мюнхене — одном из первых крупных тренировочных запусков на этой платформе. Суммарно было задействовано до 512 GPU Nvidia B200 и около 253 000 GPU-часов.

Архитектура: экономия вычислений при длинных контекстах

Soofi S — это модель типа Mixture-of-Experts (MoE). Она содержит 31,6 млрд параметров, однако при генерации каждого токена активирует лишь около 3,2 млрд. Это означает, что реальные вычислительные затраты сопоставимы с моделью размером 3B, а не 30B.

Консорциум взял за основу архитектуру Nvidia Nemotron 3 Nano без изменений — гибридную схему, сочетающую слои Mamba-2 с классическими слоями внимания (attention). Из 52 слоёв модели лишь 6 используют KV-кэш, который в стандартных трансформерах растёт линейно с длиной контекста и становится узким местом при параллельных запросах.

Практический эффект заметен при длинных входных последовательностях. При контексте в 40 000 токенов и 32 параллельных запросах Soofi S генерирует примерно в 8 раз больше токенов в секунду на GPU, чем плотные модели размером от 14 до 24 млрд параметров. Пропускная способность остаётся практически неизменной в диапазоне от 4 000 до 256 000 токенов — тогда как у конкурентов она резко падает с ростом контекста. Схожее поведение демонстрирует лишь Qwen3.5 35B-A3B от Alibaba, также построенная на гибридной архитектуре.

Данные: три фазы обучения и ставка на немецкий язык

Общий объём обучающих данных составил около 27 трлн токенов, разбитых на три фазы. Первая фаза — порядка 20 трлн токенов из широкого набора веб-текстов, кода, математики и специализированных источников. Вторая фаза — около 6 трлн токенов из более качественных источников для закрепления паттернов. Третья, более короткая фаза расширяет контекстное окно за счёт обучения на очень длинных документах объёмом до 1 млн токенов.

Особое внимание уделено немецкому языку. В первой фазе он занимает 7,2% обучающей выборки, во второй — уже 15,3%. Для сравнения: в референсном рецепте Nvidia Nemotron все языки, кроме английского, в совокупности составляют лишь около 5%. В качестве источников немецких текстов консорциум использовал корпус HPLT, German Commons, немецкие части FinePDFs и FineWiki, а также коммерчески лицензированный корпус Genios — 193 млн газетных статей из 916 немецких изданий.

По итогам сравнения с 16 другими открытыми моделями Soofi S занимает первое место среди полностью открытых моделей по агрегированным показателям на немецком и английском языках. На всех немецких бенчмарках она опережает европейские суверенные базовые модели, порой с двузначным отрывом. Добавление немецких данных улучшило языковую компетентность на 15,1 пункта и результат на тесте GPQA-Diamond (наука) на 9,6 пункта по сравнению с базовым Nemotron — без потери качества на английском.

На кодовых бенчмарках модель показала 73,8% на HumanEval, 70,2% на MBPP и 84,2% на немецкоязычном варианте MBPP — лучшие результаты среди открытых аналогов. На тесте INCLUDE-DE, проверяющем знание немецкой региональной специфики, Soofi S набрала 61,2 балла, разделив первое место с Qwen3.5 35B-A3B.

Слабые места и дискуссия о масштабировании

Модель имеет выраженные слабые стороны. На немецкой олимпиадной математике (Minerva MATH-DE) она набирает лишь 56 баллов против 76,5 у Qwen3.5 35B-A3B и 65,6 у Gemma 3 27B. Также она уступает на задачах открытого фактологического поиска в NaturalQuestions — вероятно, потому что при активных 3 млрд параметрах модель хранит меньше фактических знаний, чем плотная 27B-модель.

Отдельную слабость выявил тест RULER на длинный контекст: при извлечении часто встречающихся слов из текста длиннее 32 000 токенов точность Soofi S падает примерно до 3%, тогда как сопоставимый Nemotron сохраняет 60–64%. Авторы объясняют это отсутствием синтетических данных для задач извлечения в обучающем наборе.

После публикации ряд исследователей раскритиковал модель за «переобучение» по меркам классических законов масштабирования Chinchilla (Google DeepMind, 2022). При 27 трлн токенах и 30 млрд параметрах соотношение токенов к параметрам составляет несколько сотен к одному — при рекомендованных примерно 20. Технический руководитель проекта Michael Fromm отвергает эту критику, указывая на новые исследования, показывающие, что законы Chinchilla не переносятся напрямую на MoE-архитектуры: отдельные «эксперты» в таких моделях выигрывают от повторного просмотра одних и тех же документов. В качестве прецедента Fromm приводит Nvidia, которая обучала собственные модели на до 25 трлн токенов.

Суверенная инфраструктура и состав консорциума

Тренировочный кластер Deutsche Telekom в Мюнхене работает полностью на возобновляемой энергии, охлаждается водой из канала Айсбах и передаёт отработанное тепло в соседний квартал Тухерпарк. Soofi S стала одним из первых крупных запусков на этой инфраструктуре.

За проектом стоит широкий консорциум: институты Fraunhofer IAIS и IIS, DFKI (Немецкий исследовательский центр искусственного интеллекта), TU Darmstadt, Университет Вюрцбурга, исследовательский центр L3S, Берлинский университет прикладных наук, а также AI-компании Ellamind и Merantix Momentum. Финансирование поступает от Федерального министерства экономики и энергетики Германии в рамках европейской программы IPCEI-CIS.

Для белорусского IT-сообщества этот проект показателен как пример того, как государственное финансирование, академические институты и частные компании могут совместно создавать конкурентоспособные открытые модели на суверенной инфраструктуре. Резиденты ПВТ, работающие с NLP и LLM-решениями, получают в лице Soofi S полностью открытую модель с сильной поддержкой немецкого языка — что актуально для проектов, ориентированных на европейский рынок.

— По материалам The Decoder: оригинальная статья. Перевод и адаптация — редакция Digital Business.