Google открыла TPU Sync: библиотека для управления KV-кэшем и весами моделей на TPU
Инструмент снижает задержку передачи KV-данных более чем на 90% в сценариях с тяжёлыми MoE-моделями
Google выпустила TPU Sync — открытую нативную C++-библиотеку, которая управляет состоянием модели на TPU-кластерах. Библиотека рассматривает HBM ускорителя, оперативную память хоста, локальные SSD и сеть дата-центра как единую совместно спроектированную иерархию памяти и перемещает тензоры между её уровнями через асинхронные DMA-передачи, перекрывающие движение данных с активными вычислениями. Обращаясь к буферам устройства напрямую без копирования и блокировок, TPU Sync снижает задержку передачи KV-кэша и время до первого токена в среднем на 90% для MoE-моделей с 235B–480B параметрами в сценариях префиксного кэширования и дезагрегированного инференса — по сравнению с работой без TPU Sync.
KV-кэш: многоуровневое хранение и префиксное кэширование
Для инференса TPU Sync автоматически выгружает устаревшие KV-блоки из HBM в пулы оперативной памяти хоста, а экспериментально — и во вторичное общее хранилище. Это позволяет обслуживать длинные сессии от 256K до 1M+ токенов без исчерпания памяти ускорителя. Для сценариев с общими системными промптами библиотека расширяет префиксный кэш в распределённую память хоста, чтобы параллельные сессии могли переиспользовать уже вычисленные KV-блоки и пропускать повторное вычисление префиксов.
Дезагрегированный инференс и RL-пайплайны
В дезагрегированной архитектуре prefill-узлы обрабатывают входной промпт, а decode-узлы генерируют токены. TPU Sync передаёт обработанный контекст напрямую с prefill-узлов на decode-узлы через потоковый Host-to-Host-канал, снижая накладные расходы на передачу данных более чем на 90%. Для задач обучения с подкреплением библиотека предоставляет низкоуровневые DMA- и DCN-примитивы, которые RL-фреймворки используют для потоковой передачи обновлённых весов от тренеров к сэмплерам.
TPU Sync интегрируется в PyTorch через TorchTPU и в JAX, работает как KV-коннектор для vLLM, SGLang и llm-d, а также поддерживает Pathways и McJAX RL-пайплайны.
Свежие новости
Все новости
Cloud Pathways для GKE перешёл в статус GA
Google Cloud объявил об общей доступности Cloud Pathways на Google Kubernetes Engine. Среда выполнения, созданная в Google DeepMind для обучения и инференса фронтирных моделей, включая Gemini, теперь открыта для всех клиентов платформы.
NVIDIA Dynamo получил рецепты развёртывания для ведущих корейских открытых моделей
NVIDIA выпустила оптимизированные рецепты развёртывания на базе Dynamo для четырёх корейских открытых моделей. Конфигурации рассчитаны на GPU NVIDIA B200 и заявляют до двукратного прироста производительности из коробки.
Copilot Impact Dashboard теперь показывает Chat и VS Code Agents
GitHub обновил Copilot Impact Dashboard: диаграмма принятия теперь охватывает девять функций, включая Copilot Chat и окно VS Code Agents. Когорта «Passive users» переименована в «Chat-first users».
AWS Agent Registry стал доступен в регионе GovCloud (US-West)
Amazon Bedrock AgentCore расширил географию: AWS Agent Registry теперь доступен в регионе AWS GovCloud (US-West), предназначенном для организаций государственного сектора США и их партнёров.
AWS Elemental MediaConvert получил встроенную генерацию субтитров на базе ИИ
AWS Elemental MediaConvert интегрировал Smart Subtitles — решение на основе ИИ и современных моделей распознавания речи. Функция автоматически транскрибирует аудио и встраивается непосредственно в VOD-пайплайны без внешних сервисов субтитрования.
Vercel CLI получил флаг автоудаления новых проектов
В Vercel CLI v65.12.0 появился флаг --delete-project-after: при создании нового проекта через vercel deploy можно задать срок, по истечении которого проект удалится автоматически.
Vercel AI Gateway получил инструменты DeepSeek Search и DeepSeek Fetch
Vercel добавил в AI Gateway два инструмента DeepSeek: Search для поиска релевантных страниц и Fetch для получения их содержимого в формате Markdown. Оба работают с любой моделью, поддерживающей вызов инструментов.
Google Cloud перевёл серверы Z4M в общую доступность
Google Cloud объявил об общей доступности серии Z4M — машин с оптимизированным хранилищем, доступных как виртуальные машины и bare-metal инстансы. Серия предлагает до 192 vCPU, 1 536 GiB памяти и 400 Gbps RDMA-сети с поддержкой GPUDirect и TPUDirect Storage.
GitHub Copilot Usage Metrics API: новые поля для анализа code review
API метрик использования Copilot получил новый объект copilot_code_review в построчных отчётах repos-1-day для организаций и предприятий. Теперь можно отслеживать, как разработчики реагируют на замечания Copilot, и считать addressed rate по каждому репозиторию.