Google представила бенчмарк PLE для оценки ИИ-агентов в инженерных задачах
Physical-Engineering's Last Exam тестирует модели на реальных проектах в механике, электротехнике, строительстве и конструировании
Google AI & Infrastructure совместно с Mercor анонсировала бенчмарк Physical-Engineering's Last Exam (PLE) — инструмент для измерения способности фронтирных моделей выполнять задачи в механической, электротехнической, гражданской и конструктивной инженерии. В открытый доступ выпущены 29 задач, инструменты оценки и таблица лидеров на ple-bench.com.
Что проверяет бенчмарк
PLE включает 85 задач с длинным горизонтом выполнения: 30 по механике, 27 по электротехнике, 18 по гражданскому строительству и 10 по конструированию. Агент работает внутри контейнеризированной папки проекта на базе среды Archipelago от Mercor — в среднем 61 файл на задачу (5 170 файлов суммарно): PDF, таблицы, письма, 2D-чертежи CAD, 3D-модели BIM и версии документов. Агент должен разобраться в этих файлах, найти применимые строительные нормы и физические ограничения, провести расчёты и сформировать готовые к проверке материалы.
Как составлялись задачи и каковы результаты
Задачи создавались двумя способами: 44 написаны практикующими инженерами с нуля, ещё 41 собран агентным конвейером на основе лицензируемых стандартов и затем проверен и усложнён инженерами. Оценка засчитывает баллы только при прохождении всех обязательных проверок безопасности. Команда протестировала 14 фронтирных моделей с семью агентными обвязками; ни одна не преодолела отметку 50% на закрытом тестовом наборе — лучший результат составил 48,3%.
Свежие новости
Все новости
Amazon Bedrock добавил инференс Kimi K3 в Индии
Amazon Bedrock расширил географию инференса Kimi K3: помимо глобального и американского, теперь поддерживается инференс внутри Индии — для задач с требованиями к резидентности данных.
Rustup 1.29.3 устраняет сбои на старых процессорах и Solaris
Команда rustup выпустила версию 1.29.3, которая закрывает два регрессионных бага: ошибку «Illegal instruction» на процессорах x86-64 без SSE4.1 и ошибку «lock() not supported» на Solaris.
Dependabot получил поддержку Python 3.15
GitHub добавил поддержку Python 3.15 в Dependabot. Пользователи github.com могут получать автоматические обновления зависимостей для проектов на этой версии уже сейчас; в GitHub Enterprise Server функция появится в версии 3.24.
Vercel MCP теперь принимает клиентов через Client ID Metadata Documents
Vercel обновил авторизацию в своём MCP-сервере: теперь любой MCP-клиент может запросить подключение без предварительного одобрения со стороны Vercel. Вместо ручного вайтлистинга используется Client ID Metadata Document.
Amazon SageMaker AI поддерживает разделение GPU для инференса в реальном времени
Amazon SageMaker AI добавил поддержку разделения GPU на реальных эндпоинтах: технология NVIDIA MIG делит один ускоритель на до семи изолированных разделов, каждый со своей памятью и вычислительными ресурсами.
Shopify Payments Apps API 2027-01 получил сигнал trusted_vault_origin
В релиз-кандидате Payments Apps API версии 2027-01 появилось поле payment_method.data.trusted_vault_origin. Оно позволяет платёжным приложениям не отклонять транзакцию при отсутствии CVV, если карта поступила из хранилища, которому доверяет Shopify. Поле опциональное и требует отдельного включения со стороны Shopify.
AWS Step Functions теперь можно подключать как инструменты для ИИ-агентов
AWS Step Functions добавила поддержку использования рабочих процессов в роли инструментов для ИИ-агентов через Amazon Bedrock AgentCore Gateway. Агент самостоятельно решает, когда запустить процесс и какие данные передать, а Step Functions выполняет каждый шаг в заданном порядке.
Shopify Flow теперь управляется через AI Toolkit
Shopify добавила в AI Toolkit поддержку управления рабочими процессами Flow. Агент может разбирать .flow-файлы, получать задачи и пути окружения, а также строить автоматизации — но только для собственного магазина и при наличии одобренного скоупа.
Shopify Tax: управляемый режим вводит новые ограничения Admin API
Shopify Tax managed mode теперь влияет на поведение Admin API: часть запросов на запись проходит валидацию на соответствие требованиям управляемого режима. Затронуты приложения, работающие с рынками, товарами, черновыми заказами и оформлением заказа.