Google AI & Infrastructure совместно с Mercor представила Physical-Engineering’s Last Exam (PLE), бенчмарк для оценки ИИ-агентов в инженерных задачах. Он проверяет, как модели справляются с работой в механике, электротехнике, гражданском строительстве и конструировании. В открытый доступ вышли 29 задач, инструменты оценки и таблица лидеров.
85 задач с расчётами, чертежами и строительными нормами
Полный набор PLE включает 30 задач по механике, 27 по электротехнике, 18 по гражданскому строительству и 10 по конструированию. Каждая требует длительной работы с проектом. Агент получает папку в контейнерной среде Archipelago от Mercor: в среднем на задачу приходится 61 файл, а во всём наборе их 5 170. Среди них — PDF, таблицы и письма, а также двумерные CAD-чертежи, трёхмерные BIM-модели и версии документов. Агенту нужно разобраться в материалах, найти применимые строительные нормы, учесть физические ограничения и провести расчёты. Результатом должны стать материалы, которые можно передать на проверку.
Лучший результат на закрытом наборе составил 48,3%
Практикующие инженеры написали с нуля 44 задачи. Ещё 41 задачу создал агентный конвейер на основе стандартов, доступных по лицензии, после чего инженеры проверили и усложнили их. Система оценки начисляет баллы только при условии, что решение прошло все обязательные проверки безопасности.
Команда протестировала 14 фронтирных моделей с семью программными обвязками для агентов. Ни одна модель не преодолела отметку 50% на закрытом тестовом наборе; лучший результат составил 48,3%. Для знакомства с форматом проверки откройте одну из 29 общедоступных задач PLE.
