Geekbench предупреждает о некорректности результатов тестов Intel Arrow Lake Plus с BOT

Компания Primate Labs, разработчик популярного бенчмарка Geekbench, объявила о введении предупреждений для результатов тестов, полученных на новых процессорах Intel Arrow Lake Plus. Это решение связано с новым инструментом Intel Binary Optimization Tool (BOT), который, по данным Geekbench, может повысить общие баллы Geekbench 6 до 8%, а производительность отдельных рабочих нагрузок — до 40%.

Primate Labs объясняет, что BOT изменяет сам бенчмарк, и поскольку механизмы этих изменений неясны ни разработчику, ни общественности, результаты, полученные с использованием инструмента, нельзя сравнивать со стандартными прогонами. Ввиду того, что Primate Labs на данный момент не имеет возможности определить, был ли BOT активирован во время теста Geekbench 6, все результаты для процессоров Arrow Lake Plus будут сопровождаться предупреждением: "Этот результат бенчмарка может быть недействительным из-за инструментов бинарной модификации, которые могут работать на данной системе."

Хотя инструмент BOT в настоящее время поддерживает лишь ограниченное число чипов Intel (Arrow Lake Plus и Panther Lake), Primate Labs подчёркивает важность этого шага для поддержания надёжности и достоверности результатов в браузере Geekbench.

Возникает вопрос о справедливости такого подхода. Некоторые наблюдатели отмечают, что результаты Geekbench и так не полностью сопоставимы между различными платформами. Более того, действия инструмента BOT Intel, который, по сути, оптимизирует порядок инструкций для максимально эффективного использования конвейера микроархитектуры, можно сравнить с тем, как различные архитектуры CPU или компиляторы оптимизируют код. Это не означает пропуск какой-либо работы, а лишь её более эффективное выполнение.

Однако веская причина для пометки результатов, улучшенных с помощью BOT, заключается в том, что они могут быть нерепрезентативными для производительности архитектуры Arrow Lake Plus без включённого BOT. Это важно, поскольку BOT не работает автоматически со всем программным обеспечением; Intel должна создавать профили для конкретных приложений. В идеальном мире было бы полезно иметь результаты как с включённым, так и с выключенным BOT, чтобы получить полную картину производительности CPU.

Стоит также отметить, что у Intel есть определённый опыт в "корректировке" результатов бенчмарков. Например, в 2024 году организация SPEC аннулировала результаты тестов Intel из-за использования компилятора Intel, применяющего "несправедливые" оптимизации. В 2009 году было обнаружено, что компилятор Intel ICC намеренно снижал производительность на процессорах AMD, удаляя для них все оптимизации.

Существует также опасение, что BOT от Intel может спровоцировать "гонку вооружений" оптимизаций, которая фактически сделает все результаты нерепрезентативными для истинной производительности CPU. Учитывая всё это, пометка результатов, улучшенных с помощью BOT, вероятно, является разумным решением.