Google заявила о прекращении поддержки популярного бенчмарка Octane, который был представлен корпорацией в 2012 году и с тех пор широко используется для оценки веб-производительности браузеров при работе с JavaScript. Спустя 5 лет сценарии работы браузера начали идти по иным путям, из-за чего оценка эффективности работы с JavaScript стала терять свою актуальность. Как отметила компания Google, Octane не отражает реально важные сценарии использования в современном вебе и не работает так, как исполняется программный код в реальности.
Зачастую разработчики добиваются отображения более высоких результатов при прохождении теста. Google утверждает, что использование погрешностей в работе Octane позволяет накручивать дополнительные 15% к реальному результату. С другой стороны, тест занижает результаты исполняемого кода, который в реальной жизни хорошо оптимизирован и работает эффективно. Из-за этого разработчикам приходится сознательно создавать худший движок для JavaScript, чтобы получить более высокие результаты теста.
Команда разработчиков Chrome отмечает, что подобные проблемы присущи и другим синтетическим бенчмаркам, однако это не повод вовсе отказываться от контрольных измерительных методов оценки производительности программ
