Масштабное тестирование браузеров. Январь 2012
ОГЛАВЛЕНИЕ
Этой статьей мы открываем цикл материалов, которые будут посвящены тестированию самых популярных браузеров. Если вы еще не очень хорошо знакомы с самим понятием интернет-обозревателя или хотите ознакомиться с их возможностями и критериями оценки, то рекомендую сначала прочитать наш материал: "Что такое браузер? Популярные браузеры и их возможности", а затем уже переходить к этому обзору.
В рамках жесткой конкуренции, разработчики интернет-обозревателей, постоянно совершенствуют свои продукты, дабы сделать их все более привлекательными для пользователей. Например, Google Chrome в 2011 году с 8-ой версии подрос до 16-ой, а Mozilla Firefox c 3-ей до 9-ой. Поэтому, что бы держать вас в курсе последних изменений на рынке браузеров, мы будем регулярно производить сравнительные обзоры последних решений в этой сфере от ведущих разработчиков.
В наших тестовых обзорах будут принимать участие 5 наиболее популярных обозревателей. Все участники будут иметь самые последние текущие версии и обновления безопасности на момент написания материалов.
ЧТО МЫ ТЕСТИРУЕМ
Итак, по каким же критериям мы будем сравнивать наших конкурсантов?
Скорость обработки JavaScript. Сегодня язык JS используется практически во всех современных сайтах. С помощью него делаются меню навигации, различная анимация, формы и многие другие интерактивные «примочки», которые так нравятся пользователям. Поэтому в последнее время разработчики обозревателей все больше времени уделяют оптимизации обработки JS-кода, а его обработкой, как правило, занимается специальный «движок», являющийся частью основного ядра браузера. В большинстве случаев, чем быстрее обрабатывается JavaScript, тем быстрее откроется страница сайта.
Поддержка веб-стандартов. Этот критерий отвечает за корректное отображение веб-страниц в вашем браузере.
Поддержка возможностей языка HTML5. Несмотря на то, что разработка этого стандарта еще не завершена, многие сайты уже сейчас активно используют его возможности. Более того, в ближайшее время именно HTML 5, скорее всего, заменит технологию AdobeFlash, которая на данный момент лежит в основе воспроизведения видео, аудио и анимации на большинстве веб-страницах.
Производительность графики при использовании различных технологий ее воспроизведения. К основным из них можно отнести:
- AdobeFlash – платформа компании Adobe для создания мультимедийных веб-приложений, анимации, игр и рекламных баннеров, а так же воспроизведения аудио и видео контента;
- HTML – основной язык, используемый для создания веб-страниц во всемирной паутине;
- SVG – язык описывающий векторную и смешанную графику в формате XML и разработанный всемирным консорциумом W3C;
- Canvas – элемент языка HTML 5, впервые представленный компанией Apple и предназначенный для описания растровой графики.
Безопасность. С ежегодным ростом интернет-аудитории, растет и количество злоумышленников, пытающихся с помощью уязвимостей браузеров получить несанкционированный доступ к личным данным пользователей, инфицировать их компьютер или совершить прочие вредоносные действия. Поэтому разработчики современных браузеров, стремясь предоставить пользователям безопасный серфинг веб-страниц, все время совершенствуют системы защиты своих продуктов, исправляя обнаруженные в них уязвимости.
МЕТОДИКА ТЕСТИРОВАНИЯ
Сегодня в наш тестовый обзор попали 5 самых популярных на сегодняшний день обозревателей:
Microsoft Internet Explorer 9 (сборка 9.0.8112.16421)
.jpg)
Mozilla Firefox 9.0.1
Google Chrome 16 (сборка 16.0912.63)
Opera 11.60 (сборка 1185)
Safari 5.1.2 (сборка 7534.52.7)
Все тестируемые браузеры устанавливаются на компьютер средней конфигурации и обновленным программным обеспечением:
- Процессор Intel Pentium D 2,13 ГГц
- Оперативная память 2 Гб
- Операционная система Windows 7 SP1 Профессиональная 32-bit
- Java™ 6 Update 30
- Adobe Flash Player 11.1.102.55
Для сравнения конкурсантов были выбраны10 тестовых программ: Peacekeeper, BrowserMark, ACID 3, HTML 5 Test, Animation Benchmarking, Webvizbench, V8 Benchmark Suite - version 6, SunSpider JavaScript Bencmark, Kraken Benchmark и Browserscope.
За победу в каждом конкретном тесте, обозреватели будут получать 5 баллов, за второе – 4, за третье -3, за четвертое и последнее – соответственно 2 и 1 балл. Набравший наибольшее количество балов браузер и станет победителем нашего тестирования.
Ну что же, на этом предварительные выкладки можно считать законченными и пора познакомиться непосредственно с самими результатами тестов.
РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ
Начнем мы с теста ACID 3, проверяющего браузеры на поддержку современных веб-стандартов.
Все конкурсанты набрали максимальное количество баллов, предусмотренное в этом тесте. Так что проблем с поддержкой веб-стандартов у современных браузерных решений нет. Примечательно, что еще совсем недавно для одного из них максимальный результат был недосягаем. Наверное, многие уже догадались, что речь идет об Internet Explorer. Но на сегодняшний день в Microsoft, наконец, устранили этот изъян, и в будущих тестовых обзорах проводить такого рода проверку уже не имеет смысла.
Вторым испытанием для обозревателей станет тестовый пакет Peacekeeper, разработанный популярной финской компанией Futuremark, прославившейся своими тестами для трехмерной графики (3DMark). С помощью него мы проверим комплексную производительность, включающую скорость обработки испытуемыми JavaScript. Попутно Pacekeeper проверяет совместимость с HTML 5.
Рядом с основными результатами теста, в скобках указывается показатель совместимости браузеров с HTML 5, максимальное значение которого равно 7.
Как видно из диаграммы, в первом испытании безапелляционно выигрывает Chrome, при этом оказавшись единственным продуктом, набравшим максимальное количество баллов при проверке на совместимость с новым стандартом HTML 5. За ним недалеко расположилась Opera. Все остальные проиграли лидеру более чем в два раза, а Firefox оказался худшим.
Отделившаяся от Futuremark, компания Rightware, предлагает свое комплексное решение, под названием BrowserMark, измеряющее производительность браузеров.
С большим отрывом от других конкурентов в этом тесте выигрывают Google Chrome и Opera. Safari третий, а Mozilla Firefox и Internet Explorer замыкают пятерку. При этом во время тестирования данный бенчмарк показывал довольно сильные погрешности измерений, так что последние два результата можно считать практически одинаковыми.
Следующие несколько тестов будут посвящены проверке такого важного параметра, как скорость обработки JavaScript и начнем мы с набора V8 Benchmark Suite. Представлен данный бенчмарк компанией Google, так что победитель в этом тесте, скорее всего уже ясен, но интересно, как поведут себя остальные конкурсанты.
Как и следовало ожидать, Chrome опять впереди, но на второе место в этот раз выходит Firefox, несколько реабилитируясь за позорные результаты в предыдущих двух испытаниях. За ним следуют Opera, Safari и IE.
Kraken Benchmark – наш следующий тестовый пакет, измеряющий скорость исполнения Java-скриптов – детище компании Mozilla. Удастся ли браузеру Firefox столь же уверенно выступить на своей площадке, как до него это сделал Chrome?
Сразу отметим, что в этом тесте, чем меньше показатели, тем лучше. И как видно из диаграммы, Google Chrome вновь лучший, пусть и незначительно, но обогнав Mozilla Firefox. Остальные конкуренты остались сильно далеко позади.
Еще одним популярным бенчмарком для проверки скорости обработки JavaScript является SunSpider. В нем так же, как и в предыдущем тесте, лучшим результатом считается меньший.
Этот тест принес несколько неожиданные результаты. Первое место достается продукту от Microsoft, за ним следует Firefox, третий – Opera, а бывший до этого все время первым Chrome, занял лишь четвертое место. Safari же и вовсе не смог пройти это испытание. При проверке, тест в этом обозревателе все время зацикливался.
Завершив на этом тестирование обработки JavaScript, перейдем к проверке поддержки браузерами нового стандарта HTML 5.
Максимальное количество баллов в этом тесте, которое может набрать обозреватель равно 450. Как видно из гистограммы ни один из конкурсантов не только не показал наивысший балл, но и даже не приблизился к этому показателю. Так что в этом направлении всем разработчикам еще есть над чем работать.
Тем не менее, опять на первом месте оказалось решение от Google, второе место на этот раз досталось Opera, а третье занял Firefox.
Следующим испытанием для наших конкурсантов станет графический бенчмарк Webvizbench, использующий так же технологии языка HTML 5.
В этом тесте, помимо основных баллов, в скобках указаны средние значения fps, показанные браузерами во время проверки.
Все современные браузеры, для ускорения обработки мультимедийного контента веб-страниц, стараются активно использовать графический и центральный процессор компьютера. Webvizbench как раз наглядно показывает, в каких обозревателях эти возможности реализованы лучше, а в каких хуже. Opera, Chrome и Interne Explorer – первая тройка, показавшая достаточно схожие результаты. А вот Firefox и Safari откровенно провалили данный тест, о чем свидетельствуют низкие показатели fps.
Еще одним тестом, проверяющим возможности воспроизведения анимации различными обозревателями, станет Animation Benchmarking. Правда, в отличии от Webvizbench, здесь производительность графики будет проверена сразу в четырех технологиях: Adobe Flash, HTML, SVG и Canvas.
При воспроизведении графики с помощью HTML первое место достается Opera, вторым приходит Safari и третьим IE9. Замыкают пятерку Chrome и Firefox.
Победа Safari в этом тесте закономерна, так как Canvas, элемент HTML 5, был разработан в Apple.
С графикой в формате XML опять же лучше всех справляется решение от Apple и уж совсем плохо здесь обстоят дела у продукта компании Mozilla.
Adobe Flash на данный момент самая популярная технология воспроизведения мультимедийного контента на веб-страницах, поэтому все разработчики уже давно адаптировали свои браузеры под это решение. Этим и объясняются абсолютно ровные результаты конкурсантов, хотя и здесь Google Chrome удалось чуточку выделиться.
Наконец, в заключительном испытании, переходим к проверке безопасности наших подопытных, для чего будет использоваться тест Browserscope. В этой программе, оценка уязвимостей браузеров осуществляется по 17-и параметрам, что с одной стороны немного, а с другой, дает хоть какое-то представление о состоянии защиты обозревателей.
Это становится уже банальным, но и здесь лучше всех проявил себя Google Chrome, провалив всего один тест безопасности. Худшим оказался Opera, да и Firefox проявил себя не лучшим образом, заняв четвертое место.
Для подведения итогов, давайте составим сводную таблицу с результатами испытаний. Результаты теста ACID 3 будут опущены, так как все браузеры показали в нем максимальный результат.
Сводная таблица результатов тестирования браузеров
Итак, пришло время подводить итоги наших исследований. Признаться честно, в начале написания этого материала, я думал, что итоговые результаты будут несколько иными.
Наверное, уже в середине обзора, многим читателям стало ясно, какой из рассматриваемых браузеров станет победителем. И им, набрав наибольшее количество балов, безапелляционно становится Google Chrome. Этот обозреватель показал прекрасные результаты практически во всех тестах, оставив своих соперников далеко позади. Недаром, именно Chrome в 2011 году стремительно набирал симпатии пользователей, о чем свидетельствуют рейтинги различных аналитических агентств. Сейчас по популярности в мире продукт от Google занимает второе место, совсем недавно опередив Firefox. При этом большинство специалистов сходятся во мнении, что уже в 2012 году произойдет знаковое событие – за многие годы царствования на браузерном олимпе будет низвержен Internet Explorer, занимающий первую строчку мирового рейтинга популярности уже более десятилетия.
Самым главным неприятным сюрпризом нашего обзора, думаю, стали результаты, которые показал популярнейший интернет-обозреватель Mozilla Firefox. Столь слабые показатели, лично для меня стали откровением. Несмотря на то, что в последнее время командой разработчиков Firefox признаются определенные ошибки, допущенные при программировании его «движка», тем не менее, они же постоянно рапортуют об увеличении производительности ядра браузера в новых версиях, что идет в разрез с результатами наших тестов. Не менее тревожный звонок прозвенел для Mozilla, когда в конце 2011-ого ее обозреватель уступил вторую строчку рейтинга популярности Chrome, но еще более неприятно, что произошло это из-за оттока собственной аудитории к конкуренту.
Opera уже довольно долгое время является самым популярным браузером в России, а показанные им результаты лишь подтверждают добротность данного продукта. Но худший показатель при проверке на безопасность серьезно настораживает. Провал более половины тестов свидетельствует о наличии серьезных уязвимостей, которыми в любой момент смогут воспользоваться злоумышленники. Надеюсь, в ближайшее время норвежские разработчики поправят эту ситуацию.
Провал Firefox позволил Apple Safari взобраться на третье место. С учетом того, что этот продукт изначально был заточен для использования в среде Mac OS, это хороший результат среди Windows-приложений.
Последнее место Internet Explorer, в общем, не удивляет. Компания Microsoft довольно долго почивала на лаврах, практически не развивая свое детище, за что и расплачивается сейчас стремительным снижением его популярности. Несмотря на то, что в последнее время, «движок» IE был серьезно улучшен, конкурирующие решения ушли вперед и не собираются сдавать своих позиций. Возможно ситуация несколько изменится с выходом 10-ой версии этого обозревателя, а пока разработчику придется приложить немалые усилия, что бы окончательно не растерять свою аудиторию.