JBenchmark — серия тестов производительности ( бенчмарков ) для платформы Java ME , разработанных венгерской компанией Kishonti Informatics LP . В настоящее время (2008) доступно 9 пакетов тестов для различных подсистем телефона. Большинство тестов бесплатны в базовой версии, позволяющей увидеть результат только после отправления его на сайт производителя теста.

С помощью этих вкладов пользователей на сайте ведется база результатов тестирования телефонов . Для обычных пользователей эта база, возможно, более полезна, чем сами тесты — в ней содержатся данные о производительности, а также о программном и аппаратном обеспечении более чем 1500 устройств. Большая часть данных открыта, но часть доступна только по платной подписке .

Особенности

Все ранние тесты ( , , , ) доступны по следующей модели. Сами тесты доступны для скачивания и использования бесплатно. После выполнения теста можно увидеть результат. При желании этот результат можно послать на сайт JBenchmark , где он, после модерации, попадет в общую базу данных.

В сентябре 2006 года вышел . Этот набор, в отличие от предыдущих, представлял собой не один скачиваемый Мидлет , а множество (86 штук) тестов производительности различных подсистем телефона. Пользователь может выбрать нужные ему тесты и собрать из них особый Мидлет. В это приложение также включается система диагностики Java ME , которая собирает информацию о доступных JSR и других возможностях платформы.

Однако важным нововведением JBenchmark Pro является то, что данные после тестирования становятся доступны не сразу, их необходимо сначала загрузить в базу, и только после подтверждения с сайта результат выводится на экран. Однако при наличии особой платной (корпоративной) подписки есть возможность получить мидлет , работающий как ранние тесты, т. е выдающий результат сразу на экран .

На основе механизма JBenchmark Pro построено и большинство более поздних наборов тестов ( , , ). Однако в настоящее время (июль 2008) доступен только как Corporate Edition.

С января 2008 года стала доступна дополнительная возможность: за особую платную подписку можно получить доступ к закрытой части базы данных устройств, а также к некоторым дополнительным услугам сайта .

Наборы тестов

JBenchmark 1.0

JBenchmark 1.0 был первым набором тестов, выпущенным компанией, продуктом, который принес ей мировую известность. Он базировался на MIDP 1.0 и поэтому работал практически на любом телефоне. Однако, тесты были направлены на измерение возможностей телефонов того времени, поэтому в настоящее время этот набор может считаться устаревшим.

Содержит в себе 5 простых тестов, направленных на измерение скорости работы различных типов приложений. Каждый из тестов выполняется в течение 10 секунд. Количество кадров которое успеет отрисоваться за это время, и является результатом теста. Полный результат JBenchmark 1.0 — сумма результатов всех пяти тестов .

Тесты:

• Text drawing — экран заполняется текстовыми строками случайного цвета и размера
• 2D shapes — рисует множество двумерных графических фигур различной формы
• 3D shapes — базовыми средствами двухмерной графики MIDP 1.0 рисует вращаюшийся куб
• Fill rate — заполненяет экран небольшими прямоугольниками случайного цвета с целью измерить скорость заполнения графического буфера большим объемом данных
• Animation — вращающееся изображение земного шара (последовательная отрисовка частей PNG файла)

JBenchmark 2.0

В феврале 2004 года вышла новая версия теста — JBenchmark 2.0, базирующаяся на MIDP 2.0 . Этот более требовательный к аппаратуре набор, также как и JBenchmark 1.0 , содержит в себе 5 тестов:

• Image manipulation — манипулирование содержимым и отрисовка растрового изображения (используется изображение Моны Лизы )
• Text drawing — по экрану прокручивается кусок текста из книги
• Gaming scene — попытка в плане графики воспроизвести поведение типичной двухмерной компьютерной игры для телефона
• 3D transformation — как и в аналогичном тесте JBenchmark 1.0 , попытка сэмулировать трёхмерную графику базовыми средствами MIDP , без использования специализированных JSR . Отображается вращающаяся шахматная фигура — конь.
• User interface speed — измеряет скорость работы интерфейса приложения, построенного на стандартных элементах управления MIDP

JBenchmark 3D

В феврале 2005 года компания Kishonti Informatics выпустила третий тест графической подсистемы Java ME , на этот раз для необязательного стандарта трехмерной графики ( JSR-184 ). Как заявляется , набор тестов пытается создать нагрузку на графическую подсистему аналогичную таким играм как 3D-шутер .

Содержит 4 теста:

• Triangle throughput — для измерения максимально возможного отображения нетекстурированных треугольников в секунду
• Texturing performance — для измерения скорости текстурирования
• Low Quality — воспроизводит кадры типичного (по мнению Kishonti Informatics ) 3D-шутера для низкопроизводительных устройств
• High Quality — трехмерная игра в расчете на наиболее высокопроизводительные (на момент выхода набора тестов) устройства

JBenchmark HD

JBenchmark HD вышел в январе 2006 года и предназначался для тестирования наиболее производительных в то время Java ME устройств. Как и JBenchmark 3D , воспроизводит нагрузку на графическую подсистему, создаваемую 3D-шутерами , основывающимися на стандарте трёхмерной графики JSR-184 . Однако тесты нового набора намного требовательней к аппаратуре.

Но главным отличием от JBenchmark 3D является то, что проверяется не только скорость, но и качество отрисовки. Кроме того, появилась возможность загрузить снимок экрана на сайт. Таким образом, при просмотре базы данных, находящейся в свободном доступе, можно узнать не только результаты тестов, но и визуально сравнить изображения, получаемые на различных телефонах.

JBenchmark Pro

Jbenchmark Pro вышел в сентябре 2006 года . Это первый набор, выполненный по новой модели распространения (см. ).

Большой набор тестов по всем подсистемам (включает 86 тестов). Тесты разбиты на следующие группы:

• User Experience — призван симулировать деятельность, непосредственно влияющую на субъевтивное представление пользователя о скорости работы телефона (скорость запуска приложений, скорость работы камеры, скорость файловой системы)
• CPU — набор тестов, которые не привязаны к особым подсистемам, а написаны так, чтобы их производительность зависела только от скорости центрального процессора и эффективности виртуальной машины Java
• 2D Graphics — тесты двухмерной графической подсистемы (стандартные средства MIDP )
• 3D Graphics — тесты трёхмерной графической подсистемы ( M3G )
• Composite — тесты разработаны так, чтобы нагружать несколько подсистем одновременно, получив, таким образом, нагрузку аналогичную приложениям из реального мира
• 3D Low Level — нагружают подсистемы трёхмерной графики на низком уровне. Разработаны для определения «узких мест» в реализации M3G . Поскольку эти тесты предназначены главным образом для производителей устройств, результаты низкоуровневых тестов доступны только на платной основе, и не учитываются при вычислении итогового результата JBehchmark Pro

JBenchmark ACE

Тест производительности ARM процессора. На основе набора статистических данных, пытается определить тип и частоту процессора, выполняя Java код (поскольку нет стандартного способа получить эту информацию в Java). Вышел в январе 2007 года .

В отличие от остальных наборов JBenchmark , этот тест поддерживает не только MIDP , но и DoJa Java ME профиль.

JBenchmark 239

Набор тестов трехмерной графики на основе низкоуровнего API . Вышел в январе 2007 года .

JBenchmark Net

Тест производительности сетевого соединения. Вышел в мае 2007 года .

JBenchmark SVG

Набор тестов векторной графики SVG (на основе API ).

Распространенность

Приложения серии Jbenchmark являются весьма известными тестами производительности для платформы Java ME . Он признается производителями , а также используется как основной тест при оценке производительности Java ME платформы телефонов в обзорах на профильных сайтах, например iXBT.com , Mobile-review.com, 3dnews.ru .

Примечания