Разработки, поступающие для участия в программе Microsoft Office Extensions, с технической стороны оцениваются по по следующей методике.
Минимальное требование, которому должна удовлетворять любая разработка — это работоспособность. Другие особенности и характеристики позволяют набрать дополнительные баллы, которые затем учитываются при определении победителя конкурса. Каждая группа условий оценивается по десятибалльной шкале, что позволяет четко разграничить отдельные категории, сохранив гибкость в рамках каждой отдельной группы. Затем общие оценки умножаются на соответствующие весовые коэффициенты, различные для каждой группы условий (это позволяет учесть важность каждой категории требований).
Итоговая оценка вычисляется по формуле
x=Saibi/100,
где
ai — оценка,
bi — соответствующий весовой коэффициент.
Необходимо отметить, что коэффициент может быть как положительным, так и отрицательным; чем меньше оценка в «негативном» разделе, тем лучше (идеальный случай — 0 баллов).
Максимальная оценка за «техническое совершенство» для программ всех категорий составляет пять баллов, еще пять присуждается в зависимости от популярности разработки (количества загрузок из библиотеки).
Критерии оценки
Работоспособность
Очевидное требование. Разработка, которая по каким-либо причинам является неработоспособной, в конкурсе не участвует. Автор получает соответствующее сообщение, после чего он может предпринять необходимые действия для устранения обнаруженных ошибок.
Надежность — 15%
В тестах на «надежность» проверяется прежде всего стабильность функционирования и, в частности, воспроизводимость результатов. Как показывает практика, в зависимости от особенностей документа, например, объема или форматирования, результаты работы одной и той же программы могут различаться. В этом же разделе оценивается «безопасность» разработки, под которой понимается во-первых, отсутствие каких-либо вредоносных действий (вирусы в рамках конкурса не рассматриваются), а во-вторых — риска потери данных. В частности, при создании разработки авторам рекомендуется встроить возможность «отмены последнего действия» (Undo). По разным причинам не все ранее выполненные команды можно отменить, поэтому приветствуются любые методы (собственная реализация «отмены», выдача предупреждения и т. п.), позволяющие застраховаться от подобных проблем. Кроме того, каждая разработка проходит тесты на наличие ошибок при различных сочетаниях входных параметров.
Реализация — 20%
Это оценка того, как хорошо модуль выполняет свои функции. Здесь учитываются быстродействие и требования к ресурсам (типичный пример — некоторые программы для вычисления численных значений алгебраических выражений в Microsoft Word вызывают Microsoft Excel). В отдельных случаях анализируется алгоритм разработки. Кроме того, исследуется правильность функционирования отдельных элементов управления, например, полей ввода. Пример — в номере телефона может быть более семи цифр, однако есть программы, которые позволяют ввести не более пяти. Кроме того, желательно, чтобы разработка содержала собственные средства обработки ошибок (это позволяет избежать весьма неприятной ситуации — запущена макрокоманда, а вместо результатов ее работы на экране появляется окно Visual Basic с приглашением отладить программу), а также сохраняла форматирование исходного документа, если только разработка не предназначена именно для того, чтобы изменить его.
Интерфейс — 6%
Эта оценка выставляется за пользовательский интерфейс программы. Как правило, в разработках реализована достаточно развитая диалоговая среда, поэтому особо внимательно мы исследуем удобство и простоту обращения с пакетом. В частности, желательно, чтобы была обеспечена «скважность» диалогов, иначе говоря, любая последовательность диалоговых окон должна обязательно завершаться. Ситуация, когда пользователь в конце концов не может ни закрыть, ни прекратить диалог недопустима (нарушение связности обычно становится следствием ошибок). Дополнительные баллы начисляются также за использование оригинальных интерфейсных решений и оформлений.
Описание и документация — 10%
Полнофункциональная прикладная программа — это сложный комплекс, для успешного освоения и использования которого документация просто необходима. В идеальном случае, кроме общего описания программы, можно ожидать наличия отдельного описания процедуры установки, примеров использования, развернутого руководства пользователя, описания возможных проблем и способов их устранения.
Процедура установки — 10%
Вряд ли нуждается в комментариях. Поскольку программы могут требовать достаточно сложных действий (перемещение в строго определенные каталоги, запись некоторых параметров в реестр Windows, копирование исполнимых файлов и библиотек динамической компоновки в каталоги Windows/System и подобные, установка собственных параметров в программах Office и т. д.), желательно избавить пользователя от необходимости проделывать все это вручную. За процедуру инсталляции может считаться наличие программы setup, install и т. п. (например, InstallShield), пакетного файла, специального макроса. Или это только документ с инструкциями по установке. Главный критерий — процедура установки должна быть понятной и легко осуществимой той группой пользователей, на кого эта разработка рассчитана.
Безусловно, возможно, что такая процедура не требуется в принципе (например, это характерно для MDE-модулей Microsoft Access). Поэтому такие ситуации оцениваются индивидуально.
Процедура удаления — 10%
Причина учета этого параметра очевидна — удалить ненужную уже программу очень часто оказывается сложнее, чем установить ее.
Требования к ресурсам — 5%
Очевидный параметр. Он имеет не очень большой вес в итоговой оценке.
Дополнительные баллы — 30%
Эта оценка предназначена для того, чтобы учесть достоинства (или недостатки) программы, не подходящие под остальные критерии. Это может быть оригинальность, высокий технический уровень и многое другое.
Информация для этой страницы предоставлена Тестовой лабораторией PC Magazine Russian Edition.
