Оценка эффективности систем. Если планируемое тестирование предназначено только для проверки решения нескольких отобранных задач и отдельных видов оборудования

Если планируемое тестирование предназначено только для проверки решения нескольких отобранных задач и отдельных видов оборудования, то должен быть составлен соответствующий список испытаний. Если эта проверка должна выполняться на статическом макете и проверяются только одна или две задачи, то вряд ли следует включать описание этих задач в план испытаний. С другой стороны, если те операции с системой, для которых должны быть собраны данные, не описаны, то у сборщиков данных может не сложиться ясного представления о том, как выполнить данное измерение. Чем больше система, тем на большее число составляющих ее надо разделять.

Описание оцениваемой системы, возможно, не нужно для тех, кто знаком с ней. Для большинства систем любого размера только часть аппаратуры системы и только часть всех задач, решаемых системой, представляют интерес для того, кто измеряет ее характеристики. Если бы разрабатываемая система имела прототип и на нем предварительно были проведены испытания, которые теперь проводятся на новой системе, то их не пришлось бы повторять. Если система большая и сложная или мало сборщиков данных, а время испытаний короткое, то может оказаться невозможным зарегистрировать все необходимые данные. При таких обстоятельствах необходимо выбрать круг задач и аппаратуру, на которой будет измеряться деятельность персонала. Основами для выбора задач будут: 1) важность задачи для реализации назначения системы, 2) сложность задачи, 3) вероятность значительных ошибок.

Альтман [1] рассмотрел проблему выбора задачи для измерения. Чтобы сделать этот выбор, ИЧФ должен определить следующие задачи: 1) с критическими ограничениями по времени (именно в таких задачах велика вероятность совершения значительных ошибок); 2) с частым взаимодействием персонала между собой (задача решается совместными действиями группы операторов); 3) с неоднозначными стимулами и/или требованием принятия решений, 4) задачи, невыполнение которых или неадекватные характеристики решения могут оказать серьезный отрицательный эффект на функционирование системы; 5) сценарии тех этапов работы системы, которые накладывают жесткие ограничения на персонал; 6) задачи с потенциально высоким уровнем ошибок, которые обладают критическими для конструкции системы особенностями. Информация относительно этих задач должна быть получена путем анализа задачи, нагрузки и ошибок.

Если вследствие непредвиденных обстоятельств изменяются функции и задачи систем, следует определить, какие функции и какие задания будут осуществляться в ходе тестирования. В военно-морском ведомстве [17] принято различать тестирование,