Оценка эффективности систем

2. Анализ специальных условий. Другим видом сравнения является сравнение специальных условий, при которых проводилось тестирование [например, сравнение операторской деятельности в дневное и ночное время (разд. 3.0 в табл. 3.1)]. Здесь могут применяться стандартные статистические методики, если количество испытаний для каждого испытуемого достаточно велико (это количество определяется в зависимости от обстоятельств для каждого конкретного случая). Если, например, тестируемая система испытывается 30 раз на каждом из трех этапов деятельности и средняя частота ошибки для 12 испытуемых равна 2,8, 3,6 и 1,2 для каждого этапа соответственно, то дисперсионный анализ дает возможность определить, является ли разброс частоты ошибок статистически значимым.

3. Качественный анализ. Третий метод анализа, включающий основную массу данных, является описательным. Любые качественные характеристики, естественно, должны иметь описательный характер, так как их невозможно сравнить между собой в требуемых и отличающихся от них условиях работы системы. Информация, полученная из собеседований и опросников (например, из объяснения, почему была допущена ошибка или предприняты те или иные действия), является именно такой. Субъективные данные, которые могут быть переведены в числовую форму (например, с помощью оценочных шкал), можно статистически сравнить, однако такая возможность встречается нечасто.

Тем не менее большая часть содержательных данных, получаемых при тестировании поведения, относится именно к такому типу.

Много раз отмечалось, что объективную меру времени завершения работы или частоты совершения ошибки трудно осознать вне связи с требованиями системы или воздействием на систему. Чтобы понять эти данные, необходимо собрать субъективную качественную (т. е. описательную) информацию. Качественные характеристики могут включать: 1) пояснения тестируемого, почему он вел себя и действовал определенным образом («Почему вы отклонились от заданного курса при управлении вертолетом?> — «Меня ввело в заблуждение отсутствие опознавательных знаков в этом районе»); 2) анализ причин ошибки или отказа и их последствий; 3) описание несоответствий требованиям эргономики; 4) отношение тестируемых к характеристикам системы, условиям тестирования, режиму работы, собственной подготовке и т. д.

Таким образом, раздел «Анализ данных» в плане тестирования не должен сводиться лишь к количественным оценкам, а должен также содержать описательные характеристики и рекомендации по их использованию при выполнении оценок,

Оценка эффективности сис т ем

3.3.9. Программа тестирования

Разд. 9.0 в табл. 3.1 содержит программу сбора данных. Если испытания системы очень сложные и только некоторые режимы работы системы можно использовать для сбора данных о деятельности персонала, то в план испытаний необходимо ввести еще дневное, еженедельное или месячное расписание работы що сбору данных. Например, в рамках программы навигационного тестирования вертолетчиков, предпринятой автором, в течение года должны были тестироваться пилоты разной квалификации. Поскольку предполагалось, что навигационная деятельность пилота зависит от вида местности, необходимо было разработать личные графики таким образом, чтобы пилоты разной квалификации могли испытываться как в летних (обильная листва), так и зимних (голые деревья, снег) условиях.

Если информацию о деятельности персонала необходимо собирать на всех этапах тестирования, то можно обойтись без личных графиков, так как имеется общий график испытаний.

3.4. Методы оценки деятельности

3.4.1. Введение и обзор

В разд. 3.3 рассматривается, как следует проводить испытания системы. Кратко упоминается также о методах испытаний. В разд. 3.4 излагаются следующие методы: 1) наблюдение, 2) самоотчет, 3) объективная оценка, 4) нормирование, 5) интервьюирование/опрос, 6) автоматизированная оценка деятельности, 7) контрольные листы. Конечно, в рамках статьи невозможно описать каждый метод во всех деталях; заинтересованный читатель может обратиться к книге [37].

3.4.2. Наблюдения

Наблюдение (выполняемое ИЧФ или самим испытуемым) — неотъемлемая часть всех оценочных методов (исключение — автоматизированные измерения). Фактически наблюдение — основа всех поведенческих оценок [37]. Поэтому наблюдение может иметь ряд форм.

1. Наблюдение за выполнением задачи с тем, чтобы отмечать, правильно ли оператор выполняет задачу и если нет, то какие ошибки он допускает. Легче всего это делать в тех случаях, когда задача подразделена на этапы и есть подробное описание выполняемых процедур, поскольку наблюдатель может контролировать по инструкции выполнение каждого этапа оператором. Письменная инструкция служит как бы моделью пра-

НО Глава 3

вильного выполнения задачи. Наблюдаемая деятельность должна быть абсолютно ясна наблюдателю и сравнительно просто анализироваться им; не должно быть действий, выполняемых параллельно или очень быстро.

2. Наблюдение выполняется также при репетиции, которая является формой оценки проекта (гл. 2) с использованием статических макетов и моделей в качестве обстоятельств тестирования. Во время репетиции оператор имитирует основные черты своей деятельности (поскольку макет — это не реальная система). Цель репетиции — проверка адекватности проекта и эксплуатационных процедур, а также выявление проблем, нуждающихся в решении.

Во время репетиции оператор, выступающий в качестве испытуемого, касается органов управления макета либо дисплея или указывает на них так же, как он делал бы это з реальных условиях. Оператор сопровождает выполнение этих действий объяснением того, что он делает, в какой последовательности и почему, а также отмечает, испытывает ли он какие-либо трудности при этом. За его действиями наблюдает ИЧФ, который ведет записи в повествовательной форме или в виде ответов на серии вопросов. Поскольку во время репетиции (или по крайней мере в самом начале ее) деятельность оператора не протекает в реальном масштабе времени, у ИЧФ есть возможность обмениваться с ним вопросами и ответами, чтобы получить дополнительную информацию. Следует также иметь в виду, что репетиция проводится во время разработки системы с целью проверки проекта, и поэтому испытуемым является не пользователь, а опытный инженер.

Автор однажды участвовал в оценке проекта помещения для щита управления атомной станцией. Оценка выполнялась с помощью полномасштабного макета щита управления, изготовленного из картона и бумаги в полном соответствии с проектом. В качестве тестируемого персонала выступали два высококвалифицированных инженера оператора, которые выполняли стандартные операции.

В начале работы было определено исходное состояние станции. Оператор указывал, где это состояние может регистрироваться, т. е. какой из индикаторов, расположенных^- иа щите, управления, выдает информацию. Затем было прочитано вслух содержание первого этапа работы. Оператор продолжал указывать местоположение на щите управления всех необходимых устройств, объясняя, какие органы, управления и индикаторы требовались для выполнения задачи, какие положения и показания ок ожидает, каким по его мнению будет время реакции системы к любую другую требуемую информацию. Инженер-наблюдатель интерпретировал точность или цель этапа и, с?дй

Оценка зффектййиостй систем

возникали сомнения, моделировал регистрацию параметра, Когда ИЧФ собрали всю необходимую информацию, было за^ читано содержание следующего эгапа работы. Первоначальная репетиция часто длится несколько часов, так как выясняются все вопросы. Последующие репетиции на том же оборудовании., но для других рабочих режимов занимают меньше времени.

Для тех процедур,.в которых время — критический фактор, была организована вторая репетиция без остановок на вопро* сы. Оператор выполнял свои функции с максимальным прибли'* жением к реальным условиям. Для каждого этзпа работы бы: заготовлен отдельный информационный бланк. Информация, собираемая на отдельном этапе, включает описание перемещений оператора (перечисление стоек щита управления, к которым он подходил); использовавшихся органов управления и иидикато ров, обозначенных номерами; сигналов для определения начала i: конца действия; способа обратной связи; средств связи; способов дублирования операций; дополнительных источников информации; явных потенциальных ошибок и их возможных последствии.

По окончании репетиции ее участники просмотрели все информации:ше бланки и пометки, сделанные на панелях во время репетиц'п:, и составили список замечаний, недостатков и рекомендаций по определению характера проблем, их неблагоприятного влияния на операции и предлагаемые улучшения или рекомендации.

3. При репетиции порядок рабочих операций устанавливается заранее. Процесс наблюдения за действиями оператора на его рабочем месте называется анализом деятельности. Анализ деятельности используется при выполнении таких видов работ, где нет строго определенной очередности выполнения действий, так как полядок и частота их выполнения зависят от случайных обстоятельств. Например, что делает обслуживающий персонал во время аварийного сигнала (что он наблюдает, какой контроль осуществляет, какую информацию обрабатывает), в значительной степени зависит от характера отказа оборудования и степени очевидности причин отказа.

Дискретизация деятельности — это определенным образом упорядоченное наблюдение за системой с помощью некоторых выбранных процедур для того, чтобы точно описать все действия оператора [7]. ИЧФ может использовать дискретизацию деятельности в том случае, если он собирается анализировать работу, разрабатывать учебные программы или выяснять возможности улучшения условий выполнения данной работы.

Объектом наблюдения может быть как сам оператор, так и все, что он делает п конкретный период времени, или все, что происходит на конкретном этапе работы илн деятельности.