Оценка эффективности систем. рий информации, которые подлежат отчету, есть вероятность отклонений и искажений (поскольку выбираются определенные виды информации

рий информации, которые подлежат отчету, есть вероятность отклонений и искажений (поскольку выбираются определенные виды информации, в то время как другие скрываются).

Если самоотчет составляется во время выполнения задания, то ИЧФ обычно не имеет возможности взаимодействовать с оператором, не влияя на выполнение задачи; ИЧФ не может ни проверять, ни подгонять испытуемого. В этом отлнчие бамоот-чета от обычных способов интервьюирования, где возможно взаимодействие с испытуемым.

Может быть получена следующая информация: 1) что оператор предполагает делать в определенной ситуации; 2) что он видит; каков его процесс мышления; 3) каковы его впечатления от отдельных аспектов задачи, работы, системы. Самоотчет особенно полезен для исследования созданной оператором мысленной модели процесса при анализе исследуемой ситуации, которая характеризуется высокой степенью неопределенности (например, аварийные ситуации или управление системой, вышедшей из равновесия).

Метод самоотчета не следует применять, если есть возможность получить требуемую информацию с помощью ннтервьиро-вания или наблюдения.

3.4.4. Объективные измерения

Объективные измерения — источник наиболее достоверной информации. В процессе испытаний они сводятся главным образом к измерениям времени и количества ошибок (при этом не учитываются психологические критерии, которые, за исключением рабочей нагрузки, не имеют отношения к выполнению задачи). Ценность объективных измерений невелика, если они не связаны с требованиями к деятельности персонала. Следовательно, данные о времени и ошибках не могут быть интерпретированы без таких требований, а они, как правило, не определены. За неимением конкретных требований ИЧФ вынужден выяснить у эксперта, является ли определенное время выполнения задачи, время реагирования, специфическая ошибка или набор ошибок показателем хорошей, плохой или удовлетворительной деятельности и каково их влияние на результат работы системы или выполнение задания. Если меры времени и ошибок не являются критическими характеристиками деятельности персонала н эффективности системы, то онн имеют второстепенное значение. Вышесказанное, однако, не означает, что следует пренебрегать такого рода данными, если их можно получить без особых усилий. В случае макетирования и РИ при отсутствии пригодной методологии (а она обычно отсутствует) можно провести измерения для немногих _мер времени и ошибок. Если имеется

144 Глава 3

набор методов испытаний системы-имитатора, можно провести достаточно много точных измерений времени и ошибок; в этих условиях следует учитывать практическую значимость каждой полученной оценки, с тем чтобы не перегружать ИЧФ излишними данными испытаний. В реальных условиях (например, при оценке системы, функционирующей на борту боевого корабля) едва ли имеется соответствующий набор методов, за исключением тех случаев, когда используется специальная автоматизированная измерительная система. Все собранные факты должны быть интерпретированы, а это часто не представляется возможным из-за наличия только описательной информации.

3.4.5. Оценки

Хотя цель научного подхода—объективная информация, опытному испытателю известно значение оценок, выражающих описательную информацию в количественной форме. Процедура оценок позволяет установить количественную градацию субъективных ответов, которую невозможно осуществить посредством интервьюирования или опроса. Оценку может проводить либо наблюдатель, действующий как сборщик данных илн оцени-ватель, либо участник испытаний. Практически все данные могут быть представлены в виде оценок, поскольку ИЧФ обычно разрабатывают собственные шкалы. Очевидно, эти шкалы должны создаваться на основе психометрических методов, а также быть стандартизованными и обоснованными; однако такая работа потребует от ИЧФ гораздо больше времени и усилий, чем он располагает согласно индивидуальным планам тестирования и оценок. Если не принимать во внимание тот факт, что почти все шкалы оценок, использованные для тестирования, приспособлены для конкретных случаев и никогда не проверялись на достоверность, то с их помощью ответить на следующие вопросы: 1) являются ли количественные оценки наблюдателя или контролера (например, деятельности тестируемого) высокоточными, приближенными или недостоверными; 2) как тестируемый оценивает свою деятельность; 3) какова оценка тестируемым адекватности отдельных аспектов работы (например, оборудования, порядка действий, технических характеристик, предварительной профессиональной подготовки); 4) насколько эффективна работа бригады (оценки делаются всеми членами бригады). Процедуры оценивания могут применяться во всех видах тестов и для изучения любого вопроса, по поводу которого можно составить определенное суждение. Какой из способов сбора информации — количественная оценка реакций или опрос —более важен, зависит от конкретной си-

Оценка эффективности систем

туации тестирования. Количественная оценка не имеет особой ценности, пока она не соотнесена с некоторой целью тестирования.

3.4.6. Опрос

Ни одно тестирование не обходится без опроса его участников (тестируемых субъектов, сборщиков данных и оценщиков). Очень важно знать, как рассматривают ситуацию тестируемые субъекты, так как их реакции на ситуацию могут отличаться (иногда значительно) от намерений ИЧФ, что может оказать нежелательное влияние на собираемую информацию. Пусть, например, ИЧФ хотел создать ситуацию легкого стресса, а тестируемые доложили, что они испытали чрезмерный стресс. ИЧФ предполагает, что испытуемым предоставлена вся необходимая информация, а они отмечают, что не располагали какой-то нужной информацией. Или может случиться, что тестируемые субъекты не поняли инструкцию и их ответы заведомо искажены или случайны. Такого рода информация необходима для правильной интерпретации результатов тестирования.

ИЧФ проводит опрос для выяснения следующих вопросов: 1) рассматривали ли испытуемые условия теста так, как предполагает ИЧФ; 2) какие аспекты теста вызвали у испытуемых удивление, показались неуместными или нереальными либо вызвали у них состояние чрезмерного стресса (пусть даже кратковременного); какие последствия это имело; 3) соответствовала ли их подготовка поставленным перед ними задачам; 4) были ли технические данные, которые они использовали в качестве справочного материала, полными и понятными; 5) совершали ли они ошибки и почему они это делали; 6) что в конструкции и эксплуатации системы, по их мнению, плохо приспособлено для человека или создавало для них особенные трудности.

• Методикам опроса посвящено много работ, однако следует отметить, что любую методику необходимо разрабатывать для каждого конкретного случая тестирования, поскольку темы обсуждения н интересующие ИЧФ вопросы могут различаться в зависимости от конкретного сценария тестируемой деятельности. При планировании опроса желательно придерживаться следующих правил: 1) определить темы, которые хотел бы рассмотреть ИЧФ; 2) провести опрос нескольких тестируемых и затем при необходимости пересмотреть его план; 3) проводить опрос в тихом месте, но не очень удаленном от действующей системы, чтобы, если потребуется, быстро добраться до нее; 4) объяснить цели опроса, сообщить, что вся информация является конфиденциальной и что тестируемые не будут оцениваться в зависимости от их деятельности; 5) начинать опрос с