Измерение информации

Количество информации – есть разность неопределенностей (энтропий) системы до и после получения информации. Если начальная энтропия системы равна H(A), а после получения информации она составляет H_*(A), то внесенная информация J = H(A) – H_*(A)

Зачастую информация относительно системы А получается с помощью наблюдения за другой, связанной с ней системой В. Обычно эта вторая система (система сигналов) дает информацию о состоянии основной системы. Среднюю величину этой информации, или информативность системы В относительно системы А, можно определить из равенства

J _A(B) = H(A) – H (A/B) (9)

В правой части соотношения (9) содержится разность первоначальной энтропии системы А и ее энтропии после того, как стало известным состояние системы сигналов В. Так как системы сигналов А и В являются связанными, то, в свою очередь, знание состояния системы А изменит априорную вероятность состояний системы В.

Средняя информация, содержащаяся в системе А относительно системы В

J _B(A) = H(B) – H (B/A) (10)

Установлено, что для сложной системы, объединяющей две статистически зависимые системы, верно равенство:

H (AB) = H (A) + H (B/A) = H (B) + H (A / B)

В силу этого соотношения, для информации будет верно выражение:

J _A(B) = J _B(A) (11)

Равенство (11) выражает важное свойство взаимности информации.

В окончательном виде выражение для информации, которую несет система сигналов В относительно состояния системы А будет иметь вид:

, (12)

В случае необходимости выражение (12) может быть использовано в одном из видов:

, (13)

, (14)

Если системы А и В независимы, то P(A_iB_j) = P(A_i)P(B_j) и тогда из выражения (12) вытекает:

J _A(B) = J _B(A) = 0

С физической точки зрения результат очевиден – наблюдение над одной из систем не может дать информации относительно другой, если между состояниями этих систем нет связи.

Величина J _A(B) представляет собой ожидаемое значение информации, содержащейся в системе В относительно всех состояний системы А. Если J _A(B) – средняя информация, содержащаяся в системе В относительно состояния А_i, то естественно считать, что:

, (15)

Объединив выражения (13) и (15), можно записать:

, (16)

Это выражение в эквивалентной форме будет иметь вид:

, (17)

Более удобным для вычислений является выражение вида:

,

В силу условия: ,

Величина J _Ai(B) ≥ 0

Соотношения (16) и (17) представляют ожидаемое (среднее) значение информации, которую может дать система В относительно состояния А_i. Из связи этих систем следует, что каждое из состояний системы В может содержать информацию относительно какого-либо состояния системы А (и наоборот, учитывая взаимность информационной связи).

Можно назвать информацией, которую дает состояние В_j относительно состояния А_i, , следующую величину:

(18)

Следовательно J _Ai(B) представляет собой усреднение ожидаемой информации, содержащейся в системе В относительно состояния системы А, что следует из выражений (17) и (18).

, (19)

Величина J _Ai(B_j) есть элементарная информация состояния В_j о состоянии A_i. Величины J _Ai(B) и J _A(B) представляют собой усредненную элементарную информацию. Физический смысл элементарной информации можно показать следующим образом. Пусть система В представляет собой систему сигналов (признаков), связанных с состояниями системы А. Тогда, если сигнал В_j встречается одинаково часто при наличии состояния А_i и при любых других состояниях системы А, т.е. P(B_j/A_i) = P(B_j), то следовательно такой сигнал не несет информации о состоянии А_i. Из выражения (18) следует J _Ai(B_j) = 0. Если априорная вероятность состояния А_i равна Р(А_i), а после получения сигнала В_j она изменилась и стала Р(А_i/В_j), то знание состояния В_j дает некоторую информацию относительно А_i:

. (20)

Вероятность состояния А_i после получения сигнала может стать больше или меньше первоначальной (априорной) вероятности в зависимости от характера связей этих состояний.

Таким образом, J _Ai(B_j) может быть как положительной, так и отрицательной величиной, тогда как J _Ai(B) и J _A(B) всегда положительны или равны нулю. Элементарная информация J _Ai(B_j) становиться отрицательной, если вероятность состояния А_i после получения сигнала В_j уменьшается.

Выше рассматривалась информация, содержащаяся в системе В или ее отдельных состояниях относительно системы А. Так как системы А и В статистически зависимые, то знание состояний системы А дает информацию относительно системы В. Соответственно можно записать:

,

где J _B(A_i) – информация, которой обладает состояние А_i относительно системы В.

По аналогии следует: J _B(A_i) = J _Ai(B)

Легко проследить и другие подобные зависимости, вытекающие из свойства зависимости информации.