Приклади розв’язання завдань. Приклад 1. На вхід каналу передачі надходять сигнали х1, х2, х3Приклад 1. На вхід каналу передачі надходять сигнали х1, х2, х3. У момент часу t 1 значення сигналів дорівнюють відповідно 20, 19 і 21 В. Імовірності появи цих сигналів становлять р (х 1) = р (20 В) = 0, 9; р (х 2) = = р (19 В) = 0, 07; р (х 3) = р (21 В) = 0, 03. У момент часу t 2 значення сигналів становлять х 1 = 30 º С; х 2 = 27 º С; х 3 = 33 º С. Імовірності появи цих сигналів відповідно становлять р (х 1) = р (30 º С) = 0, 07; р (х 2) = р (27 º С) = 0, 9; р (х 3) = = р (33 º С) = 0, 03 [1]. Визначити ентропію дискретного повідомлення на вході каналу передачі в моменти часу t 1 і t 2. Розв’язання. Для наочності зведемо умови задачі в табл. 3.
Таблиця 3
Знаходимо H (X, t 1) і H (X, t 2) в одному повідомленні:
звідки випливає, що Н (Х, t 1) = Н (Х, t 2), хоча значення сигналів є різними. Рівність ентропій обумовлена однаковими законами розподілу ймовірностей повідомлень у момент часу t 1 і t 2. Приклад 2. Визначити ентропію повідомлень Н (х 1, х 2, х 3), якщо ймовірності значень х 1, х 2, х 3 дорівнюють відповідно 0, 01, 0, 7 і 0, 29, та порівняти Н(х1, х2.х3) і Н(х1, х3). Розв’язання. Використовуючи формулу попереднього прикладу, отримаємо H (x 1, x 2, x 3) = – 0, 01log0, 01 – 0, 7log0, 7 – 0, 29log0, 29 = 0, 944 біт. H (x 2, x 3) = – 0, 7log0, 7 – 0, 29log0, 29 = 0, 878 біт. Порівнюючи H (x 1, x 2, x 3) і H (x 2, x 3), знаходимо, що ентропія H (x 2, x 3) становить 93 % ентропії H (x 1, x 2, x 3). Звідси випливає, що якщо виконувати розрахунки з точністю більше 7 %, то внеском окремої ентропії 0, 01log0, 01 можна знехтувати.
|
