Завдання. 1. Визначити ентропію системи, яка описується величиною х з наступним розподілом: р(х1) = р(х2) = 0,01; р(х3) = р(х4) = р(х5) = 0,02; р(х6) = 0,921. Визначити ентропію системи, яка описується величиною х з наступним розподілом: р (х 1) = р (х 2) = 0, 01; р (х 3) = р (х 4) = р (х 5) = 0, 02; 2. Визначити ентропію повідомлень (слів) з п’яти букв, якщо загальна кількість букв в алфавіті становить 32 та усі повідомлення є рівноймовірними. 3. Визначити ентропію повідомлень х та у, ентропію об’єднану, якщо ансамблі повідомлень х (х 1, х 2, х 3) та у (у 1, у 2, у 3) об’єднані. Значення ймовірностей сумісних подій р (х, у) наведено в табл. 1. Таблиця 1
4. Визначити диференціальну ентропію неперервного повідомлення, розподіленого за нормальним законом
5. Знайти диференціальну ентропію величини х в межах від х 0 до х 0 + с, розподіленої за законом рівної ймовірності, тобто
6. Знайти ентропію H (x), якщо сигнал формується у вигляді коду із символів 1 та 0 з імовірностями р (х 1) = 0, 6 та р (х 0) = 0, 4. Поява кожного з символів взаємозв’язана умовними ймовірностями: р (х 0/ х 0) = 0, 1 — ймовірність того, що після 0 іде 0; р (х 1/ х 0) = 0, 9 — ймовірність того, що після 0 іде 1; р (х 1/ х 1) = 0, 1 — ймовірність того, що після 1 іде 1; р (х 0/ х 1) = 0, 9 — ймовірність того, що після 0 іде 0. 7. Знайти ентропію повідомлень х 1, х 2, х 3, х 4, якщо Р (х 1) = 0, 5; Р (х 2) = 0, 5; Р (х 3) = Р (х 4) = 0, 125. Кореляційний зв'язок між повідомленнями наведено в табл. 2. Таблиця 2
8.Знайти умовну ентропію взаємозв’язаних повідомлень х і у та умовну ентропію Н (х, у), якщо
|
.
.
