Информационная емкость непрерывных каналов

 

Пусть имеется канал, непрерывный по состоянию и дискретный по времени. Данный канал считается заданным, если определены n -мерные переходные плотности вероятности для любых входных и наблюдаемых на выходе последовательностей, где надстрочный индекс, как и прежде, служит для обозначения дискретного времени. Рассмотрим непрерывный канал без памяти, для которого , где – одномерная переходная плотность вероятности для i –го дискретного момента времени, а и , где – непрерывные ансамбли входных и выходных символов.

Отличие рассматриваемой модели канала от ДКБП состоит лишь в непрерывности по состоянию, которое уже учтено определением средней взаимной информации для непрерывных ансамблей. Информационная же емкость, как и ранее, есть результат максимизации средней взаимной информации между входом и выходом по всем распределениям на входном алфавите:

, (4.15)

где согласно (4.11) .

Пусть в канале действует аддитивный, независимый от входного сообщения шум, так что наблюдаемый на выходе отсчет у равен сумме входного и шумового z отсчетов: . Пусть описываются соответственно плотностями вероятности .

Поскольку , вероятность того или иного выходного значения y при фиксированном входном отсчете x равна вероятности принятия шумовым отсчетом значения . На языке плотностей вероятности с учетом независимости и это выражается равенством , а значит, согласно (4.10)

.

Из этого соотношения совместно с (4.15) следует, что максимизация по плотности распределения входного сигнала сводится к максимизации , т.е.

. (4.16)

Пусть – мощность шума , а средняя мощность входного сигнала ограничена неравенством , тогда средний квадрат отсчета на выходе подчиняется границе , следующей из независимости x и z.

Предположим теперь, что шум в канале не только аддитивный, но и гауссовский. Тогда учитывая тот факт, что дифференциальная энтропия выходного отсчета y с ограниченным средним квадратом достигает максимума при гауссовском распределении y, следует, что при гауссовском шуме данное требование выполнится тогда и только тогда, когда входной отсчет x также подчиняется нормальному закону. Поскольку в силу (4.14) энтропия гауссовской величины возрастает с увеличением среднего квадрата, максимизированная выходная энтропия

.

Подставляя последнее соотношение совместно с вытекающим из (4.14) равенством

в (4.16), придем к информационной емкости непрерывного по состоянию гауссовского канала с дискретным временем

,

где , – соответственно средние мощности сигнала и шума.

Видно, что при , что объясняется непрерывностью канала, означающей возможность вложения в один непрерывный отсчет сколь угодно большого объема информации.

Рассмотренная модель канала предполагала наблюдение входных и выходных колебаний только в дискретные моменты времени. В приложении к непрерывному по времени каналу это означает, что исходные входной и выходной сигналы подвергаются временной дискретизации. Согласно теореме Котельникова, любая непрерывная функция времени со спектром, ограниченным верхней частотой , может быть безошибочно представлена значениями своих отсчетов, взятых через интервал времени, не превышающий . Поэтому любой непрерывный во времени канал с полосой может быть без погрешностей заменен эквивалентным дискретным по времени, в котором отсчеты следуют с интервалом, не превышающим .

Поскольку при таком соответствии количество информации на один входной символ дискретного канала приходится на время , информационная емкость в пересчете на единицу времени, т.е. пропускная способность , для эквивалентного непрерывного по времени гауссовского канала будет

или

. (4.17)

Последнее соотношение, известное как формула Шеннона, свидетельствует, что существуют лишь два ресурса увеличения пропускной способности канала (а значит, и предельной скорости достоверной передачи информации): мощность сигнала и занимаемая им полоса частот . Реальная практика проектирования СПИ всегда включает в себя поиск приемлемого баланса между ними, или, другими словами, обмена одного из них на другой. Так, повсеместно применяемое помехоустойчивое канальное кодирование, служащее инструментом сбережения передаваемой мощности, базируется на избыточности, т.е. расширении спектра передаваемого кодированного потока по сравнению с некодированной передачей.

Если спектральная плотность шума постоянна в полосе канала и равна , то . При снятии ограничения по полосе, т. е. при , (4.17) стремится к верхней границе

, (4.18)

представляющей собой пропускную способность гауссовского канала с неограниченной полосой. Очевидно, что данная формула может быть использована для любого реального (ограниченного по полосе) канала, для которого выполняется условие . Показательно, что формула (4.18) демонстрирует потенциальную возможность передачи данных с ненулевой скоростью при исчезающее малом отношении сигнал-шум по мощности в канале.

Вспомнив, что является максимальной теоретически возможной скоростью безошибочной передачи, определим количество бит/сек, которое может быть передано в 1 Гц полосы, как . Тогда с использованием введенного обозначения из формулы Шеннона (4.17) может быть получена граница Шеннона

,

демонстрирующая зависимость максимальной скорости в полосе 1 Гц от отношения сигнал-шум на бит, где – энергия сигнала на один бит (но не кодовый символ!) передаваемой информации. График на рис. 4.3 показывает, что ненулевая скорость на 1 Гц достижима при . Если при проектировании системы высшим приоритетом является энергосбережение (величина не может быть значительной), то единственным путем повышения надежности передачи служит применение широкополосных сигналов (). В противном случае, когда основной целью является достижение высокой спектральной эффективности (), проектировщик системы может рассчитывать только на увеличение излучаемой мощности . Обе указанных варианта типичны для современных телекоммуникационных систем.