Посвящение в радиоэлектронику - [12]
где Р(а) — вероятность появления данного (дискретного) сообщения а.
Обратите внимание, что для абсолютно достоверного события P(а) = 1 (событие обязательно произойдет, поэтому его вероятность равна единице), при этом количество информации в сообщении о таком событии i(а) = 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.
Но зачем в приведенной формуле использована логарифмическая функция? Нельзя ли проще? Нет, проще не получается. Информация, содержащаяся в двух независимых сообщениях a>1, и а>2, должна быть равна сумме информации, содержащихся в каждом из сообщений: i(a>1,a>2) = i(a>1) + i(a>2). Логичное требование, не правда ли? Но вероятность того, что источник пошлет оба эти сообщения, одно за другим, равна произведению вероятностей появления каждого из сообщений: P(a>1,a>2) = Р(а>1)·Р(а>2). Как известно, при умножении двух величин их логарифмы складываются. Поэтому и количество информации должно выражаться логарифмической функцией.
Ввиду широкого использования двоичных сигналов в вычислительной технике и связи, чаще всего используют логарифм по основанию два. При этом количество информации оказывается выраженным в битах. Если в примере с влюбленными вероятность ответов «Да» и «Нет» одинакова и, следовательно, составляет 0,5, то количество информации в одном ответе составляет 1 бит.
Ну а что если выбор надо осуществить не из двух сочетаний, а из множества? У древних индейцев Центральной Америки существовало узелковое письмо. Писали, завязывая узелки на веревке. Совершенно очевидно, что при таком способе письма можно использовать двоичный код: есть узелок в данном месте единица, нет узелка — нуль. Если на каждом сантиметре длины веревки разместить по узелку, то метровая веревка будет нести 100 бит информации. Согласитесь, это не так уж мало.
В одном романе Жюля Верна собака, увидев игрушечные кубики с буквами, выбрала из них вполне определенные, с буквами, которые составили имя ее пропавшего хозяина, чем и приоткрыла завесу над тайной его исчезновения. Здесь мы видим выбор определенных знаков из 26, составляющих английский алфавит.
Еще один пример, но теперь из реальной жизни — 1943 год, англо-американские войска готовятся к высадке на итальянский остров Сицилию, занятый фашистскими войсками. В это время в одной из тюрем США сидел очень влиятельный гангстер Лучано, выходец из Сицилии. Американская разведка, пользуясь всяческими средствами, вступила с ним в сговор, пообещав досрочное освобождение. В результате с самолета над Сицилией был сброшен вымпел — шелковый платок с вышитой на нем буквой L. Сицилийские мафиози, в то время не ладившие с немецко-фашистскими оккупантами, прекрасно поняли смысл сообщения: Лучано за союзников! Эффект был поразителен — американская армия практически не понесла потерь при освобождении Сицилии, так как мафиози основательно помогли ей, начав партизанскую войну против немцев.
Сейчас нас интересует не значимость для истории сообщения на вышитом платке, а лишь количество переданной информации. В английском алфавите 26 букв, добавим еще служебные знаки препинания — всего 32 знака. Значит, осуществлялся выбор одного из 32 знаков. Пример характерен тем, что при передаче любых телеграмм, на любом языке в приемном устройстве происходит выбор одной буквы из алфавита, который чаще всего содержит 32 знака. Если вероятность появления каждого из знаков одинакова и, следовательно, составляет 1/32, то при передаче одного знака сообщается log>232 = 5 бит информации. Ту же цифру мы можем получить и иным способом. Перенумеруем все буквы алфавита по порядку.
Буква L стоит на двенадцатом месте, и ее порядковый номер будет 12. Теперь для выбора этой буквы достаточно передать ее порядковый номер. Число 12, выраженное в двоичном коде, выглядит как 01100. Для передачи любого из 32 чисел двоичным кодом нужно пять разрядов, а любого из N чисел log>2N. Вы еще не умеете переводить числа из десятичного исчисления в двоичное и обратно?
Научитесь, это не так уж сложно! Вам поможет приведенная таблица и простое правило: последний разряд двоичного числа дает единицы (2>0), предпоследний — двойки (2>1), третий разряд справа — четверки (2>2), четвертый восьмерки (2>3), и т. д. Обозначив символы двоичного кода (1 и 0) в последнем разряде х>1, в предпоследнем х>2и т. д., получим простую формулу для структуры двоичного числа:
N = х>1·2>0 + х>2·2>1 + х>3·2>3 +…
Для передачи любого числа от 0 до 31 необходимо пять двоичных разрядов, или 5 бит информации. Таким образом, сообщение гангстера Лучано мафиози содержало 5 бит информации.
В народном хозяйстве необходимо передавать значительно больше информации. Не вызовет удивления, например, такая телеграмма, переданная работником снабжения: «В феврале на Чукотку поступило 10 000 грампластинок». Информация здесь такова: во-первых, февраль. Надо думать, поставки товаров подобного рода производятся ежемесячно, поэтому февраль надо обозначить цифрой 2. Отсюда определяем число двоичных разрядов, необходимых для передачи номера месяца: 4 (2>4 = 16, имеется некоторая избыточность информации). Далее необходимо ввести код Чукотки. Пусть соответствующая организация поставляет товары в 120 краев и областей, причем Чукотке ввиду ее удаленности присвоен последний номер. Тогда для передачи кода Чукотки (120) потребуется 7 двоичных разрядов (2
