Информация как основа жизни - [10]
Так складывалась теория, объект которой не был определен. В науке впервые возникла ситуация, подобная той, которая характерна для древнееврейской религии: Бог имеет множество имен, но ни одно из них нельзя произносить вслух. В области религии это вполне допустимо. В науке же все идеи и направления постоянно дискутируются. Мы дадим главные идеи из разных областей, где может быть использован этот термин.
Возникновение классической теории информации было индуцировано развитием технических систем связи, призванных служить обмену информацией между людьми. Подчеркнем – технических систем, работа которых определяется законами физики, т. е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон [3].
В 1924 г. X. Найквист предложил измерять количество информации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину (6)
где H>i – количество информации, связанное с i-ой буквой алфавита, p>i – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорциональности, величина которого зависит от q и от избранных единиц измерения количества информации; знак "минус" перед k поставлен для того, чтобы величина H>i всегда была положительной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет (7):
где m>i – число i-х букв в сообщении
К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь "типичный состав": (т>i/М ® р>i). Следовательно, (8)
В случае бинарного кода, когда n = 2, а р>1 = р>2 = 0.5, q=2 и k=1, количество информации Н>м становится равным М и выражается в так называемых бинарных единицах – битах.
Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном "математической теорией связи", и явилась основой классической теории информации.
Теперь обратим внимание на три характерные черты этой работы К. Шеннона. Во-первых, в ней отсутствует определение понятия "информация". Во-вторых, термин "количество информации" здесь используется как синоним статистических характеристик букв, составляющих сообщение. В-третьих, по отношению к источнику сообщений здесь применяется слово "энтропия". Черты эти, несущественные в контексте математической теории связи, оказали значительное влияние на судьбу теории информации.
Отсутствие определения понятия "информация" в работах К. Шеннона и его предшественников, по-видимому, довольно естественно – они в нем просто не нуждались. Ведь работы эти были посвящены не теории информации, а теории связи. То, что по каналам связи передают осмысленные сообщения, т. е. информацию, было очевидно, – ведь для этого их и создавали. Замечательной особенностью каналов связи является то, что по ним можно передавать любую информацию, пользуясь ограниченным числом сигналов или букв. При этом передают по каналам связи именно буквы, сигналы, а не информацию как таковую. Объекты передачи, следовательно, имеют материальную, физическую природу – обычно это модуляции напряженности электрического тока. Ответа требовал не вопрос "Что такое информация?", а вопрос "Какое количество информации можно передать в единицу времени, пользуясь данным набором сигналов?". Предложенное К. Шенноном определение "количества информации" (6) хорошо согласовывалось с дискретной[1] природой сигналов, обычно передаваемых по каналам связи. И в то же время, такая мера "количества информации" создавала ощущение, не встречающее сопротивления на психологическом уровне, что чем реже происходит данное событие – появление данного сигнала на выходе канала связи, тем больше это событие "несет с собой" информации.
Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, передаваемые по каналам связи, сами по себе не несут той информации, для обмена которой существуют системы связи. Информацию содержат лишь сочетания сигналов или букв, причем отнюдь не любые, а лишь осмысленные, наполненные определенным содержанием. Введение единой меры количества информации, содержащейся в сообщениях, меры, не зависящей от их семантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.
