Одна формула и весь мир - [14]
В чем же секрет «вездесущности» созданной Шенноном новой теории? Чтобы понять этот секрет, придется опять обратиться к замечательной функции энтропии.
Глава 2.
ПОРЯДОК И ХАОС ВСТУПАЮТ В СОЮЗ
КАК ВЫГЛЯДИТ ЭНТРОПИЯ? ЭКСПЕРИМЕНТЫ С БУКВАМИ. СТРАННЫЕ ФРАЗЫ. ИНФОРМАЦИЯ И ПОРЯДОК. У ПТЕНЦОВ НЕТ ПЛАВНИКОВ. ТЕКСТ ИЗ ОДНИХ «А»
Итак, целых 100 лет энтропию считали фатумом, роком, причиной будущей неминуемой гибели всей Вселенной. А она, «оклеветанная молвой», совершала свою, тогда еще никому не заметную созидательную работу, обновляющую и омолаживающую весь мир. Невидимой была эта работа, невидимой оставалась и сама энтропия: исследования Больцмана позволили лишь представить ее в виде хаоса огромного множества движущихся микрочастиц.
Зримый образ энтропия приобрела благодаря работам Шеннона. Чтобы ее увидеть, нужно дождаться окончания вечерней телепрограммы и внимательно всмотреться в телевизионный экран. Вы увидите там хаотичную пляску черных и белых точек, похожую на ту пляску молекул, которую более ста лет назад впервые вообразил и описал языком теории вероятностей Джеймс Клерк Максвелл.
Что же общего между телеэкраном и газом? В обоих случаях функция
Клод Шеннон показал, что энтропию можно не только увидеть, но и создать искусственно, пользуясь алфавитом и определенными правилами составления текста, так же как создаются вкусные блюда или хитроумные ручные поделки по рекомендациям поваренной книги или раздела журнала под рубрикой «Сделай сам».
«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»
В том же стиле можно теперь описать способ приготовления энтропии.
Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.
Проделав подобную процедуру раз 30—40, вы получите набор букв и слов>5.
*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.
Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.
Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:
Ра = Рб=... =Ря= 1/32
Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.
Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.
В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не >1/>32, а >5/>32= >1/>6=0,17.
Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от >1/32.
Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.
В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О» (р>о = 0,09), а реже всего буква «Ф» (р>ф = 0,002) >6.
**Сравните с вероятностью появления тех же букв в описанном эксперименте:Ро=Рф=>1/32= 0,03
Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет р>интервала = 0,17.
Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.
