Естествознание. Базовый уровень. 11 класс - [17]

H = – (Р_{удачи•}lоg₂P_удачи+ P_{неудачи•}lоg₂ Р _{неудачи).}

Вычислим энтропию для нашего примера со сдачей экзамена. Вероятность успешной сдачи составляет 0,9, а её двоичный логарифм равен -0,15.

Вероятность провала равна 0,1, а её логарифм по основанию 2 соответствует -0,33. Значит, энтропия равна:

Н = – [0,9 (-0,15) + 0,1 • (-0,33)] ≈ 0,17.

Эта величина выражается в битах и означает степень нашей неосведомлённости по поводу результата экзамена.

Предположим теперь, что мы имеем дело с неизвестным учащимся, про степень подготовки которого мы абсолютно ничего не знаем. Как мы оценим вероятность его успеха или провала? Логично предположить, что надо считать и ту и другую равными 0,5, как говорится, «пятьдесят на пятьдесят». Просто у нас нет никаких оснований считать иначе. Какова будет энтропия в этом случае? Как нам известно, в случае равновероятных исходов энтропия равна двоичному логарифму их количества. Таких исходов у нас два – либо сдаст, либо не сдаст. Значит, в этом случае степень нашего незнания результата экзамена равна 1 биту, что значительно больше, чем в предыдущем случае. Почему так получилось? Потому что про второго экзаменуемого нам не было ничего известно, в то время как в отношении себя мы знали, насколько различаются вероятности успешной или неуспешной сдачи экзамена. Это знание вероятностей и снизило энтропию. На сколько? Очевидно, на величину разницы энтропий для двух различных случаев, т. е. на 1 – 0,17 = 0,83 бита. Формула Шеннона показывает, что чем больше степень нашего незнания, тем большей получается величина энтропии.

В реальной жизни при выборе решения мы почти всегда исходим из того, что обладаем некоторой предварительной информацией по этому вопросу. Эта информация снижает исходную энтропию выбора. Например, нам пришлось задать всего одиннадцать вопросов для того, чтобы узнать, что загадан именно Ньютон. Предварительная информация перед угадыванием заключалась в том, что задуманным должен быть человек, скорее всего известный как загадывающему, так и отгадывающему. Вряд ли игрок имел в виду младшего сына любимого раба римского сенатора Информациуса, жившего во II в. до н. э. Сколько на Земле жило достаточно общеизвестных людей? Надо думать, что не более нескольких тысяч. Если для отгадывания Ньютона нам пришлось задать одиннадцать вопросов, значит, полученная информация составила 11 бит, а количество возможных вариантов выбора было равно 2¹¹ = 2048. Вряд ли количество известных всем знаменитостей намного больше этого числа. Ну, допустим, что играющие – очень эрудированные люди и знают в пять раз больше знаменитых людей, т. е. около десяти тысяч человек. В этом случае для угадывания им будет достаточно задать не более четырнадцати вопросов, так как логарифм 10 000 по основанию 2 равен приблизительно 13,3.

А что будет в том случае, если мы не имеем никакой предварительной информации? Допустим, что мы имеем дело с авантюристом, который всё-таки загадает младшего сына любимого раба. Вы думаете, что для отгадывания надо будет задать невероятно большое число вопросов? Вовсе нет. Количество всех людей, живших на Земле в обозримый исторический период, вряд ли превышает 10 млрд. А двоичный логарифм этого числа равен 29,9. Так что, задав всего 30 вопросов, вы можете угадать любого человека из всех когда-либо живших. Разумеется, для этого требуется умение правильно задавать вопросы.

В этом заключается одна из особенностей информации – её количество растёт значительно медленнее, чем число вариантов выбора. Это связано с тем, что информация представляет собой логарифм числа выборов, а логарифмическая функция обладает такой особенностью, что при увеличении аргумента во столько-то раз её значение изменяется на столько же единиц. То есть, по мере того как широта выбора растёт в геометрической прогрессии, информация растёт в арифметической прогрессии.

Двоичная система

Это свойство информации многих очень удивляет, но именно оно представляет огромную ценность для создания компьютеров, где используют так называемую двоичную систему кодирования информации. С помощью только двух цифр – 0 и 1 – выражают любое число. В десятичной системе, которую мы обычно используем, – десять цифр от 0 до 9. Следующее число пишется как 10, что означает один полный десяток и ноль цифр второго десятка. Затем мы увеличиваем число единиц во втором десятке, пока не дойдём до 19. Число 20 говорит нам, что имеется два полных десятка и ни одного числа третьего десятка. Так продолжается до тех пор, пока счёт не достигнет 99. После этого мы добавляем ещё один разряд – сотни, т. е. квадраты десяток. Число 145 означает, что в нём содержится одна сотня, четыре десятка второй сотни и пять единиц пятого десятка второй сотни. Далее мы продолжаем счёт, вводя, когда потребуется, третьи, четвёртые и дальнейшие степени десяти.

В двоичной системе нет цифр, означающих числа, большие единицы. Поэтому уже для обозначения двойки нам приходится использовать число 10, которое означает: «одна полная двойка и ноль чисел во второй двойке». Далее идёт число 3, которое пишется как 11: «одна полная двойка и одно число второй двойки». Следующим числом будет 4, а это квадрат двойки. Значит, и писать его надо так, как в десятичной системе пишется квадрат десятки, т. е. 100. Теперь посмотрим, как можно изобразить любое число в двоичной системе. Допустим, мы хотим это сделать для тех же ста сорока пяти. Сначала надо узнать, сколько в этом числе содержится целых степеней двойки. Находим, что 2