* * *
Энтропия чисел
Поскольку число также может быть выражено как цепочка символов, в нем тоже имеется некоторое количество информации и, следовательно, некоторая энтропия Шеннона. Самый простой способ вычислить энтропию числа — это рассмотреть его выражение в двоичной системе. При этом вместо привычных арабских цифр используются единицы и нули. Когда мы записываем число арабскими цифрами, то на самом деле используем степени числа 10:
2345 = 2·1000 + 3·100 + 4·10 + 5·1 = 2·10>3 + 3·10>2 + 4·10>1 + 5·10>0.
Но мы можем использовать и степени числа два. Возьмем, например, число 10:
10 = 1·8 + 0·4 + 1·2 + 0·1 = 1·2>3 + 0·2>2 + 1·2>1 + 0·2>0.
Его запись в двоичной системе выглядит так:
1010.
Значит, для передачи числа 10 требуется четыре бита информации. В десятичной форме мы могли бы выразить 10 как:
10,000000000…
И для его передачи нам потребовалось бы бесконечное число символов. Двоичное выражение десяти также можно было бы представить в виде:
1010,000000000000000…
И снова нам потребовалось бы бесконечное количество битов для передачи его в таком виде. Однако, поскольку ноль после запятой повторяется бесконечно, он не несет никакой информации, и его энтропия Шеннона равна нулю. Итак, энтропия Шеннона числа 10 — четыре бита.
Теперь обратим внимание на хорошо всем нам известное число — π. Это иррациональное число, то есть его десятичное выражение представляет собой бесконечный ряд цифр, следующих друг за другом без какой-либо регулярности. Невозможно сказать, какой будет следующая цифра числа π на основе предыдущих, даже если их тысячи миллионов. Какова же энтропия Шеннона этого числа?
Десятичное представление К выглядит следующим образом:
3,14159265358979323846264338327950288419716939937510582097494459230781…
Как видите, перед нами бесконечное число случайных и равновероятных знаков: следующей цифрой с одинаковой вероятностью могут быть как ноль, так и, например, три. В двоичном выражении число π выглядит как:
11,0010010000111111011010101000100010000101101000110000100011010011…
И снова мы сталкиваемся с бесконечным рядом непредсказуемых нулей и единиц. В соответствии с определением энтропии Шеннона, число π содержит бесконечное количество информации, поскольку каждый его знак соответствует одному биту, и таких знаков бесконечное количество.
Многие математики предполагают, что, поскольку число знаков К бесконечно и они следуют в случайном порядке, должна существовать такая последовательность внутри числа
