можно измерить математически и выразить в числах, не обращаясь к познаниям, которыми может располагать ее возможный получатель; в этом, собственно, и заключается задача теории информации. Ее расчеты подходят к сообщениям любого вида, к числовым и лингвистическим символам, к последовательности тех или иных звуков и т. д.
Чтобы подсчитать количество информации, необходимо исходить из того, что максимальная вероятность совершения какого — то события равна 1, а минимальная 0. Следовательно, математическая вероятность совершения события колеблется между единицей и нулем. Когда мы подбрасываем монету, у нас одинаковая вероятность того, что выпадет «орел» или «решка», и, следовательно, вероятность «орла» равна 1/2. Если же мы берем игральную кость, то вероятность выпадения тройки равна 1/6. Вероятность того, что два независимых друг от друга события совершатся одновременно, зависит от вероятности совершения каждого из них, и, таким образом, вероятность того, например, что одна игральная кость выбросит единицу, а вторая шестерку, равна 1/36.
Отношение между рядом событий, которые могут осуществиться, и рядом вероятностей, связанных с этими событиями, выглядит как связь между арифметической и геометрической прогрессиями, та связь, которая выражается логарифмом, поскольку второй ряд будет заключаться в логарифме первого. Более понятным образом количество информации можно выразить так:
вероятность, которую получатель имеет после
принятия сообщения l og —
вероятность, которую получатель имел
до получения сообщения
В случае с монетой (если мне говорят о том, что выпадет «орел») равенство будет таким:
1
log — = log 2
1/2
Следовательно, данное равенство (поскольку при полученном сообщении вероятность всегда будет равна единице, если допустить, что отсутствует фоновый шум, о котором мы еще поговорим) можно представить так:
Информ. = — log (вероятность, имеющаяся для получателя до получения сообщения).
В случае с монетой:
— log (1/2) = log 2.
Осуществляя бинарный выбор, теория информации использует двоичные основные логарифмы и называет единицу информации термином bit (или binit), представляющим собой сокращение двух слов binary digit (двоичный знак). Использование двоичного логарифма имеет следующее преимущество: поскольку log>22 = 1, один bit информации говорит нам о том, какая из двух возможностей события осуществляется.
В качестве еще одного примера возьмем доску из 64 клеток, в одной из которых должна располагаться пешка. Если информатор сообщает мне, что она находится в клетке 48, тогда получаемую мною информацию можно измерить следующим образом: поскольку изначально мои возможности угадать эту клетку составляли 1/64, формула выглядит так: — log
