В чем состояло основное достижение шенноновской теории? С ее помощью была доказана общая возможность выделения сигнала из смеси его с шумом даже в тех случаях, когда мощность шума во много раз превосходит мощность сигнала. Это дало сильный толчок развитию радиолокации, радиоастрономии и других областей науки и техники.
Н. Винер включил шенноновскую теорию информации как составную часть своей кибернетики.
Долой неопределенность!
Средний логарифм вероятностей, или, иначе, величина, называемая энтропией, обладает примечательным свойством. Она принимает максимальное значение, когда все вероятности одинаковы или — применительно к термодинамическим системам, — когда все состояния системы равновероятны. Это послужило поводом для следующей трактовки шенноновской меры количества информации. Рассуждали примерно так.
Система, все состояния которой равновероятны, характеризуется наибольшей степенью неопределенности. Если все состояния равновероятны, нет никаких оснований выделить одно какое-то состояние, предпочесть его другим. Отсюда вывод: чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения. За меру количества информации принимается та же энтропия, но взятая с обратным знаком.
Тут-то и вскрылась самая уязвимая точка шенноновской теории. В чем же дело? Пусть имеются две системы, характеризуемые в данный момент разными значениями энтропии, то есть разной степенью неопределенности. Обе системы получают одно и то же сообщение. Но энтропия их изменяется от полученного сообщения по-разному, в зависимости от их начального состояния. Значит, количество информации в сообщении зависит не от самого сообщения, а от того, кто его получает. Ясно, что в таких условиях не может быть построена никакая самосогласованная физическая теория.
Обычно высказанные соображения иллюстрируют следующим примером. Получено сообщение о том, что температура воздуха равна +20 °C. Вероятность такого значения температуры в наших широтах велика летом и очень мала зимой. В полном соответствии с теорией Шеннона делается вывод, что одно и то же сообщение летом содержит меньше информации, а зимой больше.
Поразительно, что многие воспринимают подобные вещи как нечто само собой разумеющееся. Им даже в голову не приходит, что коли так, то следует создавать не одну, а по меньшей мере две разные теории информации. Одну — зимнюю, другую — летнюю. Подобные рассуждения о температуре эквивалентны тому, как если бы мы считали, что гвоздь является гвоздем только для того, кому он нужен, а для того, кому он не нужен, он вовсе даже и не гвоздь.
