Вернемся ненадолго к классическому примеру из кинетической теории газов: представим сосуд, наполненный молекулами газа, которые движутся с одинаковой скоростью. Если движение регулируется чисто статистическими законами, энтропия системы очень высока, и — даже если мы можем предсказать общее поведение системы — нам нелегко предугадать, каким будет следующее положение той или иной молекулы; иными словами, молекула может двигаться самыми разными способами, она, так сказать, открыта всем возможностям, мы знаем, что она может занять самые разные положения, но не знаем, какие именно. Для того, чтобы лучше определить поведение отдельных молекул, нам потребовалось бы дифференцировать их скорость, одним словом, придать системе порядок и уменьшить в ней энтропию: поступив таким образом, мы увеличим возможность того, что молекула будет вести себя так, а не иначе, но ограничим число ее изначальных разнообразных возможностей (подчинив их определенному коду).
Итак, если я хочу что — либо знать о поведении отдельной частицы, информация, которой я ищу, противостоит энтропии, но если я хочу знать все возможные варианты поведения любой частицы, тогда информация, которую я ищу, будет прямо пропорциональна энтропии; привнося в систему порядок и уменьшая в ней энтропию, я узнаю много в каком — то одном смысле, но много меньше в другом.
То же самое происходит и с передачей информации.
Постараемся это пояснить ссылкой на формулу, с помощью которой обычно выражается величина какой — либо информации:
I = N log h
где «h» представляет собой число элементов, из которых делается выбор, а N — количество вариантов выбора, которые можно сделать (в случае с двумя игральными костями h = 6, а N = 2; если же мы имеем шахматную доску, то h = 64, а N = все ходы, которые допускаются правилами шахматной игры).
Если же речь идет о системе с высокой энтропией (где могут осуществиться все комбинации), значения величин N и h оказываются очень большими и, следовательно, самой высокой оказывается и величина той информации о поведении одного или нескольких элементов системы, которую можно было бы передать. Однако очень трудно сообщить столько бинарных вариантов выбора, сколько необходимо для того, чтобы обособить выбранный элемент и определить его сочетания с другими элементами.
Каким образом можно легко сообщить ту или иную информацию? Это можно сделать, сокращая число задействованных элементов и вариантов выбора, вводя какой — либо код, систему правил, которая предусматривает наличие строго определенного числа элементов, исключает некоторые комбинации и допускает лишь оговоренные. В этом случае можно будет сообщить информацию через умеренное число бинарных вариантов выбора. Однако значения величин N и h в таком случае уменьшаются и, следовательно, уменьшается величина полученной информации.
