Больцман. Термодинамика и энтропия | страница 53

Представим себе сообщение, состоящее из единиц и нулей. Если бы частота единиц и нулей не была произвольной, а в ней имелись бы некоторые тенденции к большему количеству нулей или единиц, наблюдатель, читающий цепочку по порядку, мог бы предсказать, до какой-то степени, следующее значение. Цепочка 1111111111111... довольно предсказуема: крайне вероятно, что следующим символом будет 1. В этом случае чтение этих данных предоставляет нам очень мало информации, поскольку уже известно все необходимое, до того как мы увидим сообщение: их энтропия Шеннона минимальна. И наоборот, энтропия Шеннона максимальна, когда цепочка — произвольный ряд нулей и единиц. В этом случае единственный способ узнать, каков следующий символ, — увидеть его. На практике большинство сообщений (например, на английском или на испанском языке) имеет относительно низкую энтропию Шеннона из-за статистического преобладания некоторых букв. Из-за этого они содержат мало информации, и их легко сжать. На этой идее основываются программы-архиваторы. Связь между энтропией Шеннона и энтропией Больцмана была не очень ясной до середины 1950-х годов. Было высказано предположение, что энтропия Больцмана может быть истолкована как частный случай энтропии Шеннона: когда она максимальна, тело, которое она описывает, находится в самом произвольном состоянии, то есть с очень высокой энтропией Шеннона. Так, энтропию Больцмана можно вычислить как информацию, необходимую для определения состояния каждой из молекул тела, если известны макроскопические детали. Энтропия Шеннона — не единственная интеллектуальная "дочь" энтропии Больцмана: в Linux (операционной системе со свободным кодом, благодаря которой появился Android) термин "энтропия" используется для определения произвольных данных, собираемых системой на основе движения мыши или клавиатуры.

В примере с картами легко увидеть, что большинство порядков соответствует неупорядоченному состоянию: если исходить из упорядоченной колоды и изменить положение десяти карт, то получится колода, отдаленная от предыдущего порядка. Если повторить операцию, выбирая каждый раз десять произвольных карт, колода все больше будет отдаляться от упорядоченного состояния, если только нам сильно не повезет. Это происходит потому, что существует намного большее число беспорядочных конфигураций, чем упорядоченных. Чтобы увидеть это, воспользуемся простой моделью с пятью картами, пронумерованными от 1 до 5.