(1/64) = log
>264 = 6. Таким образом, я получил информацию, которую можно сосчитать в 6
битах>1.
Таким образом, можно сказать, что количество информации, переданной в сообщении, является двоичным логарифмом определенного числа альтернатив, позволяющих недвусмысленно определить это сообщение>2.
Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии энтропии. Это понятие достаточно широко известно, потому что все о нем слышали, но в силу этого оно достаточно размыто, так как каждый понимает его по — своему и использует весьма свободно; поэтому будет неплохо, если мы вкратце его рассмотрим, ибо его происхождение из термодинамики оставило наслоения, не всегда обоснованные.
Согласно второму началу термодинамики, изложенному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами различной температуры: источником теплоты и охладителем. Двигатель поглощает определенное количество теплоты от ее источника, но не всю ее преобразует в работу, потому что часть отдает охладителю. Таким образом, часть теплоты Q>1 преобразуется в работу, кроме того имеется теплота Q — Q>1, которая передается охладителю.
Таким образом, если после преобразования работы в теплоту (первый закон термодинамики) я преобразую эту теплоту в работу, мне не удается вернуться к исходному количеству этой работы. Наблюдается уменьшение или, как обычно говорят, «расход» энергии, которую уже не удастся восстановить. Энергия «расходуется». Таким образом, некоторые природные процессы не являются полностью обратимыми: «эти процессы однонаправленны, и с каждым из них мир делает шаг, след которого никоим образом нельзя стереть»>3. Если мы хотим найти общую меру этой необратимости, надо предположить, что природа, так сказать, отдает предпочтение одним состояниям перед другими (то есть тем, к которым устремляются необратимые процессы) и кроме того, нам придется отыскать физическую величину, которая количественно измеряет предпочтение, отдаваемое природой определенному состоянию. Такая величина имела бы свойство расти во всех необратимых процессах. Это и есть энтропия.
