С точки зрения статистической физики энтропия выражает вероятность состояния системы и возрастает при переходе от состояний менее вероятных к более вероятным. С этим тесно связано понятие об упорядоченных и неупорядоченных системах. Для нашего мира характерна крайне низкая вероятность существования упорядоченных систем: колода, где карты разложены по мастям и старшинству, дом, построенный, например, из кирпича, или типографский шрифт, набранный в страницу текста, - упорядочены, менее вероятны и обладают минимумом энтропии в противоположность той же колоде беспорядочно перемешанных карт, куче кирпича и беспечно разбросанным на риале типографским литерам.
Однако в приведенном выше статистическом определении энтропии заметна некоторая некорректность, связанная с неопределенностью понятий "порядок" и "беспорядок". Этим словам трудно дать определение, понятное всем, но интуитивно мы представляем себе "порядок" как нечто свойственное набору элементов, расположенных по какой-то логике, являющихся частью системы. Соответственно там, где не существует никакой логической системы, элементы находятся в "беспорядке".
Мы можем определить место каждой карты в упорядоченной колоде, каждого кирпича в построенном доме и можем прочитать набранную страницу осмысленного текста. Но текст может быть набран на незнакомом языке и быть, таким образом, упорядоченным для человека, знающего этот язык, и неупорядоченным для незнающего.
Тогда критерием упорядоченности становится представление о смысле написанного, об информации, которую несет текст. Таким образом, энтропия оказывается тесно связанной с информацией. Эта чрезвычайно важная связь теоретически подтверждается в теории информации, где формально показывается, что математическое выражение для информации тождественно выражению для энтропии, взятому с обратным знаком.
Информация как мера упорядоченности системы представляет внутреннее состояние системы и обычно называется структурной, в отличие от относительной информации, связанной всегда с отношением двух (или более) систем.
Для систем, обладающих некоторой упорядоченностью. Второе начало термодинамики определяет направление самопроизвольных процессов в сторону увеличения беспорядка и повышения энтропии.
Дом, например, являющийся упорядоченной системой из кирпичей, в конце концов, если его не ремонтировать (=изолированная система), рухнет - мы, разумеется, не считаемся со временем, которое уйдет на этот эксперимент. Но вероятность того, что из груды кирпича однажды самопроизвольно возникнет Сухарева башня или храм Христа Спасителя, практически равна нулю.
