Прозрение | страница 107

Приравняем правые части этих выражений

Теперь продифференцируем это выражение по m и по n

Основание логарифма – a принято произвольным.

Исключим сложную производную из двух последних формул

Учитывая уравнения (2А) и (3А) линейной зависимости S_>p от m и упрощая выражение (7А), получим дифференциальное уравнение

После разделения переменных и интегрирования, имеем

где ln k – произвольная постоянная интегрирования. Отсюда

Так как вероятности переходов приняты одинаковыми, то вероятность каждого i-го состояния равна P_>i=1/n и

Обобщим теперь эту формулу на произвольные вероятности переходов.

Представим себе последовательность переходов с, каждый раз, разным числом возможных равновероятных состояний. При каждом отдельном переходе значение S_>p дает меру неопределенности всех возможных состояний системы или, в терминах теории вероятностей, общую неопределенность опыта. Но каждый отдельный исход опыта (одно из возможных состояний) имеет вероятность P_>i, и, следовательно, вносит долю неопределенности P_>i S_>p. Суммируя теперь эту величину по всем возможным состояниям, получим формулу Шеннона

где n – число возможных состояний системы, а P_>i – вероятность каждого из них, k и a – произвольные постоянные.

Анализ этой формулы показывает, что рост энтропии максимален при равной вероятности возможных состояний; при увеличении n энтропия растет.

При выводе формулы мы не вводили ограничений на обмен энергией между системой и окружающей средой. Следовательно, энтропия всегда и естественно растет в любых материальных системах.

Расчет проведем для рис. 1. Для удобства он и формула повторены ниже. Примем произвольные постоянные в формуле. Как обычно, в кибернетике k=1, a=2. Тогда формула будет выглядеть так

Считаем, состояние В осуществилось с вероятностью равной единице, т.е. это достоверное событие. Тогда энтропия нашей системы в этом состоянии равна нулю, так как логарифм от единицы равен нулю. Вероятности Р_>1 и Р_>2 примем одинаковыми и равными 0,5. Так как возможных состояния только два то N=2. Вычисляем сумму. S= – (Р_>1log_>2 Р_>1+ Р_>2log_>2 Р_>2) = – (0.5(-1)+0.5(-1))=1. Энтропия увеличилась. Так что вероятность состояния С2, в которое перешла система, равна 0,5, и её придется учитывать при дальнейшем развитии событий. Назначим вероятности перехода в состояния D. Р_>3 = 0,4; Р_>4 = 0,3; Р_>5 = 0,3. В сумме должна быть единица. Тогда вероятности событий D вычисляются перемножением вероятности состояния