Кибернетика, или Управление и связь в животном и машине | страница 85

_>1(x), можно принять за некоторое среднее значение высоты логарифма обратной величины функции f_>1(x). Таким образом, разумной мерой[139] количества информации, связанного с кривой f_>1(x), может служить[140][c.121]

 

          (3.05)

Величина, которую мы здесь определяем как количество информации, противоположна по знаку величине, которую в аналогичных ситуациях обычно определяют как энтропию. Данное здесь определение не совпадает с определением Р.А. Фишера для статистических задач, хотя оно также является статистическим определением и может применяться в методах статистики вместо определения Фишера.

В частности, если f_>1(x) постоянна на интервале (а, b) и равна нулю вне этого интервала, то

 

          (3.06)

Используя это выражение для сравнения информации о том, что некоторая точка находится в интервале (0, 1), с информацией о том, что она находится в интервале (а, b), получим как меру разности

 

          (3.07)

Определение, данное нами для количества информации, пригодно также в том случае, когда вместо переменной х берется переменная, изменяющаяся в двух или более измерениях. В двумерном случае f_>1 (x, y) есть такая функция, что

 

          (3.08)

и количество информации равно

 

          (3.081)

Заметим, что если f_>1(x, y) имеет вид φ(х)ψ(y) и

 

,          (3.082)

[c.122]

то

 

          (3.083)

и

 

          (3.084)

т. е. количество информации от независимых источников есть величина аддитивная.

Интересной задачей является определение информации, получаемой при фиксации одной или нескольких переменных в какой-либо задаче. Например, положим, что переменная u заключена между х и x+dx с вероятностью

 

,

а переменная v заключена между теми же двумя пределами с вероятностью

 

Сколько мы приобретаем информации об u, если знаем, что u+v=w? В этом случае очевидно, что u=w—v, где w фиксировано. Мы полагаем, что априорные распределения переменных u и v независимы, тогда апостериорное распределение переменной u пропорционально величине

 

,          (3.09)

где c_>1 и c_>2 — константы. Обе они исчезают в окончательной формуле.

Приращение информации об u, когда мы знаем, что w таково, каким мы его задали заранее, равно

 

[c.123]

 

          (3.091)

Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от отношения суммы средних квадратов переменных u и v к среднему квадрату переменной v. Если v имеет лишь малую область изменения, то количество информации об u, которое дается знанием суммы