Изучая передачу сообщений, теория информации понимает их именно как организованные системы, управляемые установленными законами вероятности, системы, в которых в виде помехи, исходящей извне, или ослабления самого сообщения (все эти элементы понимаются как «шум») может заявить о себе некая неупорядоченность, то есть оскудение сообщения, увеличение энтропии. Если значение представляет собой организацию сообщения по определенным правилам вероятности (именно по правилам, а не по статистической равновероятности, которая позитивно измеряется энтропией), тогда неупорядоченность — это опасность, грозящая уничтожить само сообщение, а энтропия — ее измерение. Таким образом, энтропия будет негативным измерением смысла сообщения>8.
Для того, чтобы защитить сообщение от такого оскудения, чтобы, несмотря на проникновение шума, мешающего его принятию, смысл содержания (его порядок) в основном оставался без изменения, мне придется как бы окутать это сообщение условными повторениями, окружить его избытком четко определенных вероятностей, чтобы, каким бы упомянутый шум ни был, доля информации все равно сохранилась бы. Этот излишек вероятностей и является избыточностью. Предположим, нам надо сообщить: «Я тебя слышу» («Ti odo»). Допустим, что кто — то кричит эти слова с одной горной вершины на другую, что, передавая эту фразу, неопытная телеграфистка неправильно расставляет на своем передатчике необходимые точки и тире или что, наконец, она написана на листке бумаги, оказавшемся в классической бутылке, где бумагу подмочила вода. В контексте передачи информации все эти помехи и ситуации являются шумом. Чтобы быть уверенным, что сообщение будет принято в надлежащем виде, что, например, ошибка телеграфистки не изменит фразу на «Я тебя ненавижу» («Ti odio»), a порывы ветра не превратят ее в нечто непонятное, я могу сказать так: «Я тебя слышу, то есть улавливаю твои слова». Говоря в общих чертах, можно сказать, что, как бы плохо ни обстояли дела, для того, кто принимает сообщение, все — таки сохраняется возможность, основываясь на скудных и неполных его компонентах, воссоздать его лучшим образом.
Если же говорить точнее, то в языковой системе смысловая избыточность определяется всей совокупностью синтаксических, орфографических и грамматических правил, которые как бы устанавливают необходимые лингвистические вехи. В этом смысле можно сказать, что, будучи системой заранее определенных вероятностей, с которыми и устанавливается связь, язык представляет собой
