abstract
| - Сообщение (в теории информации) — всякий носитель информации. Теория информации интересуется лишь количественной стороной информации, содержащейся в С. Понятие С. в теории информации имеет существенно вероятностный характер: каждый источник информации (или источник С.) задаётся перечислением возможных С. и соответствующих им вероятностей. Пусть — возможные С., a — соответствующие вероятности. Тогда количество информации в С. принимают равным . Среднее количество информации в С. данного источника (его энтропия), т. е. сумма является важнейшей характеристикой источника. Именно величина энтропии определяет возможности передачи и хранения С., производимых источником. При изучении конкретных типов С., таких, как письменная речь, телеграфные, телефонные или телевизионные сигналы, обычно строится та или иная приближённая вероятностная модель источника С. Так, с достаточной для целей теории информации точностью в качестве модели русской письменной речи может быть принята т. н. сложная цепь Маркова. Для непрерывных С. в качестве моделей используются стационарные случайные процессы. Построение подобных моделей опирается на обширные статистические данные, касающиеся рассматриваемых процессов. Статья основана на материалах Большой советской энциклопедии. Категория:Материалы БСЭ
|