| rdfs:comment
| - В теории информации, энтропия Шеннона, или информационная энтропия — мера неопределённости, связанной со случайной величиной (с.в.); определяет количество информации, содержавшейся в сообщении (обычно в битах или битах на символ); минимальная длина сообщения, необходимая для передачи информации; также абсолютный предел наиболее возможного сжатия без потерь любого сообщения: при представлении сообщения рядом символов, кратчайшее представление, необходимое для передачи сообщения — это энтропия Шеннона в битах на символ, умноженная на число символов в исходном сообщении.
|
| abstract
| - В теории информации, энтропия Шеннона, или информационная энтропия — мера неопределённости, связанной со случайной величиной (с.в.); определяет количество информации, содержавшейся в сообщении (обычно в битах или битах на символ); минимальная длина сообщения, необходимая для передачи информации; также абсолютный предел наиболее возможного сжатия без потерь любого сообщения: при представлении сообщения рядом символов, кратчайшее представление, необходимое для передачи сообщения — это энтропия Шеннона в битах на символ, умноженная на число символов в исходном сообщении. Справедливая монета имеет энтропию, равную одному биту. Однако, если монета не справедлива, то её неопределённость ниже (если бы надо было держать пари на исход бросания такой монеты, то мы бы предпочли держать пари на более частый исход), и таким образом энтропия Шеннона также ниже. Длинная вереница повторяющихся знаков имеет энтропию 0, так как каждый знак предсказуем. Энтропия английского текста лежит между 1.0 и 1.5 битами на букву, или ещё ниже от 0.6 до 1.3 битов на букву, согласно оценкам Шеннона, основанным на экспериментах с людьми Эквивалентно, энтропия Шеннона — мера среднего информационного содержания с.в., которое наблюдатель (получатель сообщения) теряет, когда ему неизвестно значение (исход) с.в. Понятие было введено Клодом Элвудом Шенноном (1948) в его работе Математическая теория связи (A Mathematical Theory of Communication).
|
![[RDF Data]](/fct/images/sw-rdf-blue.png)