Информатика -продвинутый курс


         

Следующим важным моментом является определение


Следующим важным моментом является определение вида функции f

в формуле (1.1). Если варьировать число граней N

и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N)

будет равно N в степени М:

X=NM.

                                                                      (1.3)

Так, в случае двух бросаний кости с шестью гранями имеем: Х = 62 = 36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 - соответственно исходы первого и второго бросаний (общее число таких пар - X).

Ситуацию с бросанием М

раз кости можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем - «однократных бросаний кости». Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип аддитивности энтропии»):

f(6M) = M • f(6)

Данную формулу можно распространить и на случай любого N:

                                                  F(NM) = M • f(N)                                                    (1.4)

Прологарифмируем левую и правую части формулы (1.3): ln X = M • ln N,

М = ln X/1n M.  Подставляем полученное для M значение в формулу (1.4):



Обозначив через К

положительную константу , получим: f(X) = К • lп Х, или, с учетом (1.1), H=K • ln N. Обычно принимают К = 1 / ln 2. Таким образом

H = log2 N.                                                                (1.5)

Это - формула Хартли.

Важным при введение какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: «орел», «решка»). Такая единица количества информации называется «бит».

Все N


Содержание  Назад  Вперед