Информатика -продвинутый курс


ЕДИНИЦЫ КОЛИЧЕСТВА ИНФОРМАЦИИ: ВЕРОЯТНОСТНЫЙ И ОБЪЕМНЫЙ ПОДХОДЫ - часть 2


Следующим важным моментом является определение вида функции f

в формуле (1.1). Если варьировать число граней N

и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N)

будет равно N в степени М:

 

X=NM.

                                                                     

(1.3)

 

Так, в случае двух бросаний кости с шестью гранями имеем: Х = 62 = 36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 - соответственно исходы первого и второго бросаний (общее число таких пар - X).

Ситуацию с бросанием М

раз кости можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем - «однократных бросаний кости». Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип аддитивности энтропии»):

 

f(6M) = M • f(6)

 

Данную формулу можно распространить и на случай любого N:

 

                                                  F(NM) = M • f(N)                                                    (1.4)

 

Прологарифмируем левую и правую части формулы (1.3): ln X = M • ln N,

М = ln X/1n M.  Подставляем полученное для M значение в формулу (1.4):

 

Обозначив через К

положительную константу , получим: f(X) = К • lп Х, или, с учетом (1.1), H=K • ln N. Обычно принимают К = 1 / ln 2. Таким образом

 

H = log2 N.                                                                (1.5)

 

Это - формула Хартли.

Важным при введение какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: «орел», «решка»). Такая единица количества информации называется «бит».

Все N




Начало  Назад  Вперед



Книжный магазин