Условная энтропия. Объединение зависимых систем

Пусть имеются две системы и , в общем случае зависимые. Предположим, что система приняла состояние . Обозначим условную вероятность того, что система примет состояние при условии, что система находится в состоянии :

. (18.4.1)

Определим теперь условную энтропию системы при условии, что система находится в состоянии . Обозначим ее . По общему определению, имеем:

(18.4.2)

или

. (18.4.2')

Формулу (18.4.2) можно также записать в форме математического ожидания:

, (18.4.3)

где знаком обозначено условное математическое ожидание величины, стоящей в скобках, при условии .

Условная энтропия зависит от того, какое состояние приняла система ; для одних состояний она будет больше, для других - меньше. Определим среднюю, или полную, энтропию системы с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию (18.4.2) умножить на вероятностьсоответствующего состояния и все такие произведения сложить. Обозначим полную условную энтропию :

(18.4.4)

или, пользуясь формулой (18.4.2),

.

Внося под знак второй суммы, получим:

(18.4.5)

или

. (18.4.5')

Но по теореме умножения вероятностей , следовательно,

. (18.4.6)

Выражению (18.4.6) тоже можно придать форму математического ожидания:

. (18.4.7)

Величина характеризует степень неопределенности системы , остающуюся после того, как состояние системы полностью определилось. Будем называть ее полной условной энтропией системы относительно х

http://sernam.ru/book_tp.php?id=106

нформация – это некоторая упорядоченная последовательность сообщений, отражающих, передающих и увеличивающих наши знания.

Информация актуализируется с помощью различной формы сообщений – определенного вида сигналов, символов.

Информация по отношению к источнику или приемнику бывает трех типов: входная, выходная и внутренняя.

Информация по отношению к конечному результату бывает исходная, промежуточная и результирующая.

Информация по ее изменчивости бывает постоянная, переменная и смешанная.

Информация по стадии ее использования бывает первичная и вторичная.

Информация по ее полноте бывает избыточная, достаточная и недостаточная.

Информация по доступу к ней бывает открытая и закрытая.

Есть и другие типы классификации информации.

Пример. В философском аспекте информация делится на мировоззренческую, эстетическую, религиозную, научную, бытовую, техническую, экономическую, технологическую.

Основные свойства информации:

• полнота;
• актуальность;
• адекватность;
• понятность;
• достоверность;
• массовость;
• устойчивость;
• ценность и др.

Информация – содержание сообщения, сообщение – форма информации.

Любые сообщения измеряются в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах, петабайтах и эксабайтах, а кодируются, например, в компьютере, с помощью алфавита из нуля и единицы, записываются и реализуются в ЭВМ в битах.

Приведем основные соотношения между единицами измерения сообщений:

1 бит ( bi nary digi t – двоичное число) = 0 или 1,

1 байт 8 бит,

1 килобайт (1Кб) = 2¹³ бит,

1 мегабайт (1Мб) = 2²³ бит,

1 гигабайт (1Гб) = 2³³ бит,

1 терабайт (1Тб) = 2⁴³ бит,

1 петабайт (1Пб) = 2⁵³ бит,

1 эксабайт (1Эб) = 2⁶³ бит.

Количество информации – число, адекватно характеризующее разнообразие (структурированность, определенность, выбор состояний и т.д.) в оцениваемой системе. Количество информации часто оценивается в битах, причем такая оценка может выражаться и в долях бит (так как речь идет не об измерении или кодировании сообщений ).

Мера информации – критерий оценки количества информации. Обычно она задана некоторой неотрицательной функцией, определенной на множестве событий и являющейся аддитивной, то есть мера конечного объединения событий (множеств) равна сумме мер каждого события.

Рассмотрим различные меры информации.

Возьмем меру Р. Хартли. Пусть известны N состояний системы S ( N опытов с различными, равновозможными, последовательными состояниями системы). Если каждое состояние системы закодировать двоичными кодами, то длину кода dнеобходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N:

Логарифмируя это неравенство, можно записать:

Наименьшее решение этого неравенства или мера разнообразия множества состояний системы задается формулой Р. Хартли:

H = log₂N ( бит ).

Пример. Чтобы определить состояние системы из четырех возможных состояний, то есть получить некоторую информацию о системе, необходимо задать 2 вопроса. Первый вопрос, например: "Номер состояния больше 2?". Узнав ответ ("да", "нет"), мы увеличиваем суммарную информацию о системе на 1 бит ( I = log₂2 ). Далее необходим еще один уточняющий вопрос, например, при ответе "да": "Состояние – номер 3?". Итак, количество информации равно 2 битам ( I = log₂4 ). Если система имеет n различных состояний, то максимальное количество информации равно I = log₂n .

Если во множестве X = {x₁, x₂, ..., x_n} искать произвольный элемент, то для его нахождения (по Хартли) необходимо иметь не менее log_an (единиц) информации.

Уменьшение Н говорит об уменьшении разнообразия состояний N системы.

Увеличение Н говорит об увеличении разнообразия состояний N системы.

Мера Хартли подходит лишь для идеальных, абстрактных систем, так как в реальных системах состояния системы неодинаково осуществимы (неравновероятны).

Для таких систем используют более подходящую меру К. Шеннона. Мера Шеннона оценивает информацию отвлеченно от ее смысла:

где n – число состояний системы; р_i – вероятность (относительная частота) перехода системы в i-е состояние, а сумма всехp_i должна равняться 1.

Если все состояния рассматриваемой системы равновозможны, равновероятны, то есть р_i = 1/n , то из формулы Шеннонаможно получить (как частный случай) формулу Хартли:

I = log₂n .

http://www.intuit.ru/studies/courses/108/108/lecture/3139?page=3