Энтропия системы и количество информации. Априорная и апостериорная информация

рис.определение информации по этапам ее преобразования

I –самое широкое определение : к информации относится любое сообщение.

Элементы A и B соединены каналом связи.если B получает сведения о состояний A то они трактуются как инф. такую «фотографию»состояния A принято называть данными. B как получатель данных выступает в роли наблюдателя, следящего за объектом A и фиксирующего его состояние. Здесь не учитывается, знал ли В о сост. А до получения. конкретных. данных, и какова была степ. неопределенности этих априорных знаний .

II – инф. представляет собой меру уменьшения неопределенности знаний у В после получения. им сообщения. о сост. А. В общем случ. полученная инф. оценивается отношением вероятностей сост. А в представлении В после получ. сообщ. и до него, т.е . отнош. апостериорного и априорного знания В о сост. А. Обычно берется логарифм этого отношения по основанию 2 .

Пусть В заинтересован в получении инф. об А для достижения. опред. цели. Предположим вер-ть достиж. цели до получения инф. об А в представлении В составляет р₀ (априорные знания В) .р₁ – вер-ть достиж. цели после получ. инф. об А (апостериорные знания В) . если р₁>p₀, ценность данной инф. для В сост.:

До получ. инф. A характеризуется неопределенностью для B. Для измерения неопределенности использ. энтропия, которая (как понятие) заимствована из термодинамики.

Энтропия в теории инф.— это мера неопределенности к.-либо опыта (испыт.), который может иметь разные исходы, а значит и колич. инф.

Энтропия в представлении. B об A рассчитывается. ф-лой:

если после получения инф. об A полностью снимается неопределенность у B, то кол-во полученной инф. будет равно энтропии: H(A)=I(A) или (ф-ла К.Шенона), где I(A) – кол-во информации об A.

Инф. ( II ) - мера снятия неопределенности системы. единица кол-ва инф. 1 бит ( от англ. двоичная единица» - binary digit ) определяется по двум равновероятностным состояниям системы.

Сообщение является формой передачи знания - упорядоченного отражения объектов и процессов в понятиях, суждениях и других построенных из понятий образах. Чтобы воспринять и усвоить сообщение, его получатель сам должен обладать определенным запасом знаний. обычно этот запас представляют в виде тезауруса , т.е. систематизированного словаря понятий с указанием логических смысловых связей между ними. тезаурус [ от греч., запас ] – полный систематический набор данных о какой-либо области знания, позволяющий чел. или вычисл. машине в ней ориентироваться.

Когда сообщения увязывается с тезаурусом его получателя, и к тому же эти сообщ. обогащают тезаурус, можно сказать, что получена новая смысловая (семантическая ) информация.

Под инф. (III) понимается мера расширения, развития тезауруса. Можно считать любую семантическую инф. потенциально полезной, не искл. при этом содержащиеся в ней ненужные знания («прагматический шум»). Важно получение актуально полезной инф., способствующей решению стоящих перед нами задач. в этом контексте под инф. - IV (она является прагматичной) правомерно понимать меру полезности полученных и усвоенных получателем знаний.

АПРИОРНАЯ ИНФОРМАЦИЯ — предварительные данные, представления исследователя, используемые при формировании экономико-математической модели. Их источником могут быть, во-первых, теоретические соображения (напр., представление об отрицательной зависимости спроса от цены продукта в функции спроса), во-вторых, предшествующие статистические исследования, в которых уже оценивались некоторые элементы, в том числе параметры будущей модели (напр., в функции спроса может использоваться априорная для данной модели оценка эластичности спроса от дохода). В современных условиях, когда накапливаются гигантские массивы информации, ее анализ, классификация и предварительная обработка становятся одним из решающих условий успешности построения и применения экономико-математических моделей.

Апостериорная отличается от априорной информации наличием сведений, полученных во время проведения эксперимента.