Количественные и качественные характеристики информации

Развитие средств связи (телефон, телеграф, радио) и в начале XX в. потребовало численных методов исследования характеристик трактов передачи сообщений, отвлекаясь от смысла сообщений - количественно-вероятностный подход.
Понятия неопределенности и вероятности взаимно обратимы. Выбор одного или нескольких вариантов из множества уменьшает неопределенность. Хартли предложил считать количество информации, приходящееся на одно сообщение, равным логарифму общего числа возможных сообщений (тут все равновероятно).

На практике при определении количества информации необходимо учитывать как количество различных сообщений от источника, так и разную вероятность их получения (Шеннон).

Р. Эшби считал, что информация есть там, где есть неоднородность (разнообразие) и единицей измерения может быть различие между объектами в одном определенном свойстве. Чем больше различий, тем больше информации. Под разнообразием следует подразумевать характеристику степени несовпадения элементов некоторого множества.

Близка к разнообразностной идея алгоритмического измерения количества информации, выдвинутая в 1965 г. А.Н. Колмогоровым. Количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой (множество). Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому.

Если понятие информации связывать с разнообразием, то причиной существующего в природе разнообразия, по мнению академика В.М. Глушкова, можно считать неоднородность в распределении энергии или вещества, в пространстве и во времени. Информация же есть мера этой неоднородности. Информация существует постольку, поскольку существуют сами материальные тела. С понятием информации в кибернетике не связано свойство ее осмысленности. Звезды существуют независимо от того, имеют люди информацию о них или нет. Объективное существование объекта создает неоднородность в распределении вещества и поэтому является источником информации для когнитивной системы. Таким образом, по В.М. Глушкову, информация независима от нашего сознания.

Рассмотренные выше определения и толкования понятия информации в принципе не могут учесть ее содержательного и ценностного аспектов. Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой - теорией знаковых систем.

Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками. Семиотика исследует знаки как особый вид носителей информации. Рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых систем, таких как естественные и искусственные языки, системы сигнализации, логические, математические и химические символы.

Знаковые системы рассматриваются с позиций синтактики, семантики и прагматики.

• Синтактика изучает синтаксис знаковых структур - способы сочетаний знаков, правила образования сочетаний и преобразований безотносительно к их значениям.
• Семантика изучает знаковые системы как средства выражения смысла, определенного содержания.
• Прагматика концентрируется на изучении практической полезности сообщений для потребителя.

Основная идея семантической концепции информации заключается в возможности измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, хотя и не взаимно однозначно. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности.

Первую попытку построения теории семантической информации предприняли Р. Карнап и И. Бар-Хиллел. Они предложили определять величину семантической информации посредством так называемой логической вероятности, представляющей собой степень подтверждения той или иной гипотезы. При этом количество семантической информации, содержащейся в сообщении, возрастает по мере уменьшения степени подтверждения априорной гипотезы. Если вся гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то такое сообщение не приносит получателю никаких новых сведений. Логическая вероятность гипотезы при этом равна единице, а семантическая информация оказывается равной нулю. Наоборот, по мере уменьшения степени подтверждения гипотезы, количество семантической информации, доставляемой сообщением, возрастает.

Для всех прагматических подходов характерно стремление связать понятие информации с целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации.