Количество информации как мера уменьшения неопределенности.

оличество информации - это мера уменьшения неопределенности.

1 БИТ – такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. БИТ- это аименьшая единица измерения информации

Единицы измерения информации: 1байт = 8 бит

1Кб (килобайт) = 2¹⁰ байт = 1024 байт

1Мб (мегабайт) = 2¹⁰ Кб = 1024 Кб

1Гб (гигабайт) = 2¹⁰ Мб = 1024 Мб

Количество информации по Хартли

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log₂ K ,
Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2^I.
Иногда формулу Хартли записывают так:

I = log₂ K = log₂ (1 / р) = - log₂ р,
т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Количество информации по Шеннону.

В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I - количество информации,
К - количество возможных событий,
рi - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:

I = - Sum р_i log₂ р_i,
где i принимает значения от 1 до К.

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

I = - Sum 1 / К log₂ (1 / К) = I = log₂ К.

При равновероятных событиях получаемое количество информации максимально.

Принципы кодирования информации

Современный компьютер может обрабатывать числовую, текстовую, графическую, звуковую и видео информацию. Все эти виды информации в компьютере представлены в двоичном коде, т. е. используется алфавит мощностью два (всего два символа 0 и 1). Связано это с тем, что удобно представлять информацию в виде последовательности электрических импульсов: импульс отсутствует (0), импульс есть (1). Такое кодирование принято называть двоичным, а сами логические последовательности нулей и единиц - машинным языком.

Вид информации Двоичный код

Числовая 10110011

Текстовая

Графическая

Звуковая

Видео

Каждая цифра машинного двоичного кода несет количество информации равное одному биту.

Данный вывод можно сделать, рассматривая цифры машинного алфавита, как равновероятные события. При записи двоичной цифры можно реализовать выбор только одного из двух возможных состояний, а, значит, она несет количество информации равное 1 бит. Следовательно, две цифры несут информацию 2 бита, четыре разряда --4 бита и т. д. Чтобы определить количество информации в битах, достаточно определить количество цифр в двоичном машинном коде.

Представление количественной информации с помощью систем счисления.

1. Понятие системы счисления. Для записи информации о количестве объектов используются числа. Числа записываются с использованием особых знаковых систем, которые называются системами счисления. Алфавит систем счисления состоит из символов, которые называются цифрами. Например, в десятичной системе счисления числа записываются с помощью десяти всем хорошо известных цифр: 0,1,2,3,4,5,6,7,8,9.

Система счисления – это знаковая система, в которой числа записываются по определенным правилам с помощью символов некоторого алфавита, называемых цифрами.

Все системы счисления делятся на две большие группы: позиционные и непозиционные системы счисления. В позиционных системах счисления значение цифры зависит от ее положения в числе, а в не позиционных – не зависит.

Представление чисел с помощью позиционных систем счисления с различными основаниями.

Примеры

• 1 — единичная (унарная) система счисления, может рассматриваться как вырожденный случай позиционной системы счисления.
• 2 — двоичная (в дискретной математике, информатике, программировании)
• 3 — троичная система счисления
• 4 — четверичная система счисления^[2]
• 8 — восьмеричная (в программировании)
• 10 — десятичная система счисления
• 12 — двенадцатеричная (широко использовалась в древности, в некоторых частных областях используется и сейчас)
• 16 — шестнадцатеричная (наиболее распространена в программировании, а также в шрифтах)
• 40 — сорокаичная система счисления (применялась в древности: в частности, «сорок сороков» = 1600)
• 60 — шестидесятеричная (измерение углов и, в частности, долготы и широты, измерение времени)

Запись чисел

Для записи чисел в системах счисления с основанием до 36 включительно в качестве цифр (знаков) используются арабские цифры (0, 1, 2, 3, 4, 5, 6, 7, 8, 9) и затем буквы латинского алфавита (a, b, c, d, e, f, g, h, i, j, k, l, m, n, o, p, q, r, s, t, u, v, w, x, y, z). При этом, a = 10, b = 11 и т. д., иногда x = 10.

При одновременной работе с несколькими системами счисления для их различения основание системы обычно указывается в виде нижнего индекса, который записывается в десятичной системе:

123₁₀ — это число 123 в десятичной системе счисления;

1111011₂ — то же число, но в двоичной системе.

В некоторых специальных областях применяются особые правила указания основания. Например, в программировании шестнадцатеричная система обозначается:

• в ассемблере и записях общего рода, не привязанных к конкретному языку, буквой h (от hexadecimal) в конце числа (синтаксис Intel);
• в Паскале знаком «$» в начале числа;
• в C и многих других языках комбинацией 0x или 0X (от hexadecimal) в начале.

В некоторых диалектах языка Си по аналогии с «0x» используется префикс «0b» для обозначения двоичных чисел. (Обозначение «0b» не входит в стандарт ANSI C.)

В русских счётах для записи чисел в десятичной показательной позиционной системе счисления применяется унарнодесятичная система записи (представления) десятичных цифр с одной избыточной унарнодесятичной цифрой "1111111111"=10₁₀ на каждый разряд.