Кодирование информации в ПК. Формулы Хартли и Шеннона изменения количества информации. Понятие энтропии.

Информация может передаваться в виде сигналов – звуковых, световых, электрических и пр.. Для того, чтобы сохранить информацию, ее надо закодировать. Кодирование – выражение данных одного типа через другие.

В вычислительной технике используется универсальная система кодирования данных двоичным кодом - последовательностью двоичных цифр 0 и 1. Один разряд двоичного кода называется битом (от англ. Binary digit – двоичная цифра). Количество разных символов, которое может быть представлено при двоичном кодировании, зависит от разрядности кода. Один бит выражает два значения. Общую формулу вычисления количества кодируемых значений можно представить: N = 2^m где н – предельное число кодируемых значений, м - разрядность кода (количество бит)(пример: 8 = 2³ – с помощью 3 битов можно закодировать 8 числовых значений (000, 001, 010, 011, 100, 101, 110, 111) . Для вычисления количества информации в сообщении используется формула Хартли:I = log ₂N (I- количество информации, N – возможное количество кодируемых сообщений). Формула Хартли используется для вычисления количества информации, когда все события равновероятны. В случае, когда все элементы (события) не равновероятны, используется формула Шеннона: I = -∑p_i log2 p_i, (I- количество информации, p_i, - вероятность возникновения i-го события). Формула Хартли является частным случаем более общей формулы Шеннона. Энтропия системы - рассматриваться как мера недостающей информации. Энтропия системы Н(х), имеющая N возможных состояний, согласно формуле Шеннона равна:

Системы счисления и правила работы с ними. Логические основы работы ПК.

Информация в ЭВМ кодируется в двоичной системе счисления.

Под системой счисления понимается способ представления любого числа посредством алфавита символов, называемых цифрами.

В зависимости от способа представления чисел системы счисления делятся на позиционные и непозиционные.

В позиционной системе счисления количественное значение каждой цифры зависит от ее места (позиции) в числе (позиционные системы счисления – десятичная, двоичная, восмеричная, шестнадцатиричная).

В непозиционной системе счисления цифры не меняют своего количественного значения при изменении их расположения в числе. (не позиционные системы счисления – римская система)

Количество различных цифр (Q), употребляемых в позиционной системе счисления, называется основанием системы счисления( для десятичной Q=10, для двоичной Q=2 и т.д.). Значения цифр лежат в диапазоне от 0 до Q-1 (например, для десятичной от 0 до 9). В общем случае в позиционной системе счисления с основанием Q используются цифры от 0 до Q-1. В позиционной системе счисления с основанием Q любое число х может быть представлено в виде полинома:

Х = а_NQ^N+ а_N-1Q^N-1+…+ а₁Q¹ + а₀Q⁰ + а_-1Q^-1+ а_-2Q^-2 +…+ а_MQ^M (например 127,5 = 1*10²+2*10¹+7*10⁰+5*10^-1)

Целая часть дробная часть

Рассмотрим правило перехода из восьмеричной системы счисления в двоичную систему счисления.

Для перевода восьмеричного числа в двоичную СС достаточно заменить каждую цифру восьмеричного числа соответствующим трехразрядным двоичным числом. Затем необходимо удалить крайние нули слева, а при наличии точки – крайние нули справа.

Еще одно правило перевода.

Для перехода от шестнадцатеричной СС к двоичной СС каждая цифра шестнадцатеричного числа заменяется соответствующим четырехразрядным двоичным числом. У двоичного числа удаляются крайние слева нули, а если имеется дробная часть, то и крайние правые нули.

305,4₈ = 011 000 101 . 100 ₂

7D2.Е₁₆ = 0111 1101 0010 . 1110 ₂

Для перехода от двоичной СС к восьмеричной (или шестнадцатеричной) СС поступают следующим образом: двигаются от точки сначала влево, а затем вправо, разбивают двоичное число на группы по три (четыре) разряда, дополняя при необходимости нулями крайне левую и правую группы. Затем каждую группу из трех (четырех) разрядов заменяют соответствующей восьмеричной (шестнадцатеричной) цифрой.

111 001 100.001₂= 714.1₈

1 1100 1100. 001₂= 1СС.2₁₆

Для перевод двоичного числа в десятичную СС достаточно представить число в виде полинома, подставить в него все известные коэффициенты и вычислить сумму.

11011.11₂=1*2⁴ + 1*2³ + 0*2² + 1*2¹ + 1*2⁰ + 1*2^-1 + 1*2^-2 = 27.75₁₀

2Е5.А₁₆ = 2*16² + 14*16¹ + 5*16⁰ + 10*16^-1 + 741.625₁₀

Перевод целых чисел из десятичной СС в двоичную, восьмеричную или шестнадцатеричную СС удобно делать с помощью следующего правила:

Для перевода целого числа из S-системы счисления в W-систему, нужно последовательно делить это число, а затем получаемые частные на основание W новой системы счисления , пока частное не станет меньше W.

37₁₀=100101₂

Для перевода правильной дроби из S-системы счисления в систему счисления с основанием H нужно умножить исходную дробь и дробные части получающихся произведений на основание Н, представленное в старой S-системе . Целые части получившихся произведений дают последовательность цифр, которая является представлением дроби в Н-системе счисления.

0.1875₁₀=0.0011₂

Для описания логики функционирования аппаратных и программных средств ЭВМ используетсяалгебра логики, или как ее называют булева алгебра. Основоположником этого раздела математики был Дж. Буль.

Алгебра логики – это раздел математической логики, значения всех элементов которой (функций и аргументов) определены в двухэлементном множестве: 0 и 1. Алгебра логики оперирует с логическими высказываниями.

Булева алгебра оперирует с логическими переменными, которые могут принимать только два значения : истина и ложь. Совокупность значений логических переменных х₁, х₂ ,… х_n называется набором переменных.

Логической функцией от набора логических переменных (аргументов) F(х₁, х₂ ,… х_n) называется функция, которая может принимать только два значения : истина или ложь (1 или 0). Любая логическая функция может быть задана с помощью таблицы истинности, в левой части которой записываются возможные наборы аргументов, а в правой - соответствующие им значения функции. Логическую функцию называют функцией алгебры логики.

Значение каждой логической функции описывается таблицей истинности. Таблица истинности представляет собой таблицу, устанавливающую соответствие между возможными значениями наборов переменных и значениями функции.

Логическое сложение а + b, или дизъюнкция V

Читается как а плюс b или а дизъюнкция b. Дизъюнкция двух слагаемых ложна тогда и только тогда, когда ложны оба слагаемых. Таблица истинности у логического сложения следующая

a	b	a+b

Логическое умножение а × b, или конъюнкция а & b Конъюнкция двух сомножителей истинна тогда и только тогда, когда истинны оба сомножителя. Таблица истинности у этой функции следующая

a	b	a×b

Отрицание а Запись читается как «не-а». Отрицание лжи есть истина, отрицание истины есть ложь. Таблица истинности у отрицания следующая

a	а