Первая теорема Шеннона и его практическое значение.
1теорема.
Для любой передачи кодировки существует оптимальная система кодирования, при которой энтропия на один двоичный символ равна энтропии источника. (S,аi1…..аin)
Пример:
05504407704=1,94 код
0-повтор. 5- символ 5-количество
Pilog=Pi
Доп информация:если пропускная способность канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условие Ck> Vu,
то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т.е. если Ck< VuТакого способа нет
Вторая теорема Шеннона
При передачи информации с помехами, существует система кодирования с избыточным кодом, которая позволяет добиться достоверности передачи данных. Для дискретного канала с помехами теорема утверждает, что, если скорость создания сообщений меньше или равна пропускной способности канала, то существует код, обеспечивающий передачу со сколь угодно малой частотой ошибок.
аа сс
* 
вероятность
Доп. Инфа . Эта теорема не дает конкретного метода построения кода, но указывает на пределы достижимого в области помехоустойчивого кодирования, стимулирует поиск новых путей решения этой проблемы.
Алгебра высказываний.
-является составной частью одного из современных быстро развивающихся разделов математики – математической логики
отрицание (унарная операция)»Не»
конъюнкция (бинарная) «и»
дизъюнкция (бинарная) «Или»
X- Логическая переменная
1) Коммутативность: x&y = y&x, AUB=BUA
2) Идемпотентность: x&x = x, AUA=A
3) Дистрибутивность конъюнкций и дизъюнкции относительно дизъюнкции, конъюнкции и суммы по модулю два соответственно:
A & (B U C)=(A & B) U (A & C)
A U (B & C)=(A U B) & (A U C)
4)не A=A
5) Законы поглощения:
,
.
6) Законы де Мо́ргана:
,
.
( y&z ) U (y&z ) U ( x&z ) U ( x&Z )=
(y & (z U z)) U ( x &(z U z)=Y U X
| x | y | X&Y | XUY | X |
8. таблица истинности.
1. Конъюнкция (логическое умножение) – сложное логическое выражение, которое является истинным только в том случае, когда истинны оба входящих в него простых выражения.
Обозначение:
2. Дизъюнкция (логическое сложение) – это сложное логическое выражение, которое истинно, если хотя бы одно из простых логических выражений истинно и ложно, если оба простых логических выражения ложны.
Обозначение:
3. Импликация (логическое следствие) – это сложное логическое выражение, которое является ложным тогда и только тогда, когда условие истинно, а следствие ложно.
Обозначение:
4. Эквиваленция – это сложное логическое высказывание, которое является истинным только при одинаковых значениях истинности простых выражений, входящих в него.
Обозначение:
5. Логическое отрицание (инверсия) делает истинное высказывание ложным и, наоборот, ложное – истинным.
Обозначение:
6. Штрих Шеффера – операция, отрицающая конъюнкцию, т.е. значение ложно тогда и только тогда, когда оба простых выражения истинны.
Обозначение:
7. Стрелка Пирса – операция, отрицающая конъюнкцию, т.е. значение истинно тогда и только тогда, когда оба простых выражения ложны.
Обозначение:
Тофтология.
-это логическая формула, которая высказывает при любых значениях аргумент 1 (истина)
Противоречие.
-это логическая форма, которая принимает ложное значение(0) при любых значения аргументов.
A&не(А)=0
Дедукция.
-это метод получения истинного высказывания из одной группы истинных высказываний(А,В,С.)
A- Пётр переутомился
B- Петр болен
С-Петрраздражается
AUB, A=>B, C. A=>C
A=>C C=>A
C, C =>AA
| A U B= A => B |
A, A U B B A U B= A => B
Теорема Котельникова.
вместо передачи непрерывного аналогового сигнала можно передавать соответствующий ему дискретный сигнал.
Формулировка теоремы: непрерывный сигнал, спектр которого не содержит частот больших fm может быть однозначно представлен своими мгновенными значениями (выборками), разделёнными одинаковыми интервалами времени, длина которых не должна превышать 1/2fm.
Полученный дискретный сигнал может быть передан по каким-либо линиям связи и из него фильтром нижних частот на стороне приёмника может быть однозначно восстановлен исходный аналоговый сигнал.
Основополагающая теорема для систем цифровой обработки сигналов, телекоммуникаций, а также теории связи.
Доп инфа.
Другими словами период дискретизации должен хотя бы в два раза меньше периода наивысшей частотной составляющей спектра непрерывного сигнала, т.е. на каждый период наивысшей частотной составляющей должно приходиться по крайней мере два отсчёта (выборки).определяет также, что в непрерывном сигнале и соответствующем ему дискретном сигнале, полученном по приведённым выше правилам, содержится одинаковая информация, поэтому представление одного из этих двух сигналов другим является взаимно-однозначным.