Предмет и задачи теории информации
Лекционный курс
По дисциплине
«Основы теории информации»
Составитель Киселева Н.Н. – преподаватель высшей квалификационной категории
Содержание
Тема 1.1 Предмет и базовые понятия теории информации. 4
1. Предмет и задачи теории информации. 4
2. Базовые понятия теории информации. 5
3. Информационные процессы.. 7
4. Виды информации. 10
5. Способы измерения информации. 13
Контрольные вопросы: 15
Тема 1.2. Определение количества информации. 16
1. Количество информации как мера уменьшения неопределенности. 16
2. Алфавитный подход к определению количества информации. 20
3. Определение количества информации на основе вероятностного подхода. 22
Контрольные вопросы: 24
Тема 1.3. Двоичное кодирование информации. 25
1. Двоичное кодирование символов. 25
2. Двоичное кодирование числовой информации. 26
3. Перевод чисел из одной позиционной СС в другую. 28
4. Арифметические операции в позиционных системах счисления. 32
Контрольные вопросы: 36
Тема 1.4. Представление и кодирование информации. 37
1. Кодирование и декодирование информации. 37
2. Двоичное кодирование текстовой информации. 39
3. Двоичное кодирование графической информации. 40
4. Двоичное кодирование звуковой информации. 45
5. Двоичное кодирование видеоинформации. 48
6. Сжатие информации. 49
Контрольные вопросы: 55
Тема 1.5. Основы передачи данных. 56
1. Модель системы передачи данных. 56
2. Каналы передачи информации. 59
3. Помехозащищенность и помехоустойчивость передачи информации. 61
4. Методы повышения помехозащищенности и помехоустойчивости передачи и приема данных 63
Контрольные вопросы: 65
Тема 1.1 Предмет и базовые понятия теории информации
1. Предмет и задачи теории информации.
Базовые понятия теории информации.
3. Информационные процессы.
4. Виды информации.
Способы измерения информации.
Предмет и задачи теории информации
Основными объектами изучения науки информатики являются информация и информационные процессы. Информатика как самостоятельная наука возникла в середине ХХ столетия, однако научный интерес к информации и исследования в этой области появились раньше.
В начале ХХ века активно развиваются технические средства связи (телефон, телеграф, радио). В связи с этим появляется научное направление “Теория связи”. Его развитие породило теорию кодирования и теорию информации, основателем которых был американский ученый К.Шеннон. Теория информации решала проблему измеренияинформации, передаваемой по каналам связи. Известны два подхода к измерению информации: содержательныйи алфавитный.
Важнейшая задача, поставленная теорией связи, — борьба с потерей информации в каналах передачи данных. В ходе решения этой задачи сформировалась теория кодирования, в рамках которой изобретались способы представления информации, позволяющие доносить содержание сообщения до адресата без искажения даже при наличии потерь передаваемого кода. Эти научные результаты имеют большое значение и сегодня, когда объемы информационных потоков в технических каналах связи выросли на многие порядки.
Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи.
Предшественником современной информатики явилась наука “Кибернетика”, основанная трудами Н.Винера в конце 1940-х — начале 50-х годов. В кибернетике произошло углубление понятия информации, было определено место информации в системах управления в живых организмах, в общественных и технических системах. Кибернетика исследовала принципы программного управления. Возникнув одновременно с появлением первых ЭВМ, кибернетика заложила научные основы как для их конструктивного развития, так и для многочисленных приложений.
ЭВМ (компьютер) — автоматическое устройство, предназначенное для решения информационных задач путем осуществления информационных процессов:хранения, обработкии передачи информации.Описание основных принципов и закономерностей информационных процессов также относится к теоретическим основам информатики.
Компьютер работает не с содержанием информации, которое способен воспринимать только человек, а с данными, представляющими информацию. Поэтому важнейшей задачей для компьютерных технологий является представление информации в форме данных, пригодных для их обработки. Данные и программы кодируются в двоичном виде. Обработка любого типа данных сводится в компьютере к вычислениям с двоичными числами. Именно поэтому компьютерные технологии еще называют цифровыми. Понятие о системах счисления, о представлении чисел в компьютере относятся к базовым понятиям информатики.
Понятие “язык” происходит из лингвистики. Язык—это система символьного представления информации, используемая для ее хранения и передачи. Понятие языка относится к числу базовых понятий информатики, поскольку как данные, так и программы в компьютере представляются в виде символьных конструкций. Язык общения компьютера с человеком все более приближается к формам естественного языка.
К фундаментальным основам информатики относится теория алгоритмов. Алгоритмрассматривается как управляющая информация в кибернетической модели системы управления. Структура основных категорий информатики представлена на рис.1.
Рис.1.1 Структура основных категорий информатики
Таким образом, Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, "размеров" канала связи и т.п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.