Системы с конвейерной обработкой информации 4 страница

RoadRunner построен по гибридной схеме из двухядерных процессоров AMD Opteron и из процессоров IBMCell 8i, смонтированных на специальных блейд-модулях (печатных платах) TriBlades (рис. 5.8), соединенных с помощью коммуникационной сети Infiniband. По данным разработчиков установка занимает 560 , весит 226 тонн. Общее энергопотребление установки – 2,35 МВт, при энергоэффективности (энергопотребление на миллион операций в секунду) – 437 Mflop/s/Вт. Стоимость компьютера оценена в 133 млн. долларов. Пиковая производительность составила 1,378 Pflop/s, а на тесте Linpack – 1,026 Pflop/s.

Министерство Энергетики США планирует использовать компьютер RoadRunner для расчета старения ядерных материалов и анализа безопасности и надежности ядерного арсенала США. А также планируется его использование для научно-финансовых, транспортных, аэрокосмических расчетов.

Основой компьютера являются, так называемые, модули TriBlade (рисунок 5.14), состоящие из одной печатной платы LS21, платы расширения (Expansion blade) и двух плат QS22. Плата LS21 содержит 2 двухядерных процессора AMD Opteron 2210, работаю-

щих с тактовой частотой 1,8 ГГц, и имеющих 16 Гбайт оперативной памяти, по 4 Гбайта на ядро.

Каждая плата QS22 содержит также два процессора, но уже другого типа - PowerxCell 8i фирмы IBM для обработки данных, работающих на частоте 3,2 ГГц. Каждый процессор включает в себе одно универсальное ядро Power (PPE) и 8 специальных ядер для операций с плавающей точкой (SPE), а также по 4 Гбайта оперативной памяти на каждый процессор. Кроме этого на плате уста-новлены еще два процессора – Infiniband 4 x DDR, обеспечивающие ввод-вывод данных, либо, если нет операций ввода-вывода, выполняющие вычислительные операции.

Плата расширения соединяет платы QS22 через четыре разъема PCI x 8 (по два на плату QS22) с платой LS21.

Таким образом, один блейд-модуль TriBlade состоит из четырех печатных плат и занимает соответственно 4 слота (разъема) на объединительной печатной плате, названной шасси – BladeCenter H. На шасси размещены три блейд-модуля –12 печатных плат: 3 платы LS21, 6 плат QS22 и 3 платы расширения. На рисунке 5.14 схематически представлены конструкции шасси.

Шасси (рисунок 5.15) объединены в объединенные модули по схеме, представленной на том же рисунке 5.15 – конструктивные блоки. Объединенный модуль – это 60 шасси BladeCenter H с установленными блейд-модулями TriBlades, - всего 180 TriBlades. На рисунке 5.16 показана структура объединенного модуля, из которого видно, что все TriBlades подсоединены к 288 – портовому маршрутизатору Voltaire ISR2012 Infiniband (объединяющая связка) с помощью которого реализуется связь с другими объединенными модулями, образующими кластер.

Каждый объединенный модуль также подсоединен к файловой системе Panasas через 12 серверов (систем ввода-вывода) System x 3755. На нижеследующем рисунке 5.16 представлена архитектура объединенного модуля, где отчетливо прослеживается система с массивным параллелизмом.

Итоговую информацию по составу объединенного модуля можно представить следующим образом:

- 360 2-х ядерных процессоров Opteron c 2,88 Тбайтами памяти;

- 720 процессоров PowerXCell с 2,88 Тбайтами памяти;

- 12 серверов – узлов ввода-вывода – System x 3755 с двумя линиями Ithernet - 10 Мбит/с каждая;

- 288-портовый маршрутизатор Voltaire ISR2012 со 192 Infinitiband x 4 DDR (180 TriBlades и 12 узлов ввода-вывода).

Чтобы читатель мог более наглядно

представить себе конструктивное исполнение объединенного модуля, на рисунке 5.11 приведен примерный вид его конструкции.

Семнадцать таких объединенных модулей соединяются с помощью дополнительных 8 маршрутизаторов ISR2012 второго уровня в кластер. На рисунке 5.17 схематично изображена архитектура кластера, выделенная цветом. Каждый объединенный модуль подключен к соответствующему маршрутизатору через 12 каналов связей. Кластеры образуют систему с общедоступной памятью (см. 4 главу настоящей книги) благодаря межкластерным связям. Таким образом, формируется общая архитектура суперкомпьютера RoadRunner, как это представлено на рисунке 5.17. Суммарная вычислительная мощность кластера обеспечивается 6120 процессорами Opteron с 49 Тбайтами памяти на 3060 платах LS21 и 12240 процессорами Cell с такими же 49 Тбайтами памяти на 6120 печатных платах QS22. Связь с периферией кластеру обеспечивают 204 узла ввода-вывода System x 3755.

Архитектурно компьютер RoadRunner имеет кластерную структуру, это иллюстрируется рисунком 5.18. Кластер включает 17 объединенных модулей, каждый из которых занимает объем компьютерной стойки (образно говоря - металлический шкаф). В

каркасе шкафа размещается некоторое количество модулей - металлических каркасных конструкций, заполненных конструкциями шасси, внешний вид которых иллюстрируется рисунком 5.15. Общий вид конструкции «Объединенного модуля» можно схематически представить так, как это выглядит на рисунке 5.17. Набор из семнадцати стоек объединенных модулей, стоек с коммутаторами и другим коммуникационным оборудованием и устройствами ввода-вывода образует кластер. Компьютер в целом является объединением 16 таких «наборов» и образует сооружение, состоящее из впечатляющего количества стоек – порядка трех сотен.

Завершим знакомство с суперкомпьютером RoadRunner тем, что он работает под управлением операционной системы Red Hat Enterprise Linux при поддержке программного обеспечения xCAT.

5.7 Прогнозируемое направление перспективного развития компьютерных и сетевых архитектур – архитектура Grid.

Определение этому «явлению» дается в следующей формулировке: «Grid – это метод использования распределенных компьютерных мощностей и распределенных систем хранения, ставший популярным благодаря схемам, позволяющим использовать незанятые вычислительные ресурсы, разбросанные по всему миру. Сегодня, в основном по причинам недостаточной безопасности, системы, построенные на принципах Grid, создаются чаще всего внутри предприятий, этот метод позволяет им более эффективно использовать вычислительные ресурсы».

Наряду со словом Grid в компьютерной терминологии появилось и словосочетание Grid-компьютинг, употребляемое там, где отдельный компьютер становится частью сложной вычислительной системы – «это новый класс инфраструктур, в которых из удаленных ресурсов складывается безопасный и масштабируемый вычислительный механизм. В состав этого механизма могут входить компьютеры, начиная от настольных до серверных ферм и суперкомпьютеров, программные средства и устройства ввода-вывода. В основе Grid лежат программные технологии, использующие новые стандарты и протоколы совместно с известными сетевыми и Internet-протоколами».

На современном уровне коммуникационной основой структуры Grid являются высокоскоростные сети, относящиеся к Internet 2, такие, как Albiene (10 Гбит/с), английская Super Janet, общеевропейская GEANTnet, канадская CA*net3, азиатская APAN и еще ряд других сетей. Особые надежды возлагаются на трансконтинентальную сеть Global Terabit Research Network (GTRN) или Tera-Grid, которая должна иметь каналы в Европе и Америке и быть логически объединенной с азиатскими сетями. Сеть в качестве национальной магистрали или магистрали предприятий должна обеспечить подключенным компьютерам услуги с пропускной способностью, соответственно, 1000, 100, 10 и 1 Гбит/с. Подключения могут быть реализованы с помощью волоконно-оптических линий связи или на основе витых пар. Первыми планируется подключение к магистрали суперкомпьютерных центров Иллинойского и Калифорнийского университетов, Национальной Аргонской лаборатории (ведущее подразделение в области Grid-технологий) и Калифорнийского технологического института в Пасадене. Ожидаемая совокупная вычислительная мощность этого объединения – 13,6 Tflops.

Отмечается и соответствующее развитие программного обеспечения для создания Grid-приложений. Особое место отводится ОС Linux, поскольку Linux-кластеры составят основу вычислительной мощности TeraGrid. Прорывом стала CORBA, технологии Jini и Java RMI. В 2001 году компания Sun Microsystems предложила проект Project JXTA, ориентированный на создание пятиуровневой сетевой операционной среды, где верхним уровнем может быть уровень Grid-приложений

“Grid-продукты”. Фирма Sun Microsystems, например, различает три основных категории сетей.

· Cluster Grid – относительно простая вычислительная сеть, предоставляющая ресурсы пользователям одной рабочей группы, одного департамента, одного проекта.

· Campus (Enterprise) Grid – вычислительная сеть корпоративного уровня, охватывающая несколько групп, работающих над различными проектами. Здесь должны быть реализованы политики разделения и обмена ресурсов.

· Global Grid – сеть, которая эксплуатируется несколькими независимыми организациями, предоставляющими друг другу свои ресурсы. Между ними установлены определенные правила предоставления ресурсов, определенные протоколы взаимодействия.

Главным правилом стратегии Grid становится превращение сотен и тысяч компьютеров, объединенных вычислительной сетью в единый компьютер. Распределение задач по вычислительным ресурсам как в многопроцессорном сервере: мониторинг, диспетчеризация, приоритеты. Выделение ресурсов хранения – как в дисковой системе: создал раздел, создал файловую систему, отдал приложению. Работа в сети тоже как в компьютере: единый адрес, управление трафиком, резервирование каналов. Расширение системы должно быть не сложнее добавления процессора в сервер. Каждый добавляющийся ресурс (вычислительный сервер, дисковая система, сетевой коммутатор) отдается в распоряжение диспетчеру сети, который распределяет приложения пользователей по эти ресурсам. Администратор сети будет управлять не отдельными компьютерами, дисками, коммутаторами, а службами, которые они представляют – сетевыми, вычислительными, хранения.

Очень выразительной представляется приводимая аналогия системGrid с электросетью, к которой каждый пользователь может подключиться через розетку в любое время и взять столько электроэнергии, сколько ему требуется.

Вопросы и задания для самопроверки

5.1. Перечислите прогнозируемые направления современного развития вычислительной техники.

5.2. Поясните определение векторно-конвейерных суперсистем. Приведите пример такой системы.

5.3. В чем проявляется симметричность «симметричных мультипроцессорных систем»? приведите пример такой системы.

5.4. Назовите проблемы, присущие симметричным суперкомпьютерным системам.

5.5. Какие вычислительные системы называют системами с массовым параллелизмом? В чем заключается основная идея?

5.6. Объясните понятие «транспьютерный линк». Как их используют?

5.7. Характеризуйте кластерные системы. Имеется ли эффективность от их применения?

5.8. Что представляет собой кластерно-параллельная архитектура и как она соотносится с гибридной схемой?

5.9. Дайте определение архитектуры Grid.

5.10. Поясните термин «Grid-компьютинг».

5.11. Как Вы считаете, почему в качестве операционной системы для Grid выбрана ОС Linux?

5.12. Какие три категории сетей Grid различают?

Глава шестая

Системы телеобработки

6.1 Определения и организация

Системой телеобработки называют систему, представляющую совокупность технических и программных средств, предназначенных для обработки данных, передаваемых между ЭВМ и пользователями по протяженным каналам связи. Понятие протяженность линии связи может определяться расстояниями от десятков до тысяч метров. В общем, виде конфигурация системы телеобработки может быть такой, какая представлена на рис. 6.1.

Создание такой системы стало возможным с появлением технических средств, позволивших оборудовать для пользователей рабочие места, которые получили название абонентских пунктов (АП) по аналогии с названием пользователей телефонных сетей. Подчеркнем, что первые пользователи подключались к ЭВМ через городские телефонные линии, коммутируемые (соединяемые) с помощью автоматических телефонных станций (АТС). Телефонная линия переключалась из режима разговора пользователя абонентского пункта с оператором ЭВМ к машине и начиналась работа пользователя с ЭВМ. Для передачи данных к машине по такой линии связи требуется еще дополнительное устройство, преобра-

зующее данные, форируемые на абонентском пункте в сигналы, «приспособленные» для передачи именно по такой линии связи Такие устройства определили как аппаратуру передачи данных (АПД) и включили их как в состав абонентских пунктов, так и в состав ЭВМ. Абонентские пункты снабдили и возможными устройствами для ввода и вывода данных (УВВ).

Система, состоящая из аппаратуры передачи данных и линий связи, образует канал связи. В общем случае для подключения пользователей-абонентов к ЭВМ может использоваться значительное число каналов связи, которые подключаются к ЭВМ через мультиплексор передачи данных (МПД), содержащий соответствующие устройства, обеспечивающие передачу информации (данных) между ЭВМ и многочисленной АПД каналов связи.

На практике используются различные конфигурации систем телеобработки, зависящие от состава и размещения абонентов, типов каналов связи и интенсивности потоков данных между абонентами и ЭВМ. Наиболее часто используются выделенные каналы связи (некоммутируемые) в виде специального отдельного кабеля, минующего АТС. Если канал предоставлен единственному абоненту (верхний канал на рис. 6.1), он образует двухточечное соединение, если каналом пользуются одновременно несколько абонентов, образуется многоточечное соединение (средний канал на рис. 6.1). Нижние на рисунке 6.1 каналы связи являются телефонными или телеграфными каналами общего пользования, обеспечивающие соединение абонентов с ЭВМ с помощью автоматических телефонных станций. Такие каналы названы коммутируемыми, так как связь устанавливается, например, набором телефонного номера вызываемого абонента.

Взаимодействие удаленных абонентов с ЭВМ обходится значительно дешевле, если используются каналы, обладающие высокой пропускной способностью - высокой скоростью передачи данных (более 10⁵ бит/с). Пользователи на удаленном от ЭВМ конце канала подключаются к нему через удаленный мультиплексор передачи данных (УМПД – средний канал на рис. 6.1) – устройство, обеспечивающее переход от высокоскоростного канала к многочисленным низкоскоростным каналам абонентов.

Системы телеобработки обеспечивают прием данных ЭВМ с непосредственных мест их появления и передачу результатов обработки к местам их непосредственного использования. За счет этого существенно повышается эффективность обработки данных, оперативность взаимодействия пользователей с ЭВМ, расширяется круг пользователей ЭВМ.

В качестве примера эффективного использования режима телеобработки данных можно назвать системы управления различными видами транспорта, системы продажи билетов. Кроме того, эффективность телеобработки повышается за счет использования

средних и мощных ЭВМ, позволяющих подключать значительное число пользователей, обеспечивая тем самым высокий уровень на-грузки ЭВМ, и ее постоянство во времени. В таких системах мож-но создавать большие базы данных, что, в свою очередь снижает стоимость их обработки.

Протяженность линий связи обусловила специфичные формы передачи данных в виде блоков (последовательностей) специальной структуры, обеспечивающей наряду с собственно данными передачу служебной информации, необходимой для идентификации сообщения и защиты его от ошибок. Такой способ общения пользователей с ЭВМ вносит определенную специфику и в программное обеспечение систем телеобработки.

6.2 Характеристики и структура аппаратуры каналов связи

6.2.1 Линии связи

Для передачи данных между пользователями и ЭВМ в системах телеобработки могут использоваться различные типы линий связи: проводные – воздушные, кабельные и волоконно-оптические. В принципе, нельзя исключить и использование таких линий связи, как радиорелейные и радиоканалы, но для систем телеобработки они являются не типичными в силу целого ряда причин.

Воздушные линии конструктивно ничем не отличаются от обычных низковольтных линий электропередач. Это провода, подвешенные на каких-либо опорах над землей. Кабельные линии связи состоят из наборов скрученных между собой пар проводов, объединенных в единую конструкцию с помощью изолирующих и защитных оболочек. Коаксиальные кабели - подобны телевизионным, антенным. Волоконно-оптические линии связи представляют собой отрезки кварцевых («стеклянных») нитей, пропускающих свет с определенной

длиной волны, помещенных в защитную полимерную оболочку и соединенных в непрерывную линию с помощью специальных устройств и приемопередатчиков. Одними из основных и важных характеристик линий связи являются полоса пропускания и помехоустойчивость. Полоса пропускания представляет непрерывный диапазон частот F=f_В – f_Н, для которого отношение амплитуды выходного сигнала к входному, превышает некоторый, заранее заданный предел (уровень), обычно 0,5 (рис. 6.2). В пределах этого диапазона нижняя и верхняя границы частот передаются с наименьшими искажениями.

Полоса частот зависит от типа линии связи и ее протяженности. Проводные линии связи имеют полосу частот примерно 10 кГц, кабельные – 10² кГц, коаксиальные - 10² МГц и волоконно-оптические - 10² МГц. Для передачи данных на небольшие расстояния используют в основном низкочастотные проводные линии, а на большие расстояния – высокочастотные коаксиальные кабели, волоконно-оптические и радиорелейные линии. Наименьшей помехоустойчивостью обладают радиолинии, хорошей помехоустойчивостью – кабельные линии и отличной – волоконно-оптические линии, не восприимчивые к электромагнитному излучению.

6.2.2 Канал связи и его характеристики

Определение понятия канала связи было приведено выше, а варианты структур на рисунке 6.1. Одной из важнейших характеристик канала связи является его пропускная способность, по-другому – скорость передачи данных, определяющая эффективность его работы.

бит/ в секунду (6.1)

Показанная зависимость, названная формулой Клода Шеннона, устанавливает, что скорость передачи данных по каналу связи напрямую зависит от полосы частот F, характеризующей линию связи и ло-

гарифмически от отношения мощностей сигнала ( ) и шума ( ). Последнее соотношение определяет способность приемника однозначно устойчиво воспринимать поступающую информацию. Известно, что в настоящее время наиболее часто используется передача информации двоичными сигналами - битами, принимающими два значения - 0 и 1, то есть сигналами, имеющими два уровня, например, один низкий (десятые доли вольта), другой высокий (единицы вольта). Разница между уровнями определяет возможность их четкого различения, то есть возможность правильного или неправильного «прочтения» информации. Используя два уровня сигнала, можно передать один бит информации, четырьмя уровнями можно передать два бита информации. Увеличивая число уровней, мы увеличиваем количество одномоментно передаваемой информации, то есть скорость ее передачи, или, что, то же самое – пропускную способность канала. Но, надо позаботиться о том, чтобы «расстояния» между уровнями обеспечили их различимость. Для такого случая Найквист вывел следующее соотношение:

, где M определяет число различимых состояний информационного параметра. На рис. 6.3 б) показан пример возможного изменения информационного параметра (в данном случае четыре различимых уровня, М=4) сигнала. Теперь за один такт передаются два бита вместо одного, как в случае 6.3 а).

Наиболее распространенный телефонный канал имеет полосу пропускания

F=f_В – f_Н =3,4 кГц – 0,3 кГц = 3,1 кГц

и обеспечивает скорость передачи данных, равную С=1200 бит/с. Такой же канал, но не коммутируемый, обеспечивает скорость С=9600 бит/с.

В свое время были стандартизированы следующие скорости передачи данных по каналам связи: 200, 300, 600, 1200, 2400, 4800, 9600, 12 000, 24 000, 48 000, 96 000 бит/с. Каналы с пропускной способностью до 300 бит/с назвали низкоскоростными, от 600 до 4800 – среднескоростными, а с большей пропускной способностью – высокоскоростными.

Важнейшей составной частью канала является аппаратура передачи данных (АПД), назначением которой является «привязка» информационного сигнала к частотам полосы пропускания канала. Первоначально информационный сигнал представляетсяпоследовательностью прямоугольных импульсов, имеющих полосу частот от нуля до бесконечности. Реальные каналы связи имеют конечную полосу частот, с которой необходимо согласовать передаваемые сигналы. Согласование обеспечивается, во-первых, путем модуляции – «вплетения» информационного сигнала в несущую частоту передатчика и, во-вторых, путем кодирования – преобразования

данных в вид, позволяющий обнаруживать и исправлять ошибки, возникающие из-за помех в канале связи. Модулятор перемещаетспектр первичного сигнала в окрестность несущей частоты передатчика - , демодулятор выполняет над сигналом обратное преобразование, формируя из модулированного сигнала импульсный сигнал.

Различают два способа модуляции: аналоговую и дискретную. Для «привязки» сигнала к полосе пропускания используют аналоговую модуляцию, подразделяющуюся на три вида: амплитудную модуляцию, частотную модуляцию и фазовую модуляцию. На рисунке 6.4 приведены примеры: способов модуляции и при этом показаны возможные преобразования сигнала.

Дискретные способы модуляции применяются для преобразования аналоговых сигналов, например, речевых, в цифровые. Для этих целей наиболее широко используются амплитудно-импульсная, кодово-импульсная и времяимпульсная модуляция.

Кроме перечисленных способов модуляции сигнала применяют различные способы его кодирования. Кодирование производится из соображений повышения помехоустойчивости данных, а также обеспечения возможности обнаружения и исправления ошибок в передаваемых данных.

На рисунке 6.5 изображена структура канала связи, в котором первичным сигналом, представляющим кодовую последовательность импульсов, в блоке модулятора (БМ) модулируется несущая частота генератора синусоидального сигнала (ГНЧ). Каждый бит входного сигнала вводится в блок модулятора строго по команде синхросигнала (последовательность прямоугольных импульсов), генерируемого тактовым генератором (ТГ). Таким образом, сигнал

синхронизации «привязывается» к информационному сигналу, пе-редается вместе с ним, и выделяется на приемной стороне в блокедемодулятора (БДМ). Модулированный в БМ сигнал поступает в полосовой фильтр (ПФ), ограничивающий полосу сигнала в соответствии с нижней и верхней границей полосы канала и затем с заданной полосой частот передается в линию связи, подключенную к демодулятору на приемной стороне.

На входе демодулятора приемной стороны также имеется полосовой фильтр, выделяющий заданную полосу частот. С него сигнал поступает в блок демодуляции (БДМ), на выходе которого формируются двоичные сигналы, используемые для выделения тактовой частоты точно повторяющей тактовую частоту передаваемых сигналов. Тактовая частота формируется синхронизируемым генератором (СТГ), фаза и частота, которого автоматически подстраивается под фазу и частоту сигналов поступающих с БДМ. Сигналы синхронизации с СТГ поступают в блок регенерации сигналов (РС), формирующий прямоугольные импульсы – биты данных со значением 1, точно повторяющие передаваемые данные. Кроме того, сформированная СТГ тактовая частота используется для синхронизации обработки принятых данных. Описанный канал связи называется синхронным, так как в нем передача и прием данных производятся с постоянной тактовой частотой, одинаковой на входе и выходе канала. Синхронизм передающего и принимающего оборудования канала обеспечивается автоматически за счет подстройки частоты синхронизируемого тактового генератора (СТГ) в приемном демодуляторе. Следует учесть, что на распространение сигнала по каналу связи требуется определенное время, поэтому фаза принятого сигнала сдвинута относительно передаваемого сигнала, но, тем не менее, благодаря присутствию (в не-

явном виде) в принятом сигнале сигналов синхронизации, приня-тый и передаваемый сигналы точно соответствуют друг другу по всем параметрам.

В зависимости от порядка передачи данных различают симплексные, полудуплексные и дуплексные каналы.

В симплексном канале один абонент может только передавать данные, другой – только принимать (односторонняя связь - типа радио или телевидения). Полудуплексный канал обеспечивает передачу данных в двух направлениях поочередно (один абонент передает, другой принимает, затем наоборот). Дуплексный каналпозволяет одновременно передавать данные (одновременно принимать данные) двум абонентам за счет использования четырехпроводной линии связи.

Для повышения достоверности передачи данных из основной полосы частот пропускания канала выделяется небольшая подполоса частот, работающая, как правило, со скоростью 75 бит/с. Этот поддиапазон частот используется для передачи подтверждающих правильность приема сигналов в обратном направлении. Если в принятом блоке сигналов обнаруживается ошибка, то посылается сигнал на повторную передачу этого блока данных.

При работе в коммутируемых каналах, использующих телефонные или телеграфные линии связи, соединение абонента с ЭВМ может быть установлено с помощью телефонного аппарата. Абонент набирает номер оператора ЭВМ и передает ему просьбу на подключение его линии к ЭВМ. Набор номера телефона оператора ЭВМ может быть выполнен в автоматическом режиме. В этом случае модем снабжается автоматическим номеронабирателем.

6.3 Сопряжение ЭВМ с каналами связи

Средства сопряжения ЭВМ с каналами связи должны обеспечить обмен данными и управление обменом между аппаратурой передачи данных (АПД) и ЭВМ. Управление обменом программируется командами ввода-вывода, выполнение которых сводится к вводу в заданную область оперативной памяти ЭВМ сообщений (информации), поступающих по каналу связи или выводу данных, хранимых в оперативной памяти, в канал связи. Кроме этого, системой управления формируются сигналы, характеризующие состояние средств сопряжения (включены/выключены, заняты/свободны и др.) и их работоспособность. Средства сопряжения могут «нагружаться» дополнительными функциями, обеспечивающими повышение достоверности принимаемых данных путем их проверки и перезапроса сообщений, содержащих ошибки. В качестве средств сопряжения применяются линейные адаптеры и мультиплексоры передачи данных. Иногда используют, так назы-