Многоуровневая организация памяти

Обычно памятью машины называют оперативное запоминающее устройство ОЗУ. ОЗУ используется для записи программ, а также исходных данных, промежуточных и конечных результатов.

Внешние запоминающие устройства (ВЗУ) обладают практически неограниченным объемом памяти и наименьшим быстродействием.

ОЗУ не сохраняет информацию при отключении питания. Существуют ПЗУ, которые сохраняют информацию при отключении питания. ПЗУ работают только в режиме чтения, а ОЗУ в режиме чтения и записи. Существуют перепрограммируемые ПЗУ (ППЗУ), которые сохраняют информацию при отключении питания и допускают запись информации.

Характеристики устройств памяти

Важнейшими характеристиками отдельных устройств памяти являются емкость памяти, удельная емкость, время доступа.

Емкость памяти определяется максимальным количеством данных, которые могут в ней храниться. Емкость измеряется в двоичных единицах (битах), машинных словах, но большей частью в байтах.

Время доступа к памяти – время, которое занимает установка адреса на адресной шине и считывание данных с шины данных.

В некоторых устройствах памяти считывание информации сопровождается ее разрушением (стиранием). В таком случае цикл обращения должен содержать операцию восстановления (регенерации) считанной информации на прежнем месте в памяти.

Таким образом, время доступа к памяти при считывании определяется по формуле

tобр_с= tдост_с+ tсчит+ tрег,

где tдост_с- промежуток времени между моментом начала операции считывания и моментом, когда становится возможным доступ к данной единице информации;

tсчит- продолжительность самого физического процесса считывания;

tрег- время, затрачиваемое на регенерацию информации (равно нулю для ЗУ, которым регенерация не требуется).

Время доступа при записи определяется по формуле

tобр_з= tдост_з+ tподг+ tзап,

где tдост_з- промежуток времени между моментом начала операции записи и моментом, когда становится возможным доступ к запоминающим элементам;

tподг- время подготовки, расходуемое на приведение в исходное состояние запоминающих элементов для записи заданной единицы информации;

tзап- время занесения информации.

В качестве продолжительности цикла обращения к памяти принимается величина

tобр= max(tобр_с, tобр_з).

Регистровая память

Регистровая память, или СОЗУ (сверх ОЗУ), обладает наибольшим быстродействием. Она обычно реализуются на регистрах, поэтому в МП СОЗУ называется РОН. Объем памяти СОЗУ очень мал.

Каждый из регистров имеет уникальную природу и предоставляет определенные возможности, которые другими регистрами или ячейками памяти не поддерживаются.

Регистры общего назначения процессора используются в операциях большинства инструкций в качестве источника или приемника при перемещении данных и вычислениях, указателей на ячейки памяти и счетчиков. Каждый регистр общего назначения может использоваться для хранения значения, в арифметических и логических операциях; между регистром и памятью может выполняться обмен (запись из регистра в память и наоборот).

Буферная память

Кэширование памяти

Производительность ПК зависит не только от процессора. Большой потенциал производительности ПК связан с организацией и способом функционирования памя­ти. Важную роль при этом играет кэш-память.

Кэш-память выполняет функцию буфера между процессором и оперативной памятью.

Буфер – область памяти, используемая для временного хранения информации.

Данные, которые процессор уже получил из оперативной памяти, остаются в быст­рой кэш-памяти, несмотря на то, что они уже обработаны. Подра­зумевается, что при обмене данными и при выполнении большо­го числа операций процессор будет часто запрашивать одни и те же данные и команды. При обращении микропроцессора к памяти сначала производится поиск нужных данных в кэш-памяти.

При отсутствии кэш-памяти данные каждый раз считываются из относительно медленной оперативной памяти компьютера. Процессор прерывает свою текущую работу и ждет, пока будут получены необходимые данные для дальнейшей обработки.

При наличии кэш-памяти данные находятся в специально предназначенной для процессора исключительно быстрой памя­ти, и при их запросе циклы ожидания отсутствуют.

При управлении кэш-памятью речь идет не о простой памяти, организованной по принципу стека, которая теряет старые данные, если в нее считываются новые. С помощью специальных алгорит­мов, наиболее простым из которых является алгоритм LRU (Least Recently Used – алгоритм удаления наиболее давно использовавшихся данных), чаще используемые данные хранятся в этой памяти доль­ше, чем другие. Благодаря этому необходимость доступа к основ­ной памяти сводится к минимуму, и компьютер в целом работает быстрей.

В современных компьютерах кэш обычно строится по двухуровневой схеме. Первич­ный кэш (LI Cache) встроен во все процессоры класса 486 и выше; это внутренний кэш. Объем этого кэша невелик (8-32 Кбайт). Чтобы повысить производитель­ность, для данных и команд часто используется раздельный кэш (так называемая Гарвардская архитектура – противоположность Принстонской, использующей общую память для команд и данных). Вторичный кэш (L2 Cache) для процессо­ров 486 и Pentium является внешним (устанавливается на системной плате), а у Р6 и Pentium 4 располагается в одной упаковке с ядром и подключается к специальной внутрен­ней шине процессора, благодаря чему обеспечивается работа на полной тактовой частоте процессора.

Кэш-контроллер должен обеспечивать когерентность (coherency) – согласован­ность данных кэш-памяти обоих уровней с данными в основной памяти при том условии, что обращение к этим данным может производиться не только процессо­ром, но и другими активными (bus master) адаптерами, подключенными к шинам (PCI, VLB, ISA и т. д.). Следует также учесть, что процессоров может быть несколь­ко, и у каждого может быть свой внутренний кэш.

Кэш-память первого уровня, интегрированная внутри процессо­ра, работает на полной внутренней тактовой частоте процессора, кэш-память второго уровня обычно работает на внешней тактовой частоте процессора.

Архитектура современных 32-разрядных процессоров включает ряд средств кэши­рования памяти: два уровня кэша инструкций и данных (LI Cache и L2 Cache), буферы ассоциативной трансляции (TLB) блока страничной переадресации и буферы записи. Эти средства в разных вариациях (на кристалле, картридже про­цессора или на системной плате) представлены в системах с процессорами 486, Pentium, Р6 и Pentium 4.

Процессор Pentium III имеет L2-кэш объемом 256 Кбайт, который работает на тактовой частоте, равной тактовой частоте ядра. У процессора Pentium 4 L2-кэш имеет объем 256 Кбайт, работает на тактовой частота ядра, обмен данными с ядром процессора идет по 256-битной шине.

Принципы кэширования

Основная память компьютеров реализуется на относительно медленной динами­ческой памяти (DRAM), обращение к ней приводит к простою процессора – по­являются такты ожидания (wait states). Статическая память (SRAM), построен­ная, как и процессор, на триггерных ячейках, по своей природе способна догнать современные процессоры по быстродействию и сделать ненужными такты ожи­дания (или хотя бы сократить их количество). Разумным компромиссом для по­строения экономичных и производительных систем явился иерархический спо­соб организации оперативной памяти. Идея заключается в сочетании основной памяти большого объема на DRAM с относительно небольшой кэш-памятью на быстродействующих микросхемах SRAM.

Кэш является дополнительным быстродей­ствующим хранилищем копий блоков информации из основной памяти, вероят­ность обращения к которым в ближайшее время велика. Кэш не может хранить копию всей основной памяти, поскольку его объем во много раз меньше основной памяти. Он хранит лишь ограниченное количество блоков данных и каталог (cache directory) – список их текущего соответствия областям основной памяти. Кроме того, кэшироваться может не вся память, доступная процессору.

При каждом обращении к памяти контроллер кэш-памяти по каталогу проверяет, есть ли действительная копия затребованных данных в кэше. Если она там есть, то это случай кэш-попадания (cache hit), и данные берутся из кэш-памяти. Если действительной копии там нет, это случай кэш-промаха (cache miss), и данные берутся из основной памяти. В соответствии с алгоритмом кэширования блок данных, считанный из основной памяти, при определенных условиях заместит один из блоков кэша. От интеллектуальности алгоритма замещения зависит про­цент попаданий и, следовательно, эффективность кэширования. Поиск блока в списке должен производиться достаточно быстро, чтобы «задумчивостью» в при­нятии решения не свести «на нет» выигрыш от применения быстродействующей памяти. Обращение к основной памяти может начинаться одновременно с поис­ком в каталоге, а в случае попадания – прерываться (архитектура Look aside). Это экономит время, но лишние обращения к основной памяти ведут к увеличе­нию энергопотребления. Другой вариант: обращение к внешней памяти начина­ется только после фиксации промаха (архитектура Look Through), при этом теря­ется, по крайней мере, один такт процессора, зато экономится энергия.

Контроллер кэша оперирует строками (cache line) фиксированной длины. Строка может хранить копию блока основной памяти, размер которого, естественно, совпа­дает с длиной строки. С каждой строкой кэша связана информация об адресе ско­пированного в нее блока основной памяти и ее состоянии. Строка может быть действительной (valid) – это означает, что в текущий момент времени она досто­верно отражает соответствующий блок основной памяти – или недействи­тельной.

Информация о том, какой именно блок занимает данную строку (т.е. старшая часть адреса или номер страницы), и о ее состоянии называется тегом (tag) и хра­нится в связанной с данной строкой ячейке специальной памяти тегов (tag RAM). В операциях обмена с основной памятью обычно строка участвует целиком (несекторированный кэш), для процессоров 486 и выше длина строки совпадает с объ­емом данных, передаваемых за один пакетный цикл (для 486 – это 4х4=16 байт, для Pentium – 4х8=32 байт). Возможен и вариант секторированного (sectored) кэша, при котором одна строка содержит несколько смежных ячеек – секторов, размер которых соответствует минимальной порции обмена данных кэша с основ­ной памятью. При этом в записи каталога, соответствующей каждой строке, дол­жны храниться биты действительности для каждого сектора данной строки. Секторирование позволяет экономить память, необходимую для хранения каталога при увеличении объема кэша, поскольку большее количество бит каталога отводится под тег, и выгоднее использовать дополнительные биты действительности, чем увеличивать глубину индекса (количество элементов) каталога.

Строки кэша под отображение блока памяти выделяются при промахах операций чтения, в Р6 строки заполняются и при записи. Запись блока, не имеющего копии в кэше, производится в основную память (для повышения быстродействия запись может производиться через буфер отложенной записи). Поведение кэш-контрол­лера при операции записи в память, когда копия затребованной области находит­ся в некоторой строке кэша, определяется его алгоритмом, или политикой записи (Write Policy). Существует две основных политики записи данных из кэша в основную память: сквозная запись WT (Write Through) и обратная запись WB (Write Back).

Политика WT предусматривает одновременное выполнение каждой операции за­писи (даже однобайтной), попадающей в кэшированный блок, в строку кэша и в основную память. При этом процессору при каждой операции записи придется выполнять относительно длительную запись в основную память. Алгоритм дос­таточно прост в реализации и легко обеспечивает целостность данных за счет по­стоянного совпадения копий данных в кэше и основной памяти. Для него не нуж­но хранить признаки присутствия и модифицированности – вполне достаточно только информации тега (при этом считается, что любая строка всегда отражает какой-либо блок, а какой именно – указывает тег). Но эта простота оборачивает­ся низкой эффективностью записи. Существуют варианты этого алгоритма с при­менением отложенной буферизованной записи, при которой данные в основную память переписываются через FIFO-буфер во время свободных тактов шины.

Политика WB позволяет уменьшить количество операций записи на шине основ­ной памяти. Если блок памяти, в который должна производиться запись, отобра­жен в кэше, то физическая запись сначала будет произведена в эту действительную строку кэша, которая отмечается как грязная (dirty), или модифицированная, т.е. требующая выгрузки в основную память. Только после этой выгрузки (запи­си в основную память) строка станет чистой (clean), и ее можно будет использо­вать для кэширования других блоков без потери целостности данных. В основную память данные переписываются только целой строкой. Эта выгрузка контролле­ром может откладываться до наступления крайней необходимости (обращение к кэшированной памяти другим абонентом, замещение в кэше новыми данными) или выполняться в свободное время после модификации всей строки. Данный алгоритм сложнее в реализации, но существенно эффективнее, чем WT. Поддерж­ка системной платой кэширования с обратной записью требует обработки до­полнительных интерфейсных сигналов для выгрузки модифицированных строк в основную память, если к этой области производится обращение со стороны таких контроллеров шины, как другие процессоры, графические адаптеры, кон­троллеры дисков, сетевые адаптеры и т. п.

В зависимости от способа определения взаимного соответствия строки кэша и обла­сти основной памяти различают три архитектуры кэш-памяти: кэш прямого ото­бражения (direct-mapped cache), полностью ассоциативный кэш (fully associative cache) и их комбинация – частично или наборно-ассоциативный кэш (set-associative cache).

Кэш прямого отображения

В кэш-памяти прямого отображения адрес памяти, по которому происходит обра­щение, однозначно определяет строку кэша, в которой может находиться требуе­мый блок. Принцип работы такого кэша поясним на примере несекторированного кэша объемом 256 Кбайт с размером строки 32 байта и объемом кэшируемой основной памяти 64 Мбайт – типичный кэш системной платы для Pentium. Струк­туру памяти в такой системе иллюстрирует рис. 5.

Рис. 5. Кэш прямого отображения

Кэшируемая основная память условно разбивается на страницы (в данном случае по 256 Кбайт), размер которых совпадает с размером кэш-памяти (256 Кбайт). Кэш­-память (и, условно, страницы основной памяти) делятся на строки (256 Кбайт/32= 8 Кбайт строк). Архитектура прямого отображения подразумевает, что каждая строка кэша может отображать из любой страницы кэшируемой памяти толь­ко соответствующую ей строку (на рис. 5 они находятся на одном горизонталь­ном уровне). Поскольку объем основной памяти много больше объема кэша, на каждую строку кэша может претендовать множество блоков памяти с одинаковой младшей частью адреса (смещением внутри страницы). Одна строка в определен­ный момент может, естественно, содержать копию только одного из этих блоков. Номер (адрес) строки в кэш-памяти называется индексом (index). Тег несет инфор­мацию о том, какой именно блок занимает данную строку (то есть старшая часть адреса или номер страницы). Память тегов должна иметь количество ячеек, рав­ное количеству строк кэша, а ее разрядность должна быть достаточной, чтобы вместить старшие биты адреса кэшируемой памяти, не попавшие на шину адреса кэш-памяти. Кроме адресной части тега, с каждой строкой кэша связаны биты признаков действительности и модифицированности данных. В начале каждого обращения к кэшируемой памяти контроллер вначале считывает ячейку каталога с заданным индексом, сравнивает биты адреса тега со старшими битами адреса памяти и анализирует признак действи­тельности. Этот анализ выполняется в специальном цикле слежения (snoop cycle), иногда его назы­вают циклом запроса (inquire). Если в результате анализа выясняется, что требуе­мого блока нет в кэше, генерируется (или продолжается) цикл обращения к ос­новной памяти (случай кэш-промаха). В случае попадания запрос обслуживается кэш-памятью. В случае промаха после считывания основной памяти приемником информации новые данные помещаются в строку кэша (если она чистая), а в ее тег помещаются старшие биты адреса и устанавливается признак действительно­сти данных. Независимо от объема затребованных данных в кэш из основной па­мяти строка переписывается вся целиком (поскольку признак действительности относится ко всем ее байтам). Если контроллер кэша реализует упреждающее считывание (read ahead), то в последующие свободные циклы шины также обно­вится и следующая строка (если она была чистой). Чтение «про запас» позволяет при необходимости осуществлять пакетный цикл чтения из кэша через границу строки.

Такой кэш имеет самую простую аппаратную реализацию и применяется во вторичном кэше большинства системных плат. Однако ему присущ серьезный недостаток, вполне очевидный при рассмотрении рис. 5. Если в процессе вы­полнения программы процессору поочередно будут требоваться блоки памяти, смещенные относительно друг друга на величину, кратную размеру страницы (на рисунке эти блоки расположены на одной горизонтали в разных страницах), то кэш будет работать интенсивно, но вхолостую (cache trashing). Очередное обра­щение будет замещать данные, считанные в предыдущем и необходимые в следу­ющем обращении, – т.е. будет сплошная череда кэш-промахов. Переключение страниц в многозадачных ОС также снижает количество кэш-попаданий, что от­ражается на производительности системы. Увеличение размера кэша при сохра­нении архитектуры прямого отображения даст не очень существенный эффект, поскольку разные задачи будут претендовать на одни и те же строки кэша. Не увеличивая объема, можно повысить эффективность кэширования изменением структуры кэша, о чем пойдет речь ниже.

Объем кэшируемой памяти (Мcached) при архитектуре прямого отображения оп­ределяется объемом кэш-памяти (Vcache) и разрядностью памяти тегов (N):

Мcached=Vcache· 2N, в нашем случае Мcached=256 Кбайт · 28= 64 Мбайт.

Иногда в описании кэша прямого отображения фигурирует понятие набор (set), что может ввести в заблуждение. Оно применяется вместо термина строка (line) в секторированном кэше прямого отображения, а сектор тогда называют строкой. С набо­ром (как и строкой несекто­рированного кэша) связана информация о теге, отно­сящаяся ко всем элементам набора (строкам или секторам). Кроме того, каждый элемент набора (строка или сектор) имеет собственный бит действительности в кэш-каталоге (рис. 6).

Рис. 6. Секторированный кэш прямого отображения

Наборно-ассоциативный кэш

Наборно-ассоциативная архитектура кэша позволяет каждому блоку кэшируе­мой памяти претендовать на одну из нескольких строк кэша, объединенных в набор (set). Можно считать, что в этой архитектуре есть несколько параллельно и согла­сованно работающих каналов прямого отображения, где контроллеру кэша при­ходится принимать решение о том, в какую из строк набора помещать очередной блок данных.

В простейшем случае каждый блок памяти может помещаться в одну из двух строк (Two Way Set-Associative Cache – двухканальный наборно-ассоциативный кэш). Такой кэш должен содержать два банка памяти тегов (рис. 7).

Рис. 7. Двухканальный наборно-ассоциативный кэш

Номер набора (индекс), в котором может отображаться затре­бованный блок дан­ных, однозначно определяется средней частью адреса (как номер строки в кэше прямого отображения). Строка набора, отображающая требуемый блок, опреде­ляется сравнением тегов (как и в ассоциативном кэше), параллельно выполняе­мым для всех каналов кэша. Кроме того, с каждым набором должен быть связан признак, определяющий строку набора, подлежащую замещению новым блоком данных в случае кэш-промаха. Канди­датом на замещение обычно выбирается строка, к которой дольше всего не обра­щались (алгоритм LRU– Least Recently Used). При относительно большом коли­честве каналов (строк в наборе) прибегают к некоторому упрощению – алгоритм Pseudo-LRU для четырех строк (Four Way Set Associative Cache) позволяет при­нимать решения, используя всего 3 бита. Возможно также применение алгоритма замещения FIFO (первым вошел – первым вышел) или даже случайного (random) замещения, что проще, но менее эффективно.

Наборно-ассоциативная архитектура широко применяется для первичного кэша современных процессоров. Объем кэшируемой памяти определяется так же, как и в предыдущем варианте, но здесь фигурируют объем одного банка (а не всего кэша) и разрядность относящихся к нему ячеек тега.

Ассоциативный кэш

В отличие от предыдущих у полностью ассоциативного кэша любая его строка может отображать любой блок памяти, что существенно повышает эффективность использования его ограниченного объема. При этом все биты адреса кэшированного блока, за вычетом битов, определяющих положение (смещение) данных в строке, хранятся в памяти тегов. В такой архитектуре для определения наличия затребо­ванных данных в кэш-памяти требуется сравнение со старшей частью адреса тегов всех строк, а не одной или нескольких, как при прямом отображении или наборно-ассоциативной архитектуре. Естественно, последовательный перебор ячеек памяти тегов отпадает – на это может уйти слишком много времени. Остается параллельный анализ всех ячеек, что является сложной аппаратной задачей, ко­торая пока решена только для небольших объемов первичного кэша в некоторых процессорах. Применение полностью ассоциативной архитектуры во вторичном кэше пока не предвидится.

Оперативная память