Модуль лексического разбора.
Модуль лексического разбора предназначен для распознавания лексических конструкций (лексем) и преобразования ПВЯ в вид, удобный для дальнейшей обработки. Как правило, в блоке лексического разбора формируется управляющий вектор и вектор параметров.
Управляющий вектор представляет собой набор числовых кодов, в который преобразуется программа на встроенном языке. Преобразование в числовые коды облегчает дальнейшую обработку, в частности, выполнение синтаксического анализа.
Вектор параметров содержит информацию, предназначенную для соответствующих процедур тела пакета. Например, для процедуры, обеспечивающей ввод информации, в качестве параметра, может быть задан адрес входной информации.
Пример лексическогоразбора. Следующая программа на встроенном языке будет преобразована в управляющий вектор и вектор параметров.
ПРОГРАММА НА ВСТРОЕННОМ ЯЗЫКЕ
( строковая переменная PVJA)
ВВОДД= A:\ISX; TECT= ЭКРАН; ВЕДОМ= ИТОГИ; СОХР= ДИСКЕТА;
Управляющий Вектор
вектор параметров
(массив YV) (массив PAR)
1 A:\ISX
3 ЭКРАН
5 ИТОГИ
7 ДИСКЕТА
Лексический разбор, представляет собой сложный и запутанный алгоритм, для реализации которого может быть использована модель детерминированного автомата с конечным числом состояний, т.е. конечный автомат.
Детерминированным конечным автоматом называется упорядоченная система из пяти символов
А = ( X, S, So, B, F), где
Х - множество входных символов;
S - множество внутренних состояний;
So - начальное состояние;
B - функция, отображающая переход в новое состояние;
F - заключительное состояние.
Для наглядного представления конечного автомата может быть использована табличная форма. В таблице выделяется отдельная графа для фиксации внутренних состояний. Кроме того, в таблице отражаются входные символы, которые приводят к изменению состояния системы.
В клетках таблицы определяется следующая информация:
Во-первых, новое состояние, в которое переходит конечный автомат;
Во-вторых, функция, отображающая переход в новое состояние.
Например, для разбора ранее приведенной программы на входном языке таблица конечного автомата будет иметь вид:
| Внутренние состояния | Входные символы | |||||||
| ВВОДД ВВОДК | ТЕСТ ПРОСМ | ВЕДОМ РАСП СОХР | = | Пробел | ; | Конец стpоки | Неопоз. символ | |
| Sost=0 | 1/F1 | 1/F1 | 1/F1 | - | - | Kv=0 | Kv=4 | |
| Sost=1 | - | - | - | 2/F2 | - | Kv=5 | Kv=6 | |
| Sost=2 | - | - | - | - | 0/F4 | Kv=7 | 2/F3 |
Функции, представленные в таблице имеют значение:
F1 - формирование управляющего вектора;
F2 - поиск начала параметра;
F3 - формирование параметра;
F4 - завершение формирования параметра.
Таблица описывает модель конечного автомата, состоящую из следующей системы символов:
X = {ВВОДД,ВВОДК,ТЕСТ,ПРОСМ,ВЕДОМ,РАСП,СОХР, =, , ;}
S = {SOST = 0, SOST = 1, SOST = 2}
So = {SOST = 0}
B = {F1, F2, F3}
F = {SOST = 0}
Разберем работу представленной модели конечного автомата.
Представленная программа на встроенном языке разбивается на совокупность входных символов. Входные символы поступают на вход системы и в зависимости от состояния системы вызывают определенные действия.
В рассматриваемом примере первоначально на вход системы поступает входной символ "ВВОДД". Начальное внутреннее состояние системы SOST = 0. Поступление входного символа "ВВОДД", при внутреннем состоянии SOST=0 вызовет переход в состояние 1 и выполнение функции F1.
Следующий входной символ "=" поступает на вход системы, когда внутреннее состояние системы SOST = 1. Поступление символа "=" вызовет переход системы в состояние 2. В то время, когда внутреннее состояние системы будет равно «2» на вход системы поступит символ ";". При поступлении данного входного символа будет выполнена функция формирования вектора параметров и система перейдет во внутреннее состояние SOST = 0.
Программная реализация модели конечного автомата может быть обеспечена с помощью операторов типа CASE.
Реализация блока лексического разбора на основе модели конечного автомата может иметь вид:
ProcedureLan (PVJA: String; {Программанавстроенномязыке}
VarYV: T_YV; {Управляющийвектор}
VarPAR: T_PAR; {Векторпараметров}
Var Ksl: Integer; {Количество
расшифрованныхсловПВЯ}
Var Tinf: TypeTinf {Таблицаинформатора});
{ Блоклексическогоразбора}
Var
Slov: Array[1..7] of String;{Терминальный
словарь}
Kts: Integer; {Количество элементов в
терминальном словаре}
Sost: Integer; {Состояние системы}
Stroka: String; {Рабочие переменные}
J,L,Nom,Ls,Ln: Integer;
Begin
With Tinf Do
Begin
PB:=1;
Kv:=0;
Ksl:=0;
Kts:=7;
Sost:=0;
Slov[1]:= 'ВВОДД';
Slov[2]:= 'ВВОДК';
Slov[3]:= 'ТЕСТ';
Slov[4]:= 'ПРОСМ';
Slov[5]:= 'ВЕДОМ';
Slov[6]:= 'РАСП';
Slov[7]:= 'СОХР';
J:=1;
Ln:= Length (PVJA);
While (J<=Ln) And (Kv=0) Do
Begin
Stroka:= Copy(PVJA, J, Ln-J+1);
If Copy(Stroka, 1, 1) = ' ' Then
J:=J+1
Else
Begin
Case Sost of
0: Begin {Поископератора}
Ls:= 0;
For L:= 1 to Kts Do
Begin
Nom:= Pos(Slov[L], Stroka);
If Nom = 1 Then
Begin
Ksl:= Ksl + 1;
YV[Ksl]:= L ;
PAR[Ksl]:= ' ';
Ls:= Length(Slov[L]);
J:= J + Ls;
Sost:= 1;
End;
End;
IfLs = 0 Then {Операторненайден}
Kv:= 4;
End;
1: Begin {Поиск разделителя}
If Copy(Stroka, 1, 1) = '=' Then
Begin
Sost:= 2;
J:= J + 1;
End
Else Kv:= 6;
End;
2: Begin {Засылкапараметра}
If Copy(Stroka, 1, 1) = ';' Then
Begin
Sost:= 0;
J:= J + 1;
End
Else
Begin
Par[Ksl]:= Par[Ksl]+ Copy(Stroka,1,1);
J:= J +1 ;
End;
End;
End;{Case}
End; {Else}
End; {While }
If (Sost = 1) And (Kv = 0) Then KV:= 5;
If (Sost = 2) And (Kv = 0) Then Kv:= 7;
End; {With}
End; {Procedure}