Порядок работы с картами Кохонена

Как и при работе с обычными нейросетями, оперирование картами Кохонена складывается из нескольких последовательных этапов. Первым из них является этап определения состава входов.

Для хорошего обучения обычнойнейросети нужно выбрать такое множество входов, которое наиболее сильно влияет на выходные (прогнозируемые) значения. Если мы угадали, и входы действительно влияют на выходы, то нейросеть будет работать и давать отличные прогнозы. Однако подобрать правильные входы очень сложно. Обычно это делается методом проб и ошибок, т.е. простым перебором различных комбинаций индикаторов и данных. Об этих и других тонкостях работы с такими нейросетями было рассказано в статье «Нейросе-ти: работа над ошибками» в предыдущем номере ВС.

Входы нейросети, обучаемой «без учителя», определяются другим образом, и перед такой нейросетью ставится иная цель - выявление закономерностей между любыми входными данными и индикаторами, которые и подаются на вход карты.Архитектура карт Кохонена, в отличие от многослойной нейросети, очень проста и представляет собой один-единственный слой нейронов, который организован в виде двухмерной матрицы. Пользователю необходимо определить лишь размер этой матрицы, т.е. количество нейронов по ширине и количество нейронов по высоте.

Карты Кохонена дают визуальное отображение многомерных входных данных. У карты Кохонена анализируются не только выходы нейронов (как в случае обычной нейросети), но также веса нейронов и распределения примеров по нейронам. Так как карта Кохонена организована в виде двухмерной решетки, в узлах которой располагаются нейроны, то ее очень удобно отображать на плоскости в виде «карты» с раскраской, зависящей от величины анализируемого параметра нейрона. Именно за схожесть такого типа изображения нейросети с топографическими картами они получили название карт Кохонена.

Как устроена карта Кохонена

Таким образом, самоорганизующиеся карты Кохонена представляют собой один из видов нейронных сетей. Принципы работы и обучения такой нейросети были сформулированы финским ученым ТойвоКохоненом в 1982 году. Основной идеей Т. Кохонена является введение в правило обучения нейрона информации об его расположении. По Кохонену, нейросеть имеет один входной слой, с числом нейронов, равным числу входов, и единственный скрытый (выходной) слой нейронов, образующий одномерную (линия) или двухмерную (прямоугольник) решётку. По аналогии с топографическими картами такуюнейросеть также называют картой Кохонена.

Для этой парадигмы обучение проводится без «учителя», т.е. в процессе обучения нет сравнивания выходов нейронов с эталонными значениями.

В процессе обучения на вход такой нейросети последовательно подаются обучающие примеры. После подачи очередного примера определяется наиболее схожий нейрон, т.е. нейрон, у которого скалярное произведение весов и поданного на вход вектора минимально. Такой нейрон считается победителем и призван быть центром при подстройке весов у соседних нейронов. Правило обучения, предложенное Кохоненом, предполагает соревновательное обучение с учетом расстояния нейронов от «нейрона-победителя» и записывается в виде:

где - функция соседства, определяющая величину корректировки веса нейрона, wi - вес i-го нейрона, b - скорость обучения.

Для нейрона-победителя функция соседства равна 1 и затем плавно (по линейному или экспоненциальному закону) уменьшается при удалении от него. Таким образом, в процессе обучения подстройка весов происходит не только в одном нейроне - нейроне-победителе, но и в его окрестностях.

После окончания процесса обучения карта Кохонена классифицирует входные примеры на группы схожих друг с другом. Вся совокупность нейронов в выходном слое точно моделирует структуру распределения обучающих примеров в многомерном пространстве. Уни-

кальность технологии самоорганизующихся карт состоит в преобразовании N-мерного пространства в двух- или одномерное. Единственное, что надо помнить, - такое преобразование сопряжено с некоторыми ошибками. Две точки, близко лежащие на карте Кохонена, будут близки и в N-мерном входном пространстве, но не наоборот.

Для лучшего понимания мы подготовили пример, разъясняющий общие подходы к анализу самоорганизующихся карт. Подадим на два входа карты (размером 50х50 нейронов) набор случайных чисел от 0 до 50 общим числом 500 примеров.

После проведения обучения такой карты Кохонена все семейство карт будет иметь вид, изображенный на рисунке. Карта частот имеет равномерное распределение примеров по поверхности карты, что объясняется равномерным распределением входных примеров и качеством обучения карты.

Для нас в этом примере представляет интерес раскраска карты входов. Раскраска каждой из них линейна и постоянна по одной из граней карты. Причем обе карты входов имеют одинаковую раскраску, но развернуты друг относительно друга на 90 градусов. Как это можно трактовать? При значении 1-го входа, равного 0 (темно-синяя полоса на первой карте), 2-й вход может принимать весь спектр значений от 0 (темно-синий) до 50 (темно-красный). Это соответствует входному распределению данных (пара независимых, равномерно распределенных величин). Таким образом, самоорганизующаяся карта смогла правильно отобразить взаимное распределение двух входов карты.

Более полную информацию по теории самоорганизующихся карт и методам ее применения можно получить из новой книги Гвидо Дебо «Визуализация финансовых данных с помощью самоорганизующихся карт Кохонена», вышедшей в издательстве «Альпина», либо на семинарах ТОРА-Центр, посвященных нейронным технологиям.

Карта выходов нейронов

Выходы нейронов карты Кохонена напоминают топографическую карту. Координаты этой карты определяют положение одного нейрона. Например, координаты 12:34 описывают нейрон, находящийся на пересечении 12 столбца с 34 рядом в матрице нейронов. Величина выхода нейрона по аналогии с географическими картами трактуется как высота точки.

Карты Кохонена, так же как и географические карты, можно отображать либо в двухмерном, либо в трехмерном виде. В двухмерном виде карта раскрашивается в соответствии с уровнем выхода нейрона. Для более высоких значений обычно используются светлые тона, а для низких значений - темные.

Карта выходов является главной картой в анализе карт Кохонена. Именно на нее проецируется взаимное расположение исследуемых данных. Схожие входные данные образуют на карте кластеры - замкнутые области, состоящие из нейронов с одинаковыми значениями выходов. Как правило, ярко выраженные кластеры в данных имеют четкие границы с другими областями карты. В трехмерном виде это выглядит как крутой склон холма.

Карта частот

После завершения обучения каждый входной пример попадает в «свой» нейрон. При этом в некоторые нейроны не попадет ни одного примера, а в некоторые попадет несколько примеров. Распределение обучающих примеров по нейронам очень показательно и отображается на карте частот.

В общем случае входные примеры равномерно распределяются по карте. Но если в данных есть ярко выраженные группы, то примеры распределяются неравномерно, образуя кластеры. Кластером может быть или обособленная группа из нескольких нейронов, в которую попало некоторое число входных примеров, или отдельный нейрон, в который попало большое число входных примеров.

Карта входов нейронов

Как говорилось выше, при анализе карт Кохонена проводится оценка не только выходов нейронов, но также и весов нейронов. Для каждого входа нейрона рисуется своя карта, которая раскрашивается в соответствии со значением соответствующего веса нейрона. У нейронной сети, обучаемой с учителем, веса нейронов не имеют физического смысла и не используются в анализе. При обучении же без «учителя» веса нейронов подстраиваются под точные значения входных переменных и отражают их внутреннюю структуру. Для идеально обученной нейронной сети вес нейрона равен соответствующей компоненте входного примера. Обычно анализируют одновременно несколько карт входов. Сначала на одной карте выделяют области одинакового цвета. В этой области группируются входные примеры, имеющие одинаковое значение соответствующего входа. Далее нейроны из этой области изучаются на других картах на предмет цветового распределения.

Взаимосвязь между картами

При работе с картами Кохоне-на важно понимать, что все рассмотренные выше карты - не более чем раскраски одних и тех же нейронов. При этом каждый обучающий пример имеет одно и то же расположение на каждой из рассмотренных карт. Любой бар на графике цены имеет «свое» место на всех картах. Анализ финансовых рядов предполагает одновременный просмотр карты и графика цен (бары и свечки) для соотнесения точки на карте и графике.