Ассоциативное преобразование

Модуль для структурной обработки.

Квадратик – это одна колонка (множество пирамидных нейронов с разными адресами). При обучении нейронов, они запоминают слова, которые повторялись в тексте. Колонка с обученными нейронами начинает извлекать из входной информационной последовательности связи слов в тексте. Последовательность связей может в свою очередь обучить нейроны другой колонки, в результате чего ее нейроны будут хранить информацию о повторяющихся словах более высокого уровня.

Слайд 21

Это колонки, в которых формируются словари разного уровня.

Вспомним иерархию лингвистических событий разного уровня (снизу-вверх).

· прагматический

· семантический

· синтаксический

· лексический

· морфологический

· акустико-фонетический

Действительно, в слуховой коре можно увидеть наличие сформированных словарей разного уровня. Конечно, представление там более дробное и подробное. Но идея иерархической обработки сохраняется. При обучении постепенно заполняются колонки иерархической структуры. Формируются словари, например, флективных морфем, корневых основ, синтаксических групп.

Такой же обработке подвергается любая другая внутренне структурированная входная информация, например, зрительная. Только в этом случае словари будут содержать события зрительной модальности: элементарных представлений, элементов объектов, объектов.

Слайд 22

Однако на этом обработка не заканчивается. Следующий уровень представления информации – семантический. Вспомним про гиппокамп, в котором сохраняется информация о связях событий в рамках сцен.

Слайд 23

Семантический уровень представления

Информация семантического уровня заключается в смысловой сочетаемости событий. Одни события могут находиться рядом, другие не могут, но могут через третьи события. Удобным способом представления семантики являются семантические сети. Здесь ближайшие соседи понятия являются его семантическими признаками.

Слайд 24

Гиппокамп

Гиппокамп. 7 - мозолистое тело, 8 – валик, 9 - птичья шпора, 10 – гиппокамп, 11 – бахромка, 12 – ножка.

Слайд 25

Ламели гиппокампа

Гиппокамп состоит множества ламелей, каждая из которых имеет поле СА₃, которое моделируется полносвязной сетью Хопфилда.

Слайд 26

Ламель гиппокампа

Гиппокамп получает информацию из энторинальной коры, она поступает в поле СА₃, которое условно можно назвать весовой матрицей, формирующей в памяти основное представление о пространственно-временном контексте входных событий. Далее она попадает в матрицу поля СА₁, и наконец, в субикулюм, который вновь направляет

информацию в энторинальную кору.

Слайд 27

Архитектура гиппокампа

Поле СА₃ является ассоциативной памятью, хранящей события в их взаимосвязях.

Слайд 28

Основная структура связей поля СА3, взятая из работы [Brown T.H., Zador A.M., 1994]

В качестве модели можно рассмотреть автоассоциативную память на основе сети Хопфилда.

Слайд 29

Пример сетей Хопфилда

Сеть Хопфилда имеет единственный слой нейронов. Все нейроны связаны со всеми. Связи являются направленными.

Нейроны – это понятия, и все это напоминает семантическую сеть.

Слайд 30