Последовательности последовательностей

Когда информация движется вверх от первичных сенсорных областей к высшим уровням, мы видим, что они все меньше и меньше изменяются во времени. В первичной визуальной области, типа V1, множество активных клеток быстро изменяется, поскольку новые паттерны падают на сетчатку несколько раз в секунду. В визуальной области IT клетки, возбуждающиеся на паттерны, более стабильны. Что там происходит? Каждая область кортекса имеет репертуар последовательностей, которые ей известны, аналогичные репертуару песен. Области хранят эти песнеподобные последовательности обо всем: звук прибоя, разбивающегося о пляж, лицо вашей матери, путь от дома до ближайшего магазина, как произносить слово «попкорн», как тасовать колоду карт.

У нас есть названия для песен, и подобным образом каждая кортикальная область имеет названия для каждой из последовательностей, которые она знает. Это «имя» — группа клеток, совместное возбуждение которых представляет набор объектов в последовательности. (Не задумывайтесь сейчас о том, как выбираются эти группы клеток; мы придем к этому позже). Эти клетки остаются активными, пока идет последовательность, и именно ее «имя» передается в следующую область по иерархии. Пока поступающие паттерны являются частью предсказуемой последовательности, область выдает постоянно «имя» для следующей области выше по иерархии.

Это как если бы области сказали: «Вот имя последовательности, которую я слышу, вижу или ощущаю. Вам не нужно знать о конкретных нотах, краях или текстурах. Я вам дам знать, если произойдет что-то новое или непредсказуемое». Более конкретно мы можем вообразить область IT на верхушке визуальной иерархии, передающую эстафету ассоциативным областям выше нее: «Я вижу лицо. Да, с каждой саккадой глаза фиксируются на различных частях лица; я вижу различные части лица там, где они должны быть. Но это все еще то же самое лицо. Я дам вам знать, когда увижу что-то другое». Подобным образом предсказуемые последовательности событий становятся идентифицированными «именем» — постоянным паттерном возбужденных клеток. Это происходит снова и снова по мере продвижения по иерархической пирамиде. Одна область могла бы распознать последовательность звуков, которые составляют фонемы, и передает паттерны, представляющие фонемы, вышестоящей области. Вышестоящая область распознает последовательность фонем, чтоб составлять слова. Следующая вышестоящая область распознает последовательности слов, чтоб составить фразы, и т. д. Примите во внимание, что «последовательности» в нижних областях кортекса могут быть очень простыми, такими как визуальное пространственное движение края чего-либо.

Свертыванием предсказуемой последовательности в «именованный объект» в каждой кортикальной области по иерархии мы достигаем все большей и большей стабильности, чем выше мы находимся. Это создает инвариантное представление.

Обратный эффект возникает, когда паттерн движется обратно вниз по иерархии: стабильный паттерн «раскрывается» в последовательность. Предположим, когда вы учились в седьмом классе, вы заучивали Геттисбергское послание, и сейчас вы хотите повторить его. В высших речевых областях кортекса хранится паттерн, представляющий известную речь Линкольна. Во-первых, этот паттерн разворачивается в воспоминание о последовательности фраз и предложений. В следующей области ниже по иерархии каждая фраза разворачивается в воспоминание о последовательности слов. В этом месте разворачивающийся паттерн раздваивается и идет вниз и по слуховой части кортекса, и по моторной. Следуя по моторному пути, каждое слово разворачивается в воспоминание о последовательности фонем. И, наконец, в нижней области каждая фонема развертывается в последовательность мышечных команд для произнесения звуков. Чем ниже по иерархии вы смотрите, тем быстрее сменяются паттерны. Единый, неизменный паттерн на вершине моторной иерархии в конечном счете приводит к сложной и длинной последовательности звуков речи.

Инвариантность также работает в нашу пользу, когда информация идет вниз по иерархии. Если вы хотите напечатать Геттисбергское послание вместо того, чтоб произнести, все начинается с того же самого паттерна на вершине иерархии. В следующей области ниже по иерархии паттерн разворачивается в фразы. Еще ниже фразы разворачиваются в слова. До сих пор нет разницы между тем, произносится Геттисбергское послание или печатается. Но в следующей области ниже по иерархии моторный кортекс выбирает другой путь. Слова разворачиваются в буквы, буквы разворачиваются в мышечные команды для того, чтоб ваши пальцы печатали. "Four score and seven years ago our fathers brought forth…" — воспоминание об этих словах обрабатывается как инвариантное представление; не имеет значения, произносите ли вы, печатаете или пишете их от руки. Заметьте, вам не нужно запоминать речь дважды, один раз для произнесения, один — для написания. Единое воспоминание об этой речи может принимать различные формы поведения. В любой области инвариантный паттерн может разветвиться и следовать различными путями.

Как дополнительная эффективность, представление о простых объектах на нижних уровнях иерархии может быть многократно использовано для различных высокоуровневых последовательностей. К примеру, нет необходимости изучать одну последовательность слов для Геттисбергского послания и совершенно другую — для речи "I Have a Dream" Мартина Лютера Кинга, даже если только некоторые слова в двух высказываниях совпадают. Иерархия вложенных последовательностей позволяет разделять и многократно использовать низкоуровневые объекты — слова, фонемы и буквы — всего лишь отдельные примеры. Это замечательный эффективный способ хранить информацию о мире и его структуре, и он сильно отличается от того, как работает компьютер.

Та же самая развертываемая последовательность возникает как в сенсорных, так и в моторных областях. Этот процесс позволяет воспринимать и понимать объекты с различных точек зрения. Если вы идете к холодильнику, чтоб взять мороженого, ваш визуальный кортекс активен на множестве уровней. На высшем уровне вы постоянно воспринимаете «холодильник». В областях ниже эти визуальные ожидания разбиваются на серию более локализованных визуальных паттернов. Взгляд на холодильник состоит из фиксаций на дверной ручке, на дозаторе мороженого, на магнитах двери, на детских рисунках и так далее. За несколько миллисекунд, когда вы производите саккаду с одной черты холодильника на другую, предсказание о результате каждой саккады идет вниз по визуальной иерархии. Пока эти предсказания подтверждаются от саккады к саккаде, ваши высшие визуальные области остаются удовлетворенными тем, что вы фактически смотрите на холодильник. Заметьте, что в этом случае, в отличие от фиксированного порядка слов в Геттисбергском послании, последовательность, которую вы видите, когда смотрите на холодильник, не фиксирована; поток информации и паттерны воспоминаний зависят от ваших действий. Таким образом, в случае, подобном этому, развертывание паттерна не является жесткой последовательностью, но результат тот же самый; медленно меняющийся, высокоуровневый паттерн развертывается в более быстро меняющиеся, низкоуровневые паттерны.

Способ, которым вы запоминаете последовательности и представляете их именами, когда информация течет вверх и вниз по кортикальной иерархии, может напомнить вам иерархию военных команд. Генералы на армейской верхушке говорят: «Выдвинуть войска во Флориду на зиму». Простая высокоуровневая команда разворачивается в более детальные последовательности команд, когда она просачивается вниз по уровням иерархии. Нижестоящее командование понимает, что команда требует последовательности таких шагов, как подготовка к покиданию старой позиции, транспортировки во Флориду и подготовки к прибытию на новое место. Каждый из этих шагов разбивается на еще более подробные, чтоб быть выполненными подчиненными. Внизу иерархии тысячи отдельных структур выполняют десятки тысяч действий, приводящих в результате к перемещению войск. Отчеты о том, что происходит, генерируются на каждом уровне. Когда они просачиваются вверх по иерархии, они снова и снова суммируются, до тех пор, пока генерал на верхнем уровне иерархи не получит краткий отчет: «Перемещение во Флориду произошло успешно». Генерал не вникает в детали.

Из этого правила есть исключение. Если что-то идет не так и не может быть выполнено на подчиненных уровнях по цепочке команд, то отчет идет вверх по иерархии до тех пор, пока кто-то не будет знать, что делать далее. Офицер, который знает, как разрешить ситуацию, не видит исключения. Что было непредвиденной проблемой для подчиненных, всего лишь следующая задача в его списке. Офицер затем дает новую команду подчиненным. Неокортекс ведет себя подобным образом. Как мы увидим вскоре, когда возникающие события (другими словами — паттерны) не ожидаемы, информация о них поступает наверх по кортикальной иерархии до тех пор, пока какая-нибудь область не сможет обработать ее. Если нижние области кортекса не смогут предсказать, какой паттерн они видят, они рассматривают это как ошибку и передают ошибку вверх по иерархии. Это повторяется до тех пор, пока какая-то область не предскажет паттерн.

* * *

В силу своей конструкции, каждая кортикальная область пытается хранить и вспоминать последовательности. Но это все еще простое описание мозга. Необходимо добавить немного усложнения в эту модель.

Информация, идущая снизу вверх к областям кортекса — это входные паттерны, распределенные по тысячам и миллионам аксонов. Эти аксоны приходят из различных областей и содержат все виды паттернов. Количество паттернов, которое возможно даже на тысяче аксонов, больше, чем количество молекул во вселенной. За время жизни область кортекса видят только крошечную долю этих возможных паттернов.

Здесь возникает вопрос: Когда отдельная область хранит последовательность, то последовательность чего именно она хранит? Ответ в том, что область сначала классифицирует информацию, как одну из ограниченного количества возможностей, и только потом ищет последовательность. Вообразите, что вы — отдельная кортикальная область. Ваша задача — сортировать кусочки цветной бумаги. Вам предоставили десять корзин, каждая из которых помечена образцом цвета. Одна корзина для зеленых, другая для желтых, третья для красных и так далее. Вам дают кусочки цветной бумаги, один за другим, и велят сортировать их по цветам. Каждая полученная вами бумажка слегка отличается. Поскольку в мире бесконечное количество цветов, вы никогда не получите двух бумажек в точности одного и того же цвета. Иногда легко сказать, в какую корзину должна быть помещена цветная бумажка, но иногда это сложно. Бумажка, которая наполовину красная, а наполовину оранжевая, может быть помещена в любую корзину, но вы должны поместить только в одну из низ, либо в красную, либо в оранжевую, даже если придется выбирать произвольно. (Цель данного упражнения — показать, что мозг должен классифицировать паттерны. Области кортекса делают это, но нет ничего подобного корзинам, в которые клались бы паттерны.)

Теперь вам дали дополнительное задание найти последовательность. Вы замечаете, что часто возникает последовательность «красный красный зеленый пурпурный оранжевый зеленый». Вы называете это «ККЗПОЗ» — последовательностью. Заметьте, что ни одну последовательность невозможно распознать, если вы не классифицируете каждый кусочек бумаги. Без предварительной классификации каждого кусочка бумаги к одной из десяти категорий вы не сможете сказать, что две последовательности являются одинаковыми.

И так, вы поняли задачу и выполняете ее. Вы собираетесь просматривать все входные паттерны — кусочки цветной бумаги, поступающие из низших кортикальных областей — классифицировать их и искать последовательности. Оба шага, классификация и формирование последовательности необходимы для создания инвариантного представления, и каждая область кортекса делает это.

Процесс формирования последовательности окупается, когда информация неоднозначна, как в случае с кусочком бумаги, который попадает иногда между красным и оранжевым. Вы должны выбрать корзину для бумажки, даже если вы не уверены, более красная она или более оранжевая. Если вы знаете наиболее подходящую последовательность для этой серии входных паттернов, вы используете это знание для того, чтоб решить, как классифицировать неоднозначную информацию. Если вы уверены, что вы в «ККЗПОЗ» последовательности, потому что вы только что получили две красных, зеленую и пурпурную, вы ожидаете, что следующая бумажка будет оранжевой. Но следующий кусок бумаги оказывается не оранжевым. Наоборот, он совершенно не там между красным и синим. Он может быть даже слегка красным, чем оранжевым. Но вы знакомы с ожиданием «ККЗПОЗ»-последовательности, и следовательно, вы помещаете бумажку в оранжевую корзину. Вы используете контекст знания последовательности для разрешения неоднозначности.

Мы видим, что этот феномен происходит постоянно в каждодневном опыте. Когда человек говорит, его конкретные слова очень часто не могут быть поняты без контекста. Но когда вы слышите неоднозначное слово в предложении, вы не заморачиваетесь на неоднозначности слова. Вы понимаете его. Аналогично рукописные слова часто неясны без контекста, но часто читаемы внутри целого предложения. Большую часть времени вы не осведомлены, что вы ощущаете неоднозначность или неполноту информации. Вы слышите то, что ожидаете услышать, и видите то, что ожидаете увидеть — по крайней мере, когда то, что вы видите и слышите, удовлетворяет вашему прошлому опыту.

Заметьте, память о последовательностях позволяет вам не только разрешать неоднозначности в полученной информации, но также предсказывать, какая информация должна поступить далее. Пока ваш кортекс сортирует цветную бумагу, вы можете сказать человеку, подающему вам бумагу: «Эй, если ты сомневаешься, какую бумажку дать, то, по моим воспоминаниям, это должна быть оранжевая». Распознавая последовательности паттернов, кортикальные области будут предсказывать будущую информацию и говорить нижестоящим областям, чего они должны ожидать.

Область кортекса не только изучает последовательности, она также обучается модифицировать их классификацию. Скажем, вы начали с набора корзин, помеченных «зеленые», «желтые», «красные», «пурпурные» и «оранжевые». Вы готовы распознавать последовательность «ККЗПОЗ» также, как и другие комбинации этих цветов. Но что если цвет будет сильно отличаться? Что если каждый раз, когда вы видите последовательность «ККЗПОЗ», пурпурный нередко сильно отличается? Новый цвет больше похож на индиго. Так что вы заменяете пурпурную корзину на «индиго». Теперь корзина лучше соответствует тому, что вы видите; вы сократили неоднозначность. Кортекс пластичен.

В кортикальных областях классификации снизу вверх и последовательности сверху вниз постоянно взаимодействуют, изменяясь в течение жизни. В этом суть обучения. Фактически, все области кортекса пластичны, таким образом они могут модифицироваться с накоплением опыта. Формирование новых классификаций и новых последовательностей — это именно то, как вы помните мир.

Напоследок, давайте взглянем на то, как классификация и предсказание взаимодействуют в области кортекса выше по иерархии. Другое назначение вашего кортекса — передать в вышестоящую область имя последовательности, которую вы видите, таким образом, вы передаете кусочек бумаги с надписью «ККЗПОЗ». Эти буквы сами по себе мало что значат для вышестоящей области; имя — это просто паттерн, который комбинируется с другой информацией, классифицируется и затем передается в еще более вышестоящие области. Подобно вам, он отслеживает последовательности, которые он видит. В некоторый момент он может сказать вам: «Эй, если ты сомневаешься, что передать мне, то, по моим воспоминаниям, я предсказываю, что это должна быть последовательность ‘ЖЖКЗЖ’». Это по сути для вас инструкция о том, что искать в вашем собственном входном потоке. Вы лучше будете интерпретировать то, какую последовательность видите.

Поскольку большинство людей слышали термин классификация паттернов , используемый в исследованиях по ИИ и по машинному зрению, давайте взглянем на то, как этот процесс в его обычном понимании отличается от того, что делает кортекс. В попытках заставить машины распознавать объекты исследователи обычно создают шаблоны — скажем, изображение чашки, или некоторый прототип чашки — и затем дают машине инструкции сопоставлять поступающую информацию с прототипом. Если обнаруживается близкое совпадение, компьютер скажет, что он обнаружил чашку. Но в нашем мозгу нет шаблонов подобных этому, и паттерны, которые получает каждая область кортекса, не похожи на картинки. У вас нет воспоминаний о мгновенных снимках с вашей сетчатки, или мгновенных снимков паттернов от улитки или от кожи. Иерархическое представление, являющаяся памятью об объектах, распределено по кортикальной иерархии; она не располагается в одной точке. Также, поскольку каждая область формирует инвариантные воспоминания, то, что обычно область кортекса изучает в последовательностях в инвариантной форме, само по себе и является последовательностью инвариантных воспоминаний. Вы не найдете изображения чашки или какого-либо другого объекта, хранящегося в вашем мозге.

В отличие от памяти видеокамеры, ваш мозг помнит мир таким, какой он есть, а не таким, как он видится. Когда вы думаете о мире, вы вспоминаете последовательности паттернов, которые соответствуют тому, чем являются и как себя ведут объекты мира, а не тому, как они представляются через те или иные органы чувств в любой момент времени. Последовательности, с помощью которых вы получаете опыт об объектах мира, отражают инвариантную структуру самого мира. Порядок, в котором вы воспринимаете части мира, определяется структурой мира. Например, вы можете попасть в самолет, идя прямо по переходу-«рукаву», но не через пункт регистрации на рейс. Последовательности, с помощью которых вы воспринимаете мир, являются реальной структурой мира, и они именно то, что помнит кортекс.

Не забывайте, однако, что инвариантное представление в любой области кортекса может быть развернуто в детальное предсказание того, как ситуация появится в ваших органах чувств, путем распространения паттерна вниз по иерархии. Аналогично инвариантное представление в моторном кортексе может быть развернуто в моторные команды, специфические в данной ситуации, путем распространения паттерна вниз по моторной иерархии.