Путешествие седьмое, или как Трурля собственное совершенство подвело 6 страница

Конец его размышлениям пришел внезапно, хотя его и предвещали некоторые знамения. Вначале (после долгой засухи) — далекое облако над горой, легкое, как птица; затем, на юге — небо, розовое, как десны леопарда; потом — дым, покрывший ржавчиной металл ночей; наконец — паническое бегство зверей. И повторилось то, что уже было сотни лет назад.

Руины святилища бога огня снова были разрушены огнем. На заре, лишенной птиц, маг увидел, как сжимаются вокруг стен кольца пожара. На мгновение он подумал спастись в реке, но затем понял, что смерть явилась увенчать его старость и освободить его от всех забот. Он двинулся навстречу языкам пламени. Они не впивались в тело, но ласкали и наполняли его, не сжигая и не согревая. И с облегчением, с болью унижения, с ужасом, он понял, что и сам был призраком, порожденным чьим-то сном.

Размышления

Борхес взял свой эпиграф из отрывка “Алисы в Зазеркалье” Льюиса Кэрролла; нам кажется, что этот отрывок стоит того, чтобы привести его здесь полностью.

Она огляделась с беспокойством, услышав в соседнем лесу какой-то звук, походивший на пыхтение большого паровоза, и испуганно подумала, что, скорее всего, это был дикий зверь. — Водятся ли здесь львы или тигры? — робко спросила она.

— Это всего-навсего Красный король храпит, — сказал Твидлди.

— Идем посмотрим! — воскликнули братья, взяли Алису за руки и повели ее туда, где спал Король.

Иллюстрация Джона Тенниеля.

— Какая прелесть, правда? — сказал Твидлдам.

Алиса не могла бы с чистой совестью назвать Короля прелестью. На нем был высокий красный ночной колпак с кисточкой; он лежал скорчившись и громко храпел.

— Запросто может себе голову отхрапеть! — заметил Твидлдам.

— Боюсь, он может простудиться, лежа на сырой траве, — сказала Алиса, так как она была разумной маленькой девочкой.

— Ему снится сон, — сказал Твидлди, — и как ты думаешь, что он сейчас видит во сне?

— Никто не может этого знать, — ответила Алиса.

— Представь себе, тебя! — воскликнул Твидлди, торжествующе хлопая в ладоши. — И если он перестал бы видеть тебя во сне, как ты думаешь, где бы ты оказалась?

— Там же, где и сейчас, разумеется, — сказала Алиса.

— А вот и нет! — снисходительно возразил Твидлди. — Тебя бы нигде не было. Ты ведь только кусочек его сна!

— Если бы этот Король проснулся, ты бы исчезла — пуфф! — как догоревшая свечка!

— Вовсе нет! — возмущенно воскликнула Алиса. — К тому же, если я — только кусочек его сна, то что же тогда вы, хотела бы я знать?

— То же самое! — сказал Твидлдам.

— То же самое, то же самое! — закричал Твидлди.

Он закричал это так громко, что Алиса невольно сказала:

— Тс-с! Боюсь, ты его разбудишь, если будешь так шуметь.

— Какой смысл тебе говорить о том, что мы его разбудим, когда ты всего лишь кусочек его сна,— сказал Твидлдам. — Ты отлично знаешь, что ты не настоящая.

— Но я настоящая! — сказала Алиса и заплакала.

— Плач не сделает тебя ни капельки более настоящей, — заметил Твидлди, — да и плакать тебе совершенно не о чем.

— Если бы я была ненастоящей, — сказала Алиса, смеясь сквозь слезы, так смешно ей все это казалось,— я не могла бы плакать.

— Надеюсь, ты не воображаешь, что это настоящие слезы? — презрительно перебил ее Твидлдам.

Рене Декарт спрашивал себя, может ли он быть уверен в том, что данное мгновение ему не снится. “Когда я размышляю над этим, то настолько ясно вижу, что не существует неопровержимых указаний, при помощи которых сон может быть отличен от бодрствования, что удивляюсь, и удивляюсь так сильно, что почти убеждаюсь, что сплю.”

Декарту не приходило в голову, что он может быть лишь кем-то из чужого сна, а если и приходило, то он сразу отбросил эту идею. Почему? Разве нельзя увидеть во сне кого-то, кто не был бы вами, но чей опыт был бы частью вашего сна? На такой вопрос ответить непросто. Какая разница между сном, в котором вы видите себя сильно отличным от вас бодрствующего, например, намного моложе или старше, или противоположного пола, и сном, главное действующее лицо которого (скажем, девушка по имени Рената), с чьей “точки зрения” “рассказывался” бы сон, было бы не вами, но неким выдуманным образом точно так же, как и дракон, догоняющий ее во сне? Если бы эта снящаяся девушка спросила Декарта о том, спит она или бодрствует, скорее всего, он ответил бы, что она не спит и не бодрствует — она лишь снится. Когда спящий — настоящий спящий — проснется, она исчезнет. Но кому предназначался бы этот ответ, если она на самом деле не существует, а является лишь персонажем сна?

Являются ли все эти философские размышления о снах и реальности лишь пустой игрой ума? Существует ли строгая “научная” платформа, с которой можно отличить объекты, реально существующие, от фиктивных объектов? Может быть — но с какой стороны границы тогда окажемся мы? Не наши физические тела, а наше самосознание?

Представьте себе роман, написанный с точки зрения воображаемого рассказчика-автора. “Моби Дик” начинается словами “Зовите меня Исмаэль”, после чего нам предлагается история Исмаэля, рассказанная самим Исмаэлем. Кого нам предлагается называть Исмаэлем? Исмаэль не существует. Он просто один из персонажей романа Мелвилла. Сам Мелвилл был совершенно реален и выдумал персонажа, называющего себя Исмаэлем — но этот персонаж не входит в перечень реально существующих объектов. Теперь вообразите, если сможете, машину, пишущую романы — машину с некой зачаточной индивидуальностью. Назовем ее ДЖОНИАК. (Следующая глава поможет вам вообразить подобную машину, если у вас возникнут с этим трудности.) Представьте себе, что роман, появляющийся, лист за листом, из скоростного принтера ДЖОНИАКа, начинается “Зовите меня Гилбертом”, и начинает рассказывать историю Гилберта с точки зрения самого Гилберта. Кого нам предлагается называть Гилбертом? Гилберт — всего лишь персонаж романа, выдумка, не имеющая реального существования, хотя мы можем, вживаясь в роман, говорить и узнавать о “его” приключениях, проблемах, надеждах, страхах и боли и переживать за него. В случае с Исмаэлем мы можем предположить, что его странное, выдуманное квази-существование зависело от реального существования самосознания Мелвилла. Нет сна без сновидца, как открыл Декарт. Но в этом случае мы сталкиваемся со сном — во всяком случае, с фикцией — в отсутствие действительного сновидца или автора, реальной индивидуальности, с которой мы могли бы, при желании, отождествить Гилберта. Таким образом, в необычном случае машины-писателя возможно создать целиком воображаемое существо, за которым не будет стоять действительная индивидуальность автора. (Мы можем даже вообразить, что создавшие ДЖОНИАК не имели понятия, какие романы он будет писать.)

Представьте теперь, что наша предполагаемая машина-романист — не стационарный компьютер-ящик, а робот. И представьте — почему бы и нет? — что текст романа не печатается, а “говорится” механическим ртом. Назовем этого робота РЕЧИАК. Наконец, представьте, что история, которую мы узнаем от РЕЧИАКа о приключениях Гилберта, представляет собой более или менее правдивую историю “приключений” самого РЕЧИАКа. Когда его запирают в шкаф, он говорит: “Меня заперли в шкафу! Выпустите меня! ” Выпустить кого? Гилберта. Но Гилберт не существует — он просто выдуманный персонаж в истории РЕЧИАКа. Но почему мы должны называть эту историю выдуманной, когда у нас есть очевидный кандидат на роль Гилберта: личность, чьим телом является РЕЧИАК? В “Где я?” Деннетт называл свое тело Гамлетом. Может быть, здесь у нас имеется Гилберт, тело которого называется РЕЧИАК, или же РЕЧИАК, называющий сам себя Гилбертом?

Может быть, нас сбило с толку имя. Назвать робота Гилбертом — то же самое, что назвать яхту “Каролина” или часы — “Биг Бен”, или программу — “ЭЛИЗА”. Можно настаивать, что за именем Гилберта в данном случае не стоит никакой личности. Но что, кроме био-шовинизма, дает нам основания предположить, что Гилберт — не является личностью, созданной деятельностью и самовыражением РЕЧИАКа в мире?

“В таком случае, вы полагаете, что я — лишь сон моего тела? Значит, я — выдуманный персонаж, созданный деятельностью моего тела?” Можно сказать и так — но к чему называть себя выдуманным? Ваш мозг, как и бессознательная машина-писатель, справляется со своими физическими задачами, сортирует входные и выходные данные, не представляя при этом, зачем он это делает. Подобно муравьям, составляющим муравьиную колонию по имени Мура Вейник в “Прелюдии… и Муравьиной фуге”, мозг не “знает”, что в процессе работы создает вас — но вот она, личность, возникающая почти чудом из суеты мозговой деятельности.

Этот процесс создания личности на одном уровне из относительно безмозглой и бессознательной деятельности, происходящей на другом уровне, живо иллюстрируется в следующей главе, эссе Джона Сирля, хотя сам он упорно отрицает эту интерпретацию показанной им картины.

Д.К.Д.

ДЖОН Р. СИРЛ

Разум, мозг и программы

Какое психологическое и философское значение имеют недавние попытки компьютерного моделирования познавательных способностей человека? При ответе на этот вопрос я буду проводить различие между “сильным” ИИ и “слабым” или “осторожным” ИИ (Искусственным Интеллектом). Согласно слабой версии ИИ, компьютеры — могучий инструмент для изучения разума. Они позволяют нам более точно формулировать и проверять гипотезы. Однако сильная версия ИИ утверждает, что компьютер — не только орудие для познания разума. По этой версии, должным образом запрограммированный компьютер является разумом, в том смысле, что компьютеры, снабженные соответствующей программой, не только в буквальном смысле слова понимают, но испытывают и другие когнитивные состояния. В сильном варианте ИИ программы — не только инструменты для тестирования психологических объяснений; скорее, они сами являются этими объяснениями.

Я не возражаю против слабой версии ИИ, по крайней мере, в этой статье. Дискуссия будет направлена против сильной версии ИИ, в особенности, против утверждения, что должным образом запрограммированный компьютер выказывает когнитивные состояния и что это объясняет человеческое познание. В дальнейшем под ИИ я буду подразумевать его сильную версию, придерживающуюся этих двух убеждений.

Я обсуждаю здесь труд Роджера Шенка и его коллег из Йелльского университета (Шенк и Абельсон, 1977), поскольку знаком с ним лучше, чем с другими работами на эту тему, и поскольку он представляет из себя яркий пример работы, которую я хотел бы проанализировать. Однако дальнейшее обсуждение не зависит от деталей программы Шенка. Те же самые аргументы приложимы и к программе Винограда ШРДЛУ (Виноград, 1973), программе Вайценбаума ЭЛИЗА (Вайценбаум, 1965) и любой попытке симулировать с помощью машин Тьюринга феномен человеческого мышления.

Вкратце программа Шенка может быть описана следующим образом: Цель программы — имитация человеческого умения понимать рассказы. Для человека характерно умение отвечать на вопросы о рассказе, давая в ответе информацию, которая прямо в рассказе не упоминалась. Представьте себе, что вы услышали следующий рассказ: “Человек пришел в кафе и заказал гамбургер. Когда ему принесли заказанное, гамбургер оказался подгоревшим дочерна, и разгневанный клиент выбежал из кафе, не заплатив по счету и не оставив чаевых.” Если вас спросят, съел ли тот человек гамбургер, вы, скорее всего, ответите: “Разумеется, нет!” Аналогично, если вы услышите следующий рассказ: “Человек пришел в кафе и заказал гамбургер. Когда ему принесли заказанное, гамбургер оказался превосходным, и довольный клиент, оплатив счет, оставил щедрые чаевые,” на вопрос “Съел ли он гамбургер?” вы, вероятно, ответите “Да, съел.” Машины Шенка могут отвечать на вопросы о ресторанах подобным образом. Для этого они снабжены “представлением” о той информации, которую люди имеют о ресторанах; поэтому на подобные вопросы эти программы способны ответить удовлетворительно. Когда в машину вводят рассказ и затем задают вопрос, подобный вышеприведенному, машина печатает ответ, который дал бы в похожей ситуации человек. Сторонники ИИ утверждают, что (1) при этом машина не только подражает человеческой способности, но в буквальном смысле слова понимает рассказанное и отвечает на вопросы, и (2) машина и ее программа объясняют человеческую способность понимать рассказы и отвечать на вопросы о них.

Мне кажется, что ни одно из этих двух утверждений совершенно не следует из работы Шенка. Я попытаюсь это доказать.

Один из способов проверить любую теорию разума состоит в том, чтобы представить себе, что было бы, если бы мой интеллект действительно работал так, как, согласно данной теории, работает любой разум. Давайте проверим теорию Шенка при помощи следующего мысленного эксперимента. Представьте себе, что меня заперли одного, дав мне большой китайский текст. Представьте себе, что я не знаю ни письменного, ни разговорного китайского (так это в действительности и есть), и что я не уверен даже в том, что смогу отличить китайское письмо от, скажем, японского или от бессмысленных каракулей. Для меня китайское письмо выглядит как бессмысленные каракули! Теперь представьте, что я снова получаю китайский текст, на этот раз вместе с набором правил, объясняющих, как соотнести этот текст с первым. Правила написаны по-английски, и я понимаю их, как понял бы любой носитель этого языка. Правила помогают мне соотносить между собой два набора формальных символов; “формальных” означает здесь то, что я могу идентифицировать эти символы исключительно по их форме. Далее, мне дают третий китайский текст, опять с инструкциями по-английски, позволяющими мне соотнести его с первыми двумя. Более того, они объясняют, как отвечать китайскими символами определенной формы на те или иные китайские символы, содержащиеся в третьем тексте. Я ничего не знаю о том, что люди, дающие мне все это, называют первый кусок “текстом”, второй — “рассказом”, а третий — “вопросами.” Они называют символы, которые я даю им после работы с третьим куском, “ответами на вопросы”, а набор правил, которые у меня имеются, — “программой”. Чтобы немного усложнить дело, представьте себе, что эти люди дают мне также рассказы по-английски, задают о них вопросы по-английски, и я отвечаю на них по-английски. Представьте также, что через некоторое время я так натренировался в работе с китайскими символами, а программисты — в составлении программ, что стороннему наблюдателю — то есть, наблюдателю, находящемуся вне комнаты, в которой я заперт, — мои ответы кажутся неотличимыми от ответов китайцев. Никто, глядя только на мои ответы, не предположил бы, что я не знаю ни слова по-китайски. Представьте себе также, что мои ответы на вопросы по-английски будут неотличимы от ответов других носителей языка, просто потому, что я сам — носитель английского языка. С точки зрения того, кто читает мои “ответы”, китайские ответы так же хороши, как английские. Однако, в отличие от английского, в случае китайского я произвожу ответы путем манипуляции с неинтерпретированными формальными символами. Я веду себя в этом случае, как компьютер; я произвожу действия с формально определенными элементами. При работе с китайским я становлюсь воплощением компьютерной программы.

Сильная версия ИИ утверждает, что запрограммированные должным образом компьютеры понимают рассказы и могут в какой-то мере объяснить человеческое понимание. Благодаря нашему мысленному эксперименту мы можем теперь проанализировать эти утверждения.

1. Что касается первого утверждения, из нашего примера совершенно очевидно следует, что я не понимаю ни слова в китайских рассказах. Все, что у меня есть, это вводные и выходные данные, неотличимые от тех, что производят сами китайцы. Какой бы формальной программой я ни был снабжен, я все равно не понимаю ни слова! Точно так же компьютер Шенка не понимает ни слова в рассказах, написаны ли они по-китайски, по-английски или на каком-либо другом языке, поскольку в случае китайского компьютер — это я, а в остальных случаях у компьютера есть только та информация, которая была у меня, когда я ничего не понимал.

2. Что касается второго утверждения, что программа объясняет человеческое понимание, мы видим, что компьютер вместе с программой не создают достаточных условий понимания, поскольку они действуют, ничего при этом не понимая. Но помогают ли они пониманию? Одно из утверждений сторонников сильной версии ИИ заключается в том, что, когда я понимаю рассказ по-английски, я делаю точно то же самое, — или даже в большей степени — как когда я манипулирую китайскими символами. Разница в том, что в случае английского, который я понимаю, в голове у меня происходит большее количество формальных манипуляций, чем в случае китайского, которого я не понимаю. Я не доказал, что это утверждение ошибочно, но в приведенном примере оно кажется достаточно невероятным. Сторонники этого утверждения исходят из того, что мы можем создать программу с точно такими же входными и выходными данными, как у носителя языка, и что на каком-то уровни носители языка также могут быть описаны как воплощения некой программы. На основе этих двух предположений они заключают, что, хотя программа Шенка и не совершенна, это все же шаг вперед в нужном направлении. Думаю, что, хотя это эмпирически возможно, пока не было представлено ни одно доказательство того, что это верно. Наш мысленный эксперимент предполагает — но, разумеется, не доказывает — что компьютерная программа не имеет никакого отношения к моему пониманию рассказа. В случае с китайским, у меня имеется все, что может мне предоставить ИИ, и тем не менее, я ничего не понимаю; в случае с английским, я понимаю все, и у меня нет никаких оснований предположить, что мое понимание каким-то образом связано с компьютерной программой, то есть с вычислительными операциями на чисто формально определенных элементах. Если мы определяем программу как вычислительные операции на чисто формально определенных элементах, то из нашего примера вытекает, что сами по себе программы не имеют связи с пониманием. Они безусловно не являются достаточным условием понимания, и у нас нет ни малейшего основания полагать, что они являются его необходимым условием. Мы не можем заключить даже того, что они вообще способствуют пониманию. Обратите внимание на то, что сила этого аргумента — не в том, что разные машины могут иметь одинаковые входные и выходные данные, когда они работают по различным формальным принципам — суть совсем не в этом. Какие бы формальные принципы вы ни вложили в компьютер, они будут недостаточны для понимания, поскольку человек может следовать тем же формальным принципам, ничего при этом не понимая. Не существует никаких доказательств того, что подобные принципы необходимы или в какой-то мере полезны, поскольку не существует никаких доказательств того, что, когда я понимаю английский текст, я действую в соответствии с какой-либо формальной программой.

Но что же есть у меня в случае с английским текстом такого, что отсутствует в случае с текстом китайским? Очевидный ответ состоит в том, что я знаю, что означает первый, и понятия не имею о значении последнего. Но в чем это заключается, и почему мы не можем дать это нечто, чем бы оно ни было, машине? Я еще вернусь к этому вопросу, но сначала мне бы хотелось продолжить мой пример.

Мне приходилось представлять этот пример нескольким специалистам по Искусственному Интеллекту; интересно, что они не смогли сойтись в мнениях о том, как на него следует отвечать. Я получил самые разнообразные ответы; здесь я приведу основные из них (вместе с их географическим происхождением).

Но сначала я хочу заблокировать обычные недоразумения, связанные с “пониманием”. В этих дискуссиях можно найти попытки дать сложнейшие, причудливые определения слова “понимание”. Мои критики указывают на то, что бывают различные степени понимания; на то, что “понимание” не является простым двучленным предикатом; на то, что существуют даже различные типы и уровни понимания и что закон исключенного третьего нельзя прямо применить к высказываниям типа “X понимает У”, поскольку во многих случаях это не является фактом, но требует принятия решения, и так далее. На все эти возражения мне хочется ответить: “Ну разумеется, разумеется. Но все это не имеет отношения к обсуждаемым вопросам. Существуют бесспорные случаи того, когда понимание имеет место, и бесспорные случаи того, когда никакого понимания нет; именно эти случаи нужны мне для моего доказательства.[4]Я понимаю рассказы по-английски, в меньшей степени, по-французски и в еще меньшей степени, по-немецки. По-китайски я не понимаю ничего. С другой стороны, моя машина и мой калькулятор не понимают ничего — это не их дело. Мы часто метафорически приписываем “понимание” и другие когнитивные предикаты машинам, калькуляторам и другим приспособлениям, но это ничего не доказывает. Мы говорим: “Дверь знает, когда нужно открыться, благодаря своим фотоэлектрическим элементам”, “Калькулятор может складывать и вычитать, но не способен умножать” и “термостат воспринимает изменения температуры”. Причина, по которой мы приписываем все это машинам, довольно интересна — мы наделяем их собственной интенциональностью.[5]Наши инструменты — продолжение наших целей, и мы находим естественным метафорически приписывать им интенциональность. Однако такие примеры не режут философский лед. То, как дверь “понимает инструкции” своего фотоэлемента, не имеет ничего общего с тем, как я понимаю английский. Если бы предполагалось, что компьютер Шенка понимает рассказы в том же метафорическом смысле, в каком дверь понимает инструкции фотоэлемента, а не так, как я понимаю английский, то вопрос не стоил бы обсуждения. Но Ньюман и Саймон (1963) пишут, что понимание компьютеров идентично пониманию человека. Мне нравится прямолинейность подобного утверждения, и именно такие утверждения я и буду рассматривать. Я попытаюсь доказать, что в буквальном смысле запрограммированный компьютер понимает столько же, сколько автомобиль или калькулятор, то есть совершенно ничего. Понимание компьютера не частично или неполно (как мое понимание французского или немецкого) — оно равно нулю.

Перейдем теперь к ответам.

1. Ответ систем (Беркли). “Верно, что один человек, запертый в комнате, не понимает рассказа — но он является частью целой системы, которая этот рассказ понимает. Перед человеком лежит толстый том, в котором написаны правила, у него полно бумаги и карандашей, чтобы делать вычисления, у него есть “банк данных” в виде китайских иероглифов. Но понимание не приписывается только этому индивиду; скорее, оно приписывается всей системе, частью которой он является.”

Мой ответ на теорию систем очень прост. Пусть индивид усвоит все элементы системы, запомнит правила в книге и банк данных — китайских иероглифов, так что теперь он сможет производить все вычисления в уме. В таком случае индивид будет представлять всю систему, поскольку больше в системе ничего нет. Мы можем даже отказаться от комнаты и представить, что он работает на свежем воздухе. Так или иначе, он не понимает ничего по-китайски, а следовательно, ничего не понимает и система, потому что в системе нет ничего такого, чего не было бы в нем. Если он не понимает, то и система никак не может понимать, поскольку является лишь частью его.

В действительности, мне неловко давать даже этот ответ на теорию систем, потому что эта теория с самого начала казалась мне малоубедительной. Человек не понимает китайского, но каким-то образом сочетание этого человека с кусочками бумаги может его понимать — странная мысль! Мне трудно представить себе, чтобы кто-нибудь, не одурманенный определенной идеологией, мог найти подобную идею хоть сколько-нибудь правдоподобной. И все же я думаю, что многие сторонники сильной версии ИИ в конце концов захотят сказать что-нибудь подобное; поэтому давайте поговорим об этом еще немного. Согласно одной из версий этого аргумента, хотя человек, усвоивший всю систему, и не понимает китайского так, как китайцы (поскольку он, например, не понимает, что рассказ повествует о ресторане, гамбургерах и т.д.), он действительно понимает его в качестве системы, манипулирующей формальными символами. Подсистему этого человека, манипулирующую формальными китайскими символами, не следует путать с его же подсистемой, манипулирующей английским.

Таким образом, у человека имеется две подсистемы: одна понимает китайский, другая — английский, и “эти две системы почти не связаны между собой”. На это мне хочется ответить, что они не только мало чем связаны, но и совершенно непохожи друг на друга. Подсистема, понимающая английский (если мы на время согласимся говорить на жаргоне “подсистем”), знает, что речь идет о ресторанах и гамбургерах, знает, что у нее спрашивают нечто о ресторанах, что она отвечает наилучшим образом, делая выводы на основании содержания рассказа и так далее. Китайская подсистема ничего этого не знает. В то время как английская подсистема знает, что “гамбургеры” обозначают гамбургеры, китайская подсистема знает лишь то, что за “сквиггл-сквиггл” следует “сквоггл-сквоггл”. Она знает только то, что на одном конце вводятся некие китайские символы, которыми надо манипулировать согласно написанным по-английски правилам так, что на другом конце получатся иные символы. Весь смысл первоначального примера состоял в том, чтобы показать, что сама по себе подобная манипуляция символами не может быть достаточной для понимания китайского в буквальном смысле, поскольку можно сколько угодно писать “сквиггл-сквиггл” и “сквоггл-сквоггл”, не понимая при этом китайского. Не спасут дела и гипотетические подсистемы внутри человека, поскольку они находятся не в лучшем положении, чем был сам человек — у них нет ничего такого, что есть у англо-говорящего человека (или подсистемы). В описанном случае китайская подсистема на самом деле является лишь частью английской подсистемы, и эта часть занимается бессмысленной манипуляцией китайскими символами согласно правилам, написанным по-английски.

Давайте спросим себя, что вообще вызвало к жизни ответ систем, то есть какие независимые основания имеются для того, чтобы предположить, что внутри того человека имеется некая подсистема, действительно понимающая китайский? Насколько я понимаю, единственное основание заключается в том, что в приведенном примере — те же входные и выходные данные, как и у говорящих по-китайски, и программа, соединяющая оба конца. Но весь смысл примеров и состоял в том, что этого не может быть достаточно для понимания в том смысле, в каком я понимаю рассказы по-английски, поскольку человек и все составляющие его подсистемы могут иметь правильную комбинацию входных и выходных данных вкупе с программой, и все еще не понимать ничего в буквальном смысле, в каком я понимаю английский. Единственным поводом, чтобы утверждать, что во мне должна иметься подсистема, понимающая китайский, является то, что у меня есть программа, помогающая мне пройти тест Тьюринга и одурачить китайцев. Но речь здесь идет именно о том, насколько адекватен тест Тьюринга! Наш пример показывает, что могут существовать две системы, каждая из которых способна пройти тест Тьюринга, но лишь одна из них действительно понимает, что делает. Утверждение, что, поскольку они обе прошли тест Тьюринга, обе должны понимать, не годится как аргумент против моего возражения, поскольку игнорирует тот факт, что подсистема, понимающая английский, сильно отличается от подсистемы, манипулирующей китайскими символами. Короче говоря, ответ систем, не приводя никаких аргументов, просто голословно утверждает, что система должна понимать китайский.

Более того, этот ответ приводит к абсурдным последствиям. Если заключить, что во мне имеется некое понимание, поскольку имеются входные и выходные данные и программа между ними, то множество некогнитивных систем внезапно подпадут под рубрику когнитивных. Например, на определенном уровне переработкой информации занимается мой желудок. Этим он походит на компьютерные программы, но я не думаю, что стоит приписывать ему какое бы то ни было понимание.[6]Однако, если мы согласимся с ответом систем, то нам придется считать сердце, печень, желудок и т.п. понимающими подсистемами, поскольку эти подсистемы принципиально невозможно отличить от подсистемы, “понимающей” китайский. Возражение, что китайская подсистема в качестве входных и выходных данных имеет информацию, а желудок — пищу и продукты ее переработки, не помогает, поскольку с точки зрения действующего лица информации нет ни в том, ни в другом — ведь для него китайский — лишь набор бессмысленных закорючек! В случае с китайским, информация находится лишь в мозгу программистов и интерпретаторов, и ничто не мешает им считать информацией входные и выходные данные моих органов пищеварения.

Последнее утверждение затрагивает некоторые независимые от этого аргумента проблемы ИИ, и нам стоит на минуту отвлечься и кое-что объяснить. Если сильная версия ИИ претендует на то, чтобы стать ветвью психологии, она должна уметь отличать ментальные системы от систем, таковыми не являющихся. Она должна отличать принципы, по которым работает разум, от принципов, по которым работают нементальные системы, иначе она будет неспособна объяснить специфику ментального. Различие между ментальным-нементальным не может быть только в мозгу наблюдателя; оно должно быть неотъемлемой частью самих систем, иначе любой наблюдатель сможет обращаться с людьми, как с неодушевленными предметами, а ураганы считать разумными существами. Однако в литературе по ИИ это различие до такой степени смазано, что в конце концов ИИ может потерять право называться исследованием когнитивного. Например, Маккарти пишет: “Можно сказать, что даже такие простые механизмы, как термостаты, имеют убеждения, а наличие убеждений, как нам кажется, является характеристикой большинства механизмов, способных к решению задач” (McCarthy, 1979). Любой, кто считает что сильная версия ИИ заслуживает называться теорией разума, должен подумать над тем, что следует из подобных утверждений. Нам предлагают принять за открытие ИИ утверждение о том, что висящий на стене кусок металла, которым мы пользуемся для регулирования температуры, имеет убеждения точно так же, как мы, наши супруги и наши дети, и более того, о том, что “большинство” других механизмов в комнате — телефон, магнитофон, калькулятор, электрический выключатель — тоже имеют убеждения в буквальном смысле слова. В этой статье я не собираюсь спорить с Маккарти, поэтому привожу это утверждение без доказательств. Изучение разума начинается с утверждения о том, что люди имеют убеждения, а термостаты, телефоны и калькуляторы — нет. Если ваша теория оспаривает это утверждение, вы получили контрпример и ваша теория оказывается неверной. Складывается впечатление, что сторонники ИИ, пишущие подобные вещи, думают, что могут себе это позволить, поскольку не принимают этого всерьез и не думают, что кто-либо относится к этому серьезно. Я предлагаю, по крайней мере на время, отнестись к этому с полной серьезностью. Что понадобилось бы для того, чтобы представить, что эта кучка металла на стене обладает настоящими убеждениями; убеждениями направленными и интенциональными; желаниями, могущими быть удовлетворенными; убеждениями, могущими быть слабыми или сильными; убеждениями нервными, тревожными или уверенными; догматическими, рациональными или полными предрассудков убеждениями — любым типом убеждений. Термостат исключается из кандидатов. Также не являются возможными кандидатами желудок, печень, калькулятор или телефон. Тем не менее, поскольку мы принимаем эту идею всерьез, заметьте, что ее истинность была бы смертельной для утверждения сильной версии ИИ о том, что она является наукой о разуме, поскольку теперь разум оказался бы повсюду. Мы же хотели узнать, что отличает разум от термостатов и желудков. Если бы Маккарти был прав, сильная версия ИИ никогда не смогла бы ответить на этот вопрос.