Ход прогресса в области Дружественного ИИ

«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже, Ганновер, Нью Гемпшир. Исследование будет выполнено на основе предположения, что любой аспект обучения или любое другое качество интеллекта может быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».

---- McCarthy, Minsky, Rochester, и Shannon (1955).

Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Как они могли знать?

Дартмутское предложение включало в себя, среди прочего, следующие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение.

(Сноска 5) Это обычно правда, но не есть универсальная истина. В последней главе широко использован учебник «Искусственный интеллект: современный подход». (Russell and Norvig 2003) (Включающий раздел «Этика и риски Искусственного интеллекта», упоминающий взрыв интеллекта по I.J.Good и Сингулярность, и призывающий к дальнейшим исследованиям.) Но и к 2006 году это отношение является скорее исключением, чем правилом.

Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным. В Дармутском предложении ничего не говорится о построении позитивного / доброго / благоволящего ИИ. Вопросы безопасности не обсуждены даже с целью отбросить их. И это в то искреннее лето, когда ИИ человеческого уровня казался прямо за углом. Дармутское предложение было написано в 1955 году, до Асиломарской (Asilomar) конференции по биотехнологии, детей, отравленных тамиламидом во время беременности, Чернобыля и 11 Сентября. Если бы сейчас идея искусственного интеллекта был бы предложена в первый раз, кто-то доложен был бы постараться выяснить, что конкретно делается для управления рисками. Я не могу сказать, хорошая это перемена в нашей культуре или плохая. Я не говорю, создаёт ли это хорошую или плохую науку. Но сутью остаётся то, что если бы Дартмутское предложение было бы написано 50 лет спустя, одной из его тем должна была бы стать безопасность.

В момент написания этой статьи в 2006 году, сообщество исследователей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсутствие литературы. Дружественный ИИ отсутствует в пространстве концепций, а не просто не популярен или не финансируем. Вы не можете даже назвать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено. (5) Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, такие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Дружественного ИИ в качестве части проблемы. Точно так же я не видел обсуждения Дружественного ИИ как технической проблемы в технической литературе. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссылок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov, 1942.) Имея в виду, что сейчас уже 2006 год, почему не много исследователей ИИ, которые говорят о безопасности? У меня нет привилегированного доступа к чужой психологии, но я кратко обсужу этот вопрос, основываясь на личном опыте общения.

Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.

У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.

Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.

Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.

Наиболее сильные современные техники ИИ, так, как они были развиты, отполированы и улучшены с течением времени, имеют основополагающую несовместимость с требованиями Дружественного ИИ, как я их сейчас понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, – точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три десятилетия с нуля. В поле исследований ИИ довольно вызывающе открыто обсуждать ИИ человеческого уровня, в связи с прошлым опытом этих дискуссий. Есть соблазн поздравить себя за подобную смелость, и затем остановиться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.

Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учётом нашего теперешнего понимания, мы просто не на том уровне, чтобы обращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: Теории решений и эволюционной психологии и теории вероятностей и эволюционной биологии и когнитивной психологии и теории информации и в области знаний, традиционно известной как «Искусственный интеллект»… Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.

«Правило десяти лет» для гениев, подтверждённое в разных областях – от математике до тенниса – гласит, что никто не достигает выдающихся результатов без по крайней мере десяти лет подготовки. (Hayes, 1981.) Моцарт начал писать симфонии в четыре года, но это не были моцартовские симфонии – потребовалось ещё 13 лет, чтобы Моцарт начал писать выдающиеся симфонии. (Weisberg, 1986.) Мой собственный опыт с кривой обучения подкрепляет эту тревогу. Если нам нужны люди, которые могут сделать прогресс в Дружественном ИИ, то они должны начать тренировать сами себя, всё время, за годы до того, как они внезапно понадобятся.

Если завтра Фонд Билла и Мелинды Гейтс выделит сто миллионов долларов на изучение Дружественного ИИ, тогда тысячи учёных начнут переписывать свои предложения по грантам, чтобы они выглядели релевантными по отношению к Дружественному ИИ. Но они не будут искренне заинтересованы в проблеме – свидетельство чему то, что они не проявляли любопытства к проблеме до того, как кто-то предложил им заплатить. Пока Универсальный ИИ немоден и Дружественный ИИ полностью за пределами поля зрения, мы можем предположить, что каждый говорящий об этой проблеме искренне заинтересован в ней. Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги создадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых решений.

Я не могу считать этот вывод хорошей новостью. Мы были бы в гораздо большей безопасности, если бы проблема Дружественного ИИ могла бы быть разрешена путём нагромождения человеческих тел и серебра. Но на момент 2006 года я сильно сомневаюсь, что это годится – область Дружественного ИИ, и сама область ИИ, находится в слишком большом хаосе. Если кто-то заявляет, что мы не можем достичь прогресса в области Дружественного ИИ, что мы знаем слишком мало, нам следует спросить, как долго этот человек учился, чтобы придти к этому заключению. Кто может сказать, что именно наука не знает? Слишком много науки существует в природе, чтобы один человек мог её выучить. Кто может сказать, что мы не готовы к научной революции, опережая неожиданное? И если мы не можем продвинуться в Дружественном ИИ, потому что мы не готовы, это не означает, что нам не нужен Дружественный ИИ. Эти два утверждения вовсе не эквивалентны!

И если мы обнаружим, что не можем продвинуться в Дружественном ИИ, мы должны определить, как выйти из этой ситуации как можно скорее! Нет никаких гарантий в любом случае, что раз мы не можем управлять риском, то он должен уйти.

И если скрытые таланты юных учёных будут заинтересованы в Дружественном ИИ по своему собственному выбору, тогда, я думаю, будет очень полезно с точки зрения человеческого вида, если они смогут подать на многолетний грант, чтобы изучать проблему с полной занятостью. Определённое финансирование Дружественного ИИ необходимо, чтобы это сработало – значительно большее финансирование, чем это имеется сейчас. Но я думаю, что на этих начальных стадиях Манхетенский проект только бы увеличил долю шума в системе.

Заключение

Однажды мне стало ясно, что современная цивилизация находится в нестабильном состоянии. I.J. Good предположил, что взрыв интеллекта описывает динамическую нестабильную систему, вроде ручки, точно сбалансированной, чтобы стоять на своём кончике. Если ручка стоит совершенно вертикально, она может оставаться в прямом положении, но если ручка отклоняется даже немного от вертикали, гравитация потянет её дальше в этом направлении, и процесс ускорится. Точно так же и более умные системы будут требовать меньше времени, чтобы сделать себя ещё умнее.

Мёртвая планета, безжизненно вращающаяся вокруг своей звезды, тоже стабильна. В отличие от интеллектуального взрыва, истребление не является динамическим аттрактором – есть большая разница между «почти исчезнуть» и «исчезнуть». Даже в этом случае, тотальное истребление стабильно.

Не должна ли наша цивилизация, в конце концов, придти в один из этих двух режимов? Логически, вышеприведённое рассуждение содержит проколы. Например, Ошибочность Гигантской Ватрушки: умы не бродят слепо между аттракторами, у них есть мотивы. Но даже если и так, то, я думаю, наша альтернатива состоит в том, что или стать умнее, или вымереть.

Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвигает грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин 10 века изобрести лекарство от туберкулёза? Природа не соизмеряет свои вызовы с вашими умениями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызовом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случится и со всем человеческим видом, если человеческий вид столкнётся с несправедливым вызовом.

Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бессмертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего человека в мире, столь рискованном, как наш, вы должны каким-то образом свести свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а умственно (cognitively) невозможно.

Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было воённых биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить какое-либо заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» – это недостаточно хорошо, для того, чтобы прожить ещё миллион лет.

Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.

Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.

Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.

Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:

«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по MacFie, 1912.)

Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.

Литература:

Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.

Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.

Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.

Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.

Brown, D.E. 1991. Human universals. New York: McGraw-Hill.

Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/

Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.

Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.

Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.

Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.

Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.

Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).

Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.

Hofstadter, D. 1979. Gödel, Escher, Bach: An Eternal Golden Braid. New York: Random House

Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.

Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).

MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.

McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.

Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.

Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.

Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.

Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.

Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.

Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.

Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.

Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.

Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.

Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.

Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.

Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.

Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.

Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.

Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.

Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.

Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.

Роберт Фрейтас. Проблема Серой Слизи

The Gray Goo Problem by Robert A. Freitas Jr.

http://www.kurzweilai.net/meme/frame.html?main=/articles/art0142.html

перевод: А.В.Турчин

В классическом сценарии «серой слизи» Эрика Дрекслера вышедшие из-под контроля нанотехнологические репликаторы истребляют всю жизнь на Земле. Данная статья Роберта Фрейтаса представляет собой первый количественный технический анализ этого катастрофического сценария, а также предлагает ряд возможных решений. Она была написана частично в ответ на опасения, недавно высказанные Биллом Джоем.

Изначально эта статья была опубликована в апреле 2000 года под названием «Некоторые пределы глобальной экофагии биоядными нанорепликаторами, с рекомендациями для государственной политики». "Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations." Оригинальная версия вышла в апреле 2000г. Здесь приводится сокращённая версия с сайта KurzweilAI.net от 20 марта 2001г.

Максимальная скорость глобальной экофагии биоядными саморазмножающимися нанороботами фундаментальным образом ограничена следующими факторами: применяемой стратегией репликации; максимальной скоростью распространения подвижных репликаторов; доступной энергией и требуемыми химическими элементами; гомеостатическим сопротивлением биологической экосообществ к экофагии; пределами теплового загрязнения, связанного с экофагией; и, что важнее всего, нашей решимостью и готовностью остановить их.

Предполагая, что нынешние и предвидимые в будущем рассеивающие энергию системы требуют ~ 100 Мдж/кг для химических реакций (наиболее вероятно для биоядных систем), мы получим, что довольно медленная экофагия даст примерно 4°C к глобальному потеплению (что находится примерно на уровне немедленного обнаружения современными климатологическими средствами) и потребует примерно 20 месяцев для завершения; более быстрые устройства-экофаги будут работать с большим выделением тепла, что позволит контролирующим властям быстрее их заметить. Все исследованные сценарии экофагии могут быть обнаружены средствами бдительного мониторинга, позволяя в силу этого быстро развернуть эффективные защитные инструменты.

Введение

Недавние дискуссии [1] о возможных опасностях, связанных с будущими технологиями, такими как искусственный интеллект, генная инженерия и молекулярная нанотехнология, сделали очевидным то, что необходим интенсивный теоретический анализ основных рисков окружающей среде со стороны молекулярной нанотехнологии (MNT). Никаких систематических исследований рисков и ограничений MNT технологий пока не предпринималось. Эта статья представляет собой первую попытку начать этот аналитический процесс с применением количественных методов.

Возможно, впервые обнаруженная и наиболее известная опасность молекулярной нанотехнологии – это опасность, что самореплицирующиеся нанороботы, способные автономно функционировать в естественной среде, могут быстро превратить естественную среду (то есть биомассу) в собственные копии (то есть наномассу) по всей планете. Этот сценарий обычно называется «проблемой серой слизи», но, пожалуй, более правильно мог бы быть назван «глобальной экофагией».

Как Дрекслер впервые предупредил в ‘Машинах Созидания’ [2]:

"Растения" с "листьями", не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть в конкурентной борьбе с настоящими растениями, наводняя биосферу несъедобной листвой. Точно также всеядные "бактерии" могли бы победить в конкуренции настоящих бактерий: они могли бы распространиться, как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жесткими, маленькими и быстро распространяющимися, чтобы их можно было остановить – по крайней мере, если мы не сделаем никаких приготовлений. А у нас и так достаточно проблем с контролем над вирусами и фруктовыми мушками.

Среди знатоков нанотехнологий эта угроза стала известна как «проблема серой слизи». Хотя массы неконтролируемых репликаторов не обязаны быть серыми и склизкими, термин серая слизь подчёркивает, что репликаторы, способные уничтожить жизнь, могут быть не более вдохновляющими, чем ползучий сорняк. Они могут быть превосходными в эволюционном смысле, но это не делает их ценными.

Угроза серой слизи делает одну вещь абсолютно ясной: Мы не можем себе позволить определённого рода аварии с реплицирующимися ассемблерами.

Серая слизь определённо была бы печальным концом человеческих приключений на Земле, значительно худшим, чем огонь или лёд, и при этом она могла бы произойти из одной-единственной аварии в лаборатории.

Ледерберг [3] отмечает, что мир микробов развивается в быстром темпе, и предполагает, что наше выживание зависит от принятия «более микробной точки зрения». Возникновение новых инфекций, таких как ВИЧ и вирус Эбола, демонстрирует, что у нас пока очень мало знаний о том, как естественные или технологические вмешательства в окружающую среду могут запускать мутации в известных организмах или неизвестных существующих организмах [81], создавая ограниченную форму «зелёной слизи» [92].

Однако будет нелегко построить биоядных нанороботов, способные к всепоглощающей экофагии, и их конструирование потребует исключительного внимания к множеству сложных требований и тактических задач. Такие биопожиратели могут появиться только после длительного периода целенаправленных сконцентрированных усилий, или как результат намеренных экспериментов, направленных на создание искусственной жизни общего назначения, возможно, с использованием генетических алгоритмов, и очень маловероятно, что они возникнут исключительно в результате аварии.

Угроза экофагии

Классическая молекулярная нанотехнология [2], [4] предвидит создание наномашин в основном сконструированных из богатых углеродом алмазоподобных материалов – даймонидов. Другая полезная нанохимия может включать в себя богатый алюминием сапфир (Al2O3), богатые бором (BN) или титаном материалы (TiC) и подобные им. TiC имеет наивысшую возможную рабочую температуру среди обычных материалов (точка плавления ~ 3410°K [5]), и, хотя алмаз может поцарапать TiC, TiC может быть использован для плавления алмаза.

Однако атомы Al, Ti и B гораздо более распространены в земной коре, чем в биомассе (81 300 ppm, 4400 ppm и 3 ppm, соответственно [5]), то есть в человеческом теле (0,1 ppm, 0 ppm, and 0,03 ppm [6]), что уменьшает прямую угрозу экофагии от таких систем. С другой стороны, углерод в тысячу раз менее распространён в земной коре (320 ppm, в основном карбонаты), чем в биосфере (~230 000 ppm).

Более того, возможность превращения литосферы в наномеханизмы не является главным поводом для беспокойства, поскольку обычные скалы содержат относительно мало источников энергии. Например, содержание естественных радиоактивных изотопов в скальных породах земной коры имеет значительные разброс, как функция их геологического происхождения и истории региона, но в основном находится в пределах 0.15-1.40 милиГр/год mGy/yr [7], давая мощность порядка 0.28-2.6 ×10^-7 Вт/m3, в предположении, что горные породы имеют плотность, приблизительно равную средней земной плотности (5522 кг/м3 [5]).

Этого крайне недостаточно для питания нанороботов, способных к значительной активности; современные конструкции наномашин в основном требуют энергетических мощностей порядка 10^-5 -10^-9 Вт/m3 для того, чтобы достичь эффективных результатов [6]. (Биологические системы обычно функционируют с мощностями 10^-2 -10^-6 Вт/m3 [6].)

Солнечная энергия не доступна под земной поверхностью, и средний поток геотермального тепла составляет только 0,05 Вт/m2 на земной поверхности [6], что составляет только малую часть от солнечной энергии.

Гипотетические абиотические запасы нефти в земной коре [16], вероятно, не могут дать достаточной энергии для роста наномассы репликаторов по причине отсутствия окислителей глубоко под землёй, хотя были описаны потенциально большие популяции геобактерий [10-16], и в принципе некоторые необычные, хотя весьма ограниченные бактериальные источники энергии тоже могут быть заняты нанороботами.

Например, некоторые анаэробные бактерии используют металлы (вместо кислорода) в качестве акцепторов электронов [13], превращая железо из минералов вроде пироксена или оливина в железо в более окисленной форме в магнитных минералах вроде магнетита и маггемита, и используют геохемически возникающий водород, чтобы превращать СО2 в метан [11]. Подземные бактерии в отложениях Атрим Шейл производят 1.2 ×10⁷ м3/ день природного газа (метана), потребляя остатки водорослей возрастом 370 млн. лет [17].

Также проводились эксперименты по биорекультивации в фирме Envirogen и в других, в ходе которых питающиеся загрязнениями бактерии намеренно вводились в землю, чтобы метаболизировать органические яды; в ходе полевых исследований выяснилось, что трудно заставить бактерии двигаться сквозь подземные водоносные слои, поскольку негативно заряженные клетки склонны склеиваться с позитивно заряженными оксидами железа в почве [18].

Однако главная тревога относительно экофагии состоит в том, что неудержимое распространение нанороботов-репликаторов или «реплиботов» превратит всю биосферу на поверхности земли (то есть экосистему всех живых организмов на поверхности Земли) в искусственные материалы некого рода – особенно, материалы вроде них самих, иначе говоря, в ещё большие количества самореплицирующихся наноробтов.

Поскольку продвинутые нанороботы могут быть сконструированы в основном из богатых углеродом алмазоподобных материалов [4], и поскольку ~12% всех атомов в человеческом теле (что типично для биологии в целом) – это атомы углерода, или ~23% по весу, запас углерода во всей земной биомассе может оказаться достаточным для самопроизводства конечной массы реплицирующихся алмазоидных нанороботов порядка ~0.23 Mbio, где Mbio – полный вес земной биомассы.

В отличие от большинства естественных материалов, биомасса может служить как источника углерода, так и источника энергии для репликации наномашин. Нанороботы-экофаги могут считать живые организмы в качестве естественных накопителей углерода, а биомассу – в качестве ценной руды для добычи углерода и энергии. Разумеется, биосистемы, из которых выделен весь углерод, больше не могут быть живыми, но вместо этого будут безжизненной химической грязью.

Другие возможные сценарии

Были обнаружены четыре других сценария, которые могут привести непрямым образом к глобальной экофагии. Мы их рассмотрим ниже. Во всех случаях раннее обнаружение кажется возможным при достаточном уровне подготовки, и адекватная защита легко представима при использовании молекулярных нанотехнологий сопоставимой сложности.

Серый Планктон

Существование 1-2 ×10*16 кг [24] подводных запасов углерода на материковых окраинах в виде клатратов метана и подобного же количества (3.8 ×10*16 кг) растворённого в воде углерода в форме CO2 представляет собой запас углерода более чем на порядок больший глобальной биомассы.

Метан и CO2 в принципе могут реагировать, образуя чистый углерод и воду, плюс 0,5 МДж/кг энергии. (Некоторые исследователи изучают возможность уменьшить эффект парниковых газов, закачивая жидкий [44] или твёрдый [45] CO2 на дно океана, что потенциально может облегчить задачу морским реплиботам по метаболизму запасов метана.)

Кислород также может быть транспортирован с поверхности в микробаках под давлением посредством системы транспорта, основанной на плавучести, в которой превращение хлатрата метана в наномассу будет происходить на морском дне. Последующая колонизация богатой углеродом наземной экосистемы огромной и голодной массой выросших на морском дне репликаторов называется сценарием «серого планктона».

(Фитопланктон, имеющий размеры в 1-200 микрометров, состоит из частиц наиболее ответственных за изменение оптических свойств океанской воды по причине сильного поглощения этими клетками голубых и красных частей оптического спектра [37].)

Если конроль не будет вестись около морского дна во время основного цикла репликации нанороботов, то естественное отношение числа живых клеток к числу нанороботов окажется больше на много порядков величины, что требует более тщательных усилий по подсчёту. Осуществляющие подсчёт нанороботы могут быть использованы для обнаружения, отключения, опрыскивания или разрушения устройств серого планктона

Серая пыль (Поедатели воздуха – Aerovores)

Традиционные конструкции алмазоидной наномашинерии [4] используют 8 основных химических элементов, при этом все они присутствуют в атмосфере в значительных количествах [46]. (Кремний присутствует в воздухе в виде микроскопической пыли, которая содержит ~28% Si в случае скальных пород [5], при средней концентрации пыли в атмосфере ~0.0025 mg/m3.) Потребность в относительно редких в атмосфере элементах значительно ограничивает потенциальную наномассу и скорость роста летающих репликаторов.

Однако отметьте, что одна из классических конструкций наноробота имеет более 91% CHON по весу. И хотя это будет крайне трудно сделать, теоретически возможно, что репликаторы будут сделаны почти целиком из CHON, и в этом случае такие устройства могут реплицироваться относительно быстро с использованием только атмосферных ресурсов и солнечную энергию. Всемирное покрывало из летающих в воздухе репликаторов или «аэроворосов» (воздухоядных), которое блокирует весь солнечный свет, было названо сценарием «серой пыли» [47]. (Уже было несколько