Часть третья. опасности и надежды

Глава 11. МАШИНЫ РАЗРУШЕНИЯ

И я не сомневаюсь, что самыми грозными из всех армий, о которых когда-либо слышали на земле, является тот вид солдат, которые за их малостью не видимы.

Сэр Уильям Перри, о микробах, 1640 год.

Размножающиеся ассемблеры и мыслящие машины создают принципиальные угрозы для людей и жизни на Земле. Сегодняшние организмы имеют способности далеко от пределов возможного, и наши машины эволюционируют быстрее, чем мы сами. В пределах нескольких десятилетий представляется вероятным, что они на превзойдут. Если мы не научимся жить с ними в безопасности, наше будущее вероятно будет и восхитительным, и коротким. Мы не можем надеяться предвидеть все проблемы впереди, однако, уделяя внимания большим, принципиальным моментам, мы, возможно, в состоянии предвидеть наиболее значительные задачи и получить некоторое представление о том, как с ними иметь дело.

Без сомнения, будут написаны целые книги о грядущих социальных сдвигах: что случится с глобальным порядком, когда ассемблеры и автоматический инжиниринг исключать необходимость в большей части международной торговли? Как общество изменится, когда отдельные люди смогут жить независимо? Что мы будем делать, когда размножающиеся ассемблеры смогут производить почти всё что угодно без человеческого труда? Что мы будем делать, когда системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к заключению, что люди отчаются что-либо делать или создавать, авторы могут рассмотреть, как бегуны относятся к машинам, или как художники относятся к камерам.)

В действительности авторы уже почти предвидели и проговорили несколько из этих моментов. Каждый из них – дело необычайной важности, но более фундаментальным, чем любой из них является выживание жизни и свобода. В конце концов, если жизнь или свобода исчезнут, то наши идеи о социальных проблемах больше не будут иметь значения.

Угроза от машин

В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.

Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать "почти всё что угодно".

Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам – всей богатой фабрике биосферы и всему, что мы ценим.

Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. «Растения» с «листьями» не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные «бактерии» могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить – по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.

Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть «высшими» в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.

Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.

В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.

Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом. И также как с репликаторами, простое эволюционное «превосходство» не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.

Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.

На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны – войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами «микробами». В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.

Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу – если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.

Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.

Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.

Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.

Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.

В некотором смысле, государство – это просто сумма людей, образующих организационный аппарат: их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства – эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.

Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства – это не люди, хотя они состоят из людей.

Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой – одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.

Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.

Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы. Это могло бы просто могло бы расширить слишком известную картину. Мир уже содержит правительства, которые шпионят, пытают и кормят наркотиками; усовершенствованная технология просто расширит возможности.

Но с усовершенствованной технологией государствам не нужно будет контролировать людей – они просто вместо этого могли бы отказаться от людей. Большинство людей в большинстве государств, в конце концов, действуют в качестве работников-муравьёв, которые либо трудятся над личинками, либо охраняют их, а большая часть из этих работников делает, двигает или выращивает вещи. Государство с воспроизводящимися ассемблерами не нуждалось бы в такой работе. Что более важно, продвинутые системы ИИ могли бы заменить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанотехнологии и продвинутого ИИ сделает возможными разумных и эффективных роботов; с такими роботами, государство могло бы процветать, уволив кого угодно, или даже (в принципе) всех.

Значение этой возможности зависит от того, существуют ли государство для того, чтобы служить людям, или люди существуют для того, чтобы служить государству.

В первом случае мы имеем государство, сформированное людьми, чтобы служить общечеловеческим целям; демократии имеют тенденцию быть по крайней мере грубым приближением к этому идеалу. Если демократически управляемое правительство теряет свою необходимость в людях, это по сути означает, что ему не нужно больше использовать людей как чиновников и налогоплательщиков. Это откроет новые возможности некоторые из которых могут оказаться желательными.

Во втором случае, мы имеем государство, которое развилось, чтобы эксплуатировать людей, возможно по тоталитарному принципу. Государства нуждаются в людях как в работниках, потому что человеческий труд являлся необходимым основанием для власти. Что более важно, геноцид был дорогим и проблематичным для организации и выполнения. Однако в этом веке тоталитарные государства убивали своих граждан миллионами. Усовершенствованная технология сделает работников ненужными, а геноцид легко исполнимым. История свидетельствует, что тоталитарные государства могут тогда вообще уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что государство, желающее и способное поработить нас биологически, вместо этого бы просто нас убило.

Угроза совершенной технологии в руках правительств делает одну вещь совершенно очевидной: мы не можем позволить себе дать деспотическому государству взять первенство в грядущих прорывах.

Основная проблема, которую я обрисовал – очевидна: в будущем, также как и в прошлом, новые технологии будут годиться для аварий и злоупотребления. Поскольку репликаторы и думающие машины будут давать огромную новую власть, эта возможность аварий и злоупотребления будет также огромен. Эти возможности создают реальные угрозы нашим жизням.

Большинство людей хотело бы иметь возможность жить и быть свободными выбирать, как им жить. Эта цель может не звучать слишком утопичной, по крайней мере в некоторых частях света. Это не означает принуждение жизни каждого к соответствию какому-то грандиозному плану; это главным образом означает, чтобы избежать порабощения и смерти. Однако, также как достижение утопичной мечты, это принесёт будущее чудес.

Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотреть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна включать людей, принципы и институты, но также она должна основываться на тактике, которая неизбежно будет включать технологию.