Истощение ресурсов или разрушение экологии

Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, в том случае, коли природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс

Можно представить, что однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа (Huxley 1932).

Мировое правительство может не быть единственной формой социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, адекватных темпам роста. В исторической ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на значительную дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

Давление «вырождения»

Возможно, что продвинутое цивилизованное общество нуждается в том, чтобы в нем была достаточно большая доля интеллектуально одаренных людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).Однако, вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.

Более того, генетическая инженерия быстро приближается к точке, к тому времени, когда родители смогут наделять своих отпрысков генами, коррелирующими с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами. В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной (Bostrom et al. 1999; Freitas 1999).

Технологическая остановка

Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.

6.5. Нечто непредвиденное[75]

Как и в прошлый раз, это — категория на все случаи жизни.

В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.

Скрипы

Выяснение того, какие сценарии являются скрипами, является более трудным из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

Захват власти превосходящим интеллектом, загруженным в компьютер

Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки разума сохранит изначальную память, навыки, ценности и сознание.

Загрузка разума упростит улучшение его интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведет к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет, в свою очередь, еще успешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные разумные существа останутся примерно на человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка имеет склонность к не допускать других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.

Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.

Сверхинтеллект с ошибкой

Опять-таки, существует возможность, что плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.