Власть, зло, некомпетентность и лень

Я обрисовал, как нанотехнология и продвинутый ИИ дадут огромную власть ведущей силе – власть, которая может быть использована чтобы уничтожить жизнь, или чтобы расширить и освободить её. Поскольку мы не можем остановить эти технологии, представляется, что мы должны как-то справиться с возникновением концентрации власти, большей, чем любая другая в истории.

Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.

Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов – государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.

Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.

Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.

Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло – слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность – слишком ли мы глупы, чтобы делать правильные вещи? Лень – слишком ли мы ленивы, чтобы подготовиться?

Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.

Демократические правительства – большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.

Некомпетентность будет кончено неизбежна, но должна ли она быть фатальной? Мы, человеческие существа, по своей природе глупы и невежественны, однако мы иногда ухитряемся объединить наши кусочки компетентности и знания, чтобы достигать великих вещей. Никто не знает, как долететь до Луны и никто никогда не узнает, однако дюжина людей прошлась по её поверхности. Мы преуспели в технических вопросах, потому что научились строить институты, которые собирают многих людей вместе, чтобы генерировать и проверять идеи. Эти институты добиваются надёжности путём избыточности, и качество их результатов зависит от во многом от того, как сильно это нас заботит и как напряжённо мы работаем. Когда мы концентрируем достаточно внимания и ресурсов на надёжности, мы часто преуспеваем. Это – то, почему полёты на Луну закончились успешно без гибели в космосе и почему никакое ядерное оружие никогда не было запущено и не взорвалось по случайности. И это то, почему мы можем суметь управлять нанотехнологией и продвинутым ИИ с достаточной осторожностью, чтобы гарантировать компетентную работу. Неустойчивые люди с ограниченными способностями могут объединиться, чтобы образовать стабильные, компетентные институты.

Лень – интеллектуальная, моральная и физическая – кажется возможно нашей самой большой опасностью. Мы можем только отвечать на великие вызовы великими усилиями. Сделают ли достаточно людей достаточные усилия? Никто не может этого сказать, поскольку никто не может сказать за любого другого. Но успех не потребует неожиданного всеобщего прозрения и мобилизации. Он потребует только растущего сообщества людей, пытающихся разработать, опубликовать и воплотить работоспособные решения, и чтобы они имели хорошую и растущую меру успеха.

Это не так невероятно. Забота о технологии стала широко распространённой, также как идея ускоряющегося изменения потребует лучшего предвидения. Лень не поймает в западню каждого, и введённые в заблуждение мыслители не будут вести по ложному направлению усилия всех. Смертоносные псевдо-решения (такие как запрещение исследований) проиграют битву идей, если достаточно людей разоблачат их. И хотя мы сталкиваемся в большим вызовом, успех сделает возможным осуществление великих мечтаний. Великие надежды и страхи могут подвигнуть достаточно людей, чтобы дать возможность человеческой расе выиграть.

Страстное участие и действие не будут достаточны; мы также будем нуждаться в хорошо обоснованных стратегиях. Это потребует больше чем хороших намерений и чётких целей: мы должны также отслеживать фактические связи в мире, которые будут связывать то, что мы делаем, с тем, что мы получаем. По мере того, как мы приближаемся к технологическому кризису беспрецедентной сложности, имеет смысл попытаться улучшить наши институты оценки важных технических фактов. Как ещё мы можем направлять ведущую силу и минимизировать угрозу последней некомпетентности?

Институты эволюционируют. Чтобы вывести лучшие институты для нахождения фактов, мы можем копировать, адаптировать и расширять наши прошлые успехи. Они включают свободную прессу, научное сообщество, и суды. Все имеют свои достоинства, и некоторые из этих достоинств могут быть объединены.

Глава 13. НАХОЖДЕНИЕ ФАКТОВ

Страх нельзя запретить, но он может быть спокойным и без паники; и он может быть уменьшен разумом и оценкой.

Ванневар Буш.

Собрание экспертов

От междоусобиц к честному судебному процессу

Один из подходов

Почему бы не справедливый судебный процесс?

Построение справедливого судебного процесса

Обществу нужны лучшие способы понимания технологии – это давно уже очевидно. Вызовы будущего просто делают нашу потребность более насущной.

Обещания технологии манит нас вперёд, а давление конкуренции делает остановку практически невозможной. По мере того, как гонка технологий ускоряется, новые разработки входят в нашу жизнь всё быстрее, а фатальные ошибки становятся более вероятными. Нам нужно создать лучший баланс между нашим предвидением и нашей скорость продвижения. Мы не можем сделать много, чтобы замедлить рост технологии, но мы можем ускорить скорость предвидения. И с лучшим предвидением, у нас будет больше шансов направлять гонку технологий в безопасном направлении.

Предлагались различные способы для управления технологией. "Люди должны контролировать технологию" – неплохой лозунг, но он может иметь два возможных значения. Если это значит, что мы должны заставить технологию служить человеческим потребностям, то он вполне имеет смысл. Но если он означает, что люди как целое должны принимать технические решения, то в нём очень мало смысла. Электорат не может оценить внутренние взаимосвязи между технологией, экономикой, окружающей средой и жизнью; у людей нет необходимых знаний. Сами люди согласны: в соответствии с исследованием Государственным фондом науки США 85 процентов взрослых людей в США считают, что большинство граждан не имеет знаний, необходимых, чтобы выбирать, какие технологии разрабатывать. Публика в целом оставляет технические суждения техническим экспертам.

К сожалению, оставление суждений экспертам вызывает проблемы. В "Совете и разногласии" Примак и фон Хиппель отмечают, что "до той степени, до которой Администрация может преуспевать в удерживании нежелательной информации в секрете и публику в неведении, благополучие общества может быть принесено в жертву с безнаказанностью для удобства бюрократов и частной выгоды." Люди у руля подвергаются большей критике, когда новое лекарство вызывает единственную смерть, чем когда его отсутствие вызывает тысячи смертей. Они и выдают неправильное регулирование соответственно этому. Военные бюрократы имеют законный интерес в трате денег, скрытии ошибок и продолжении своих проектов. Они и управляют неправильно соответственно этому. Этот вид проблемы такой фундаментальный и естественный, что больше примеров вряд ли нужно. Везде секретность и туман создают чиновникам больший комфорт; везде личная выгода искажает фактические утверждения по вопросам, касающимся общественности. По мере того, как технологии становятся всё более сложными и важными, эта модель становится всё более опасной.

Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии " становятся по сути своей тоталитарными

" (её курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет всё более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обречённость: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.

К счастью, демократия и свобода сталкивалась с подобными вызовами в прошлом. Государства становились слишком сложными для прямой демократии, но появилась представительная демократия. Государственная власть угрожала разрушить свободу, но появилась власть закона. Технология стала сложной, но это не даёт нам никакой причины игнорировать людей, сбрасывать со счетов закон и приветствовать диктатора. Нам нужны способы, чтобы управлять технической сложностью в демократических рамках, используя экспертов как инструменты, чтобы прояснять наше видение, не давая им контроля над нашими жизнями. Но технические эксперты сегодня втянуты в систему междоусобиц между узкими группами.

Собрание экспертов

Правительство и промышленность, а также их критики, обычно назначают экспертные комитеты, которые встречаются в тайне, если встречаются вообще. Эти комитеты претендуют на то, что им можно доверять, основываясь на том, кто они есть, а не на том, как они работают. Противостоящие группы нанимают оппозиционирующих нобелевских лауреатов.

Чтобы завоевать влияние в нашей массовой демократии, группы пытаются переплюнуть друг друга. Когда их взгляды относятся к обществу, они выносят их на публику путём рекламных компаний. Когда их взгляды относятся к государству, они выносят их к законодательной власти путём лоббирования. Когда их взгляды имеют драматический оттенок, они выносят их на публику через кампании в СМИ. Группы продвигают своих любимых экспертов, сражение выходит на публику и тихие учёные и инженеры тонут в шуме.

По мере того, как общественный конфликт нарастает, люди начинают сомневаться в заявлениях экспертов. Они оценивают утверждения очевидным образом – по его источнику. ("Конечно, она заявляет, что разлив нефти безопасен – она работает на Эксон." "Конечно, он говорит, что Эксон лжёт – он работает на Нейдер.")

Когда авторитетные эксперты теряют доверие, демагоги могут присоединиться к битве на равной ноге. Журналисты страждут противоречий, стараясь объективно освещать картину, и редко руководствуются техническими соображениями – выносят все стороны прямо на публику. Осторожные утверждения, делаемые добросовестными учёными создают мало впечатления; другие учёные не видят другого выбора кроме как принять демагогический стиль. Дебаты становятся острыми и гневными, расхождения во взглядах растут и дым битв затемняет сами факты. Часто за этим следует паралич глупости.

Наша величайшая проблема в том, что мы делаем с проблемами. Дебаты бушуют по поводу ядерной энергии, энергии каменного угля, химических отходов. Имеющие хорошие намерения группы, подкрепляемые экспертами сталкиваются вновь и вновь вокруг скучных технических фактов – скучных, то есть за исключением их важности: Какие последствия имеют малые дозы радиации и как вероятна авария на ядерном реакторе? Каковы причины и последствия кислотных дождей? Насколько хорошо могла бы защита с космическим базированием защищать от ракетных атак? Говорят ли пять случаев лейкемии в пределах трёх миль данной свалки отходов о смертельной опасности или это просто игра случая?

Более существенные вопросы – впереди: насколько безопасные репликаторы? Будут ли системы активных щитов безопасны и надёжны? Будет ли обратима процедура биостаза? Можем ли мы доверять системе ИИ?

Споры о технических фактах питают более широкие диспуты о стратегии. Люди могут иметь различающиеся ценности (как, чтобы бы вы предпочли, энцефалит или отравление пестицидами?), но их взгляды на относящиеся к делу факты расходятся ещё больше. (как часто эти комары переносят энцефалит? Как токсичны эти пестициды?) Когда различающиеся взгляды на скучные факты ведут к разногласиям относительно важных стратегий, люди могут удивляться, "Как они нам могут противоречить по таким важным стратегическим вопросам, если только у них нет дурных мотивов?" Споры насчёт фактов могут таким образом настроить потенциальных союзников друг против друга. Это мешает нашим усилиям в понимании и решении наших проблем.

Люди обсуждают факты на протяжении тысячелетий; только особое положение технических диспутов ново. Общества разработали методы для оценки фактов о людях. Эти методы подсказывают, как мы могли бы судить факты о технологии.