Ускорение субъективного времени с целью избежания катастрофы

А.Горелик размышлял вслух о возможности взрыва Академии наук, чтобы остановить БАК. Т.Качинский избирательно убивал учёных, занимающихся ИИ.

Бостром делает вывод, что верно по крайней мере одно утверждение из трёх:

1) Ни одна цивилизация не способна достичь технологического уровня, необходимого для создания всемирного компьютрониума.

2) Или КАЖДЫЙ возможный компьютрониум во вселенной будет абсолютно не заинтересован в моделировании своего прошлого.

3) Или мы уже находимся внутри имитации в компьютрониуме.

2. Таким образом, рассуждение о симуляции сводится к острой альтернативе: «Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции».

Соотношение 1 к 3, предлагаемое Уэллсом для шансов соотношения шансов вымирания людей и коллапса цивилизации, примерно соответствует соотношению погибших и раненных при терактах.

Тогда кажутся убедительными следующие оценки вероятности вымирания:

· 15 % – недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ будет обладать способностью обнаруживать всех людей без исключения и воздействовать на них, в большей мере, чем другие факторы.

· 15 % – системный кризис с многократным применением биологического, нано и ядерного оружия.

· 14 % – нечто неизвестное.

· 1 % – неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.

· 0,1 % – естественные природные катастрофы,

· 0,9 % – неудачные физические эксперименты

· 1 % – серая слизь: внезапная нанотехнологическая катастрофа

· 1 % – SETI-атака

· 1 % – ядерное оружие судного дня

· 1 % – прочие.

Оставшиеся 50 % приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:

· 15 % – позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.

· 10 % – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, люди как домашние животные у сверхлюдей, безработные у телевизора. Власть переходит к ИИ и машинам.

· 5 % – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается традиционными футурологами в качестве наилучшего варианта.

· 20 % – Откат на стадию постапоклиптического мира. Разные уровни деградации.

Экстремальность этого решения в том, что поскольку в прошлом было очень немного людей, которые знают о DA (примерно десятки тысяч в настоящий момент), то тот факт, что я обнаруживаю себя так рано (то есть первых десятках тысяч) в этом множестве, говорит, согласно логике самого DA, что и в будущем будет примерно столько же знающих о нём людей

С точки зрения будущих жителей XXII века будет важно не то, как хорошо или плохо мы жили, а насколько мы постарались, чтобы вообще дожить до будущего.

недооценивается опасность конкуренции между группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может сама по себе стать глобальным риском. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».

В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности

1. Основной причиной человеческих ошибок является сверхуверенность.Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими психологическими механизмами, и вероятно, имела эволюционное значение. Поэтому обнаружить её в себе и искоренить очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройство человеческого мышления противоречит идее рассмотрения множества равновероятных вариантов будущего: гораздо привычнее думать о том, что нечто или есть, или его нет. Само слово «будущее» употребляется в единственном числе, как будто оно одно. Наконец, выбор, сделанный однажды в пользу некой интерпретации идеи, становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.

15. Особенности человеческой эмоции страха.Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.

. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту» [Yudkowsky 2008b]. Причиной этой ошибки является «сверхуверенность экспертов», – например, ситуация, когда эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих предположениях.

35. Нехватка внимания по причине естественных ограничений рабочей памяти мозга.Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие являются возможными источниками ошибок. Эта ограниченность заставляет человека концентрироваться на одних аспектах проблемы, например, нападёт ли А на Б, уменьшая при этом (погружая в тень внимания) другие аспекты. ни один человек не может охватить своим умом все мировые проблемы так, чтобы ранжировать их по степени опасности и приоритетности. Даже целая организация вряд ли на такое способна.

32. Стокгольмский синдром. «смертничестве» – философской концепции, которая одобряет смертность человека и ограниченность его срока жизни одной сотней лет.

37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»). Глобальная катастрофа может наступить в результате цепочки событий, масштаб которых нарастает по мере их возникновения, однако первое из этих событий может приглушить для нас восприятие последующих рисков. Причинами этого могут быть:

1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, оценивая ущерб, и попадает под другую машину.

2) Влияние состояния аффекта.

3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.

4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может запуститься в самый неожиданный момент.

5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, при неправильном лечении грипп чреват воспалением лёгких.

6) Непонимание того, что обе аварии могут быть вызваны некой общей причиной. например, в доме что-то обваливается, человек идёт посмотреть, что происходит, и попадает под новый обвал.

7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. Например, у человека, стремившегося выйти из больницы пораньше, расходятся швы.

фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, – и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели.

69. Склонность людей без раздумий предлагать «простые» и «очевидные» решения в сложных ситуациях.А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски [Yudkowsky 2008b] подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это якобы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.

70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли.Юдковски [Yudkowsky 2008b] пишет об этой проблеме, честно признавая, что не видит никакого её решения

просили оценить наиболее вероятное и наихудшее ( в смысле самое позднее) время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай.

75. Потребность в завершении. Эта концепция когнитивной психологии, обозначает стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – так её называет Круглански [Kruglanski 1989]). Это стремление приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа.

89. Отказ рассматривать некий сценарий по причине его «невероятности».Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, если так можно сказать, комбинацией 24 (!) обстоятельств.

105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы.И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В чернобыле организатор испытаний дятлов верил, что взорвался не реактор, а бак с водой охлаждения

Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как в будущем её нужно будет вложить в машины, обладающие искусственным интеллектом.