Программы, направленные на прямое

Уменьшение конкретных угроз существованию

Некоторые малые угрозы существованию могут быть парированы достаточно дешево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА существует программа обнаружения околоземных астероидов и фонд космической защиты). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть создан общественный наблюдательный комитет с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, имеющих личную заинтересованность в продолжении экспериментов.

Угрозы существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить или локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от угроз существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах[87].

Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объем литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.

Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих угроз существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели — это вопрос, выходящий за пределы тематики данной статьи.

Максипок: эмпирическое правило для этичных

Поступков

Предыдущие главы показали, что совместная вероятность угроз существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее, может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению угроз существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовем его Максипок:

Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы.

В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной смертельной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты[88], а не на серьезную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении угроз существованию. Поскольку цель весьма абстрактна и поскольку угрозы существованию не причиняют сейчас страданий ни одному живому существу[89], из усилий по их уменьшению может быть выведено гораздо меньше прибыли в виде приятного самоощущения . Это предполагает дополнительный этический проект, а именно: изменить общественное этическое восприятие таким образом, чтобы создать большее уважения и социальное одобрение тем, кто тратит свое время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.

Максипок, как один из принципов разумной достаточности, отличается от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».)[90] Поскольку мы не можем полностью устранить угрозы существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, Максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.

Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно, если мы правильно разыграем наши карты.

Выражения признательности

Я благодарен за комментарии Курту Адамсу (Curt Adams), Амаре Ангелике (Amara Angelica), Брайану Эткинсу (Brian Atkins) , Милану Цирковичу (Milan Cirkovic), Дугласу Чембермену (Douglas Chamberlain), Роберту Фрайтасу, Марку Губруду (Mark Gubrud), Робину Хэнсону (Robin Hanson), Барбаре Ламар (Barbara Lamar), Джону Лесли (John Leslie), Майку Тредеру (Mike Treder), Кену Олуму (Ken Olum), Роберту Пизани (Robert Pisani), нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute в апреле 2001 года. Эта статья также выиграла от дискуссий с Микаэлой Фистос (Michaela Fistioc), Биллом Джоем (Bill Joy), Джоном О (John Oh), Пэтом Паркером (Pat Parker), Кетом Де Роузом (Keith DeRose), и Питером Сингером (Peter Singer).

Приложение: очерк эволюционного «всхлипа»

Это приложение дает очерк того, почему существует угроза, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жестким доказательством какого-либо рода, но скорее — наводящим на размышления рассказом без литературных украшений. (Более подробную дискуссию по некоторым из этих идей см. (Bostrom 2001).)

Хотя легко думать об эволюции как о жизни, происходящей от простых к более сложным формам, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему сказано в главе об оценке вероятностей рисков существованию).

Мы не наблюдаем в настоящий момент значительного эволюционного развития человеческого вида. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит (Kirk 2001: 432—435).

Биологическая человеческая эволюция медленна в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).

Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также, если они смогут предсказать некоторые аспекты своей эволюции, они смогут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба эти фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.

Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут трату некоторой части своих ресурсов на (непродуктивные или не очень оптимальные) «хобби», будут находится в невыгодном положении, и будут потому рисковать быть оттесненными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными — адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания).

Мы должны различать два значения слов «оттеснены на второй план». В первом случае «оттеснены» означает «оттеснены» только в относительном смысле: ресурсы, которыми такие существа обладают, составляют все меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттесненный» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счете, это тип становится вымершем.

Если права собственности почти совершенно соблюдаются (на космических расстояниях, что, кажется, непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».

При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов на активность в духе хобби.

Единственный путь избежать этого исхода может состоять в замене естественной эволюции — направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) (Bostrom et al. 1999; Bostrom 2001). Это может сделать тип хоббистов успешным в соревновании.

Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, в то время как другие общества, наоборот, решат максимализировать свою продуктивность путем прекращения их поддержки. Последние в конечном счете переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным «всхлипом», может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton — единственный, одиночка).

Синглетон не обязан быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом (Yudkowsky 2001). Остается открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Библиография

1. Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.

2. Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II — New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.

3. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.

4. Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.

5. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.

6. Bostrom, N. (2000). Is the end nigh?, The philosopher's magazine, Vol. 9 (pp. 19-20). URL: http://www.anthropic-principle.com/primer.html.

7. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.

8. Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: http://www.nickbostrom.com/old/predict.html.

9. Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.

10. Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: http://www.simulation-argument.com.

11. Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: http://www.anthropic-principle.com.

12. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.

13. Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: http://www.nickbostrom.com.

14. Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: http://www.nickbostrom.com.

15. Bostrom, N. (2002). Anthropic Bias: Observation Selection Effects in Science and Philosophy. Routledge, New York. URL: http://www.anthropic-principle.com/book/.

16. Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: http://www.transhumanist.org.

17. Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.

18. Brin, G.D. (1983). The `Great Silence': The Controversy Concerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.

19. Caplin, A., & Leahy, J. (2000). The Social Discount Rate. National Bureau of Economic Research, Working paper 7983.

20. Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.

21. Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.

22. Chislenko, A. (1996). Networking in the Mind Age. URL: http://www.lucifer.com/~sasha/mindage.html.

23. Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.

24. Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.

25. Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.

26. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.

27. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.

28. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.

29. Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.

30. Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.

31. Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.

32. Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.scienceservingsociety.com/book/.

33. Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.

34. Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.

35. Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background2.html.

36. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.

37. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.

38. Foster, K.R. et al. (2000). Science and the Precautionary Principle. Science, 288, 979-981. URL: http://www.biotech-info.net/science_and_PP.html.

39. Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Capabilities. Georgetown, TX: Landes Bioscience. URL: http://www.nanomedicine.com.

40. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.

41. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.

42. Frieze, I. et al. (1978). Women and sex roles. New York: Norton.

43. Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.

44. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.

45. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:

46. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.

47. Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.

48. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.

49. Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.

50. Hanson, R. (1998). The Great Filter — Are We Almost Past It? Working paper.

51. Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.

52. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.

53. Huxley, A. (1932). Brave New World. London: Chatto & Windus.

54. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.

55. Jeffrey, R. (1965). The logic of decision: McGraw-Hill.

56. Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: http://www.zyvex.com/nanotech/nano4/jeremiahPaper.html.

57. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.

58. Kaul, I. (1999). Global Public Goods: Oxford University Press.

59. Kennedy, R. (1968). 13 Days. London: Macmillan.

60. Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:

61. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.

62. Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.

63. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.

64. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.

65. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.

66. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.

67. Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Oxford University Press.

68. Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.

69. McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.

70. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).

71. Merkle, R. et al. (1991). Theoretical studies of a hydrogen abstraction tool for nanotechnology. Nanotechnology, 2, 187-195.

72. Moravec, H. (1989). Mind Children. Harvard: Harvard University Press.

73. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.

74. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

75. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.

76. Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.

77. National Intelligence Council (2000). Global Trends 2015: A Dialogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.

78. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:

79. Paulhaus, D.L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality Assessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.

80. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.

81. Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.

82. Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.

83. Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.

84. Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.

85. Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.

86. Schelling, T.C. (2000). Intergenerational and International Discounting. Risk Analysis, 20(6), 833-837.

87. Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.

88. Shute, N. (1989). On the Beach: Ballentine Books.

89. Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.

90. Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.

91. Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).

92. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.

93. Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, January 27. URL: http://www.harrisinteractive.com/harris_poll/index.asp?PID=44.

94. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.

95. Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.

96. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.

97. Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.

98. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.

99. Waldeman, M. (1994). Systematic Errors and the Theory of Natural Selection. The American Economics Review, 84(3), 482-497.

100. Warwick, K. (1997). March of the Machines. London: Century.

101. Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.

102. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.

103. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.

104. Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmological constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.

Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков

Вышла в 2008 году в сборнике Риски глобальной катастрофы

под редакцией Ника Бострома и Милана Чирковича, Оксфорд.

Перевод: А.В. Турчин

Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.

Введение

Мало кто из людей хотел бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти осознание этого процесса, то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования привели к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4 000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98%-й уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99% уверен, что критический порог больше 500 тераватт, и на 99% уверен, что он меньше 80 000 тераватт.» «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.

Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков.Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не просто логических слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.

Исследования эвристики и когнитивных искажений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изменения условий опытов уже применялись, и результаты от этого не становились другими.

Доступность информации

Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?

Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что человеческие существа используют методы мышления, называемые эвристикой, которые дают хорошие приблизительные ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых когнитивными искажениями (bias).Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]

Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений бóльших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).

Аналогично, риск человеческого вымирания может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием[91].