Третье правило: царство хаоса

...существует поразительное концептуальное изменение в осоз­нании того, что даже без потрясений, контролируемых своей ло­кальной рациональной логикой, развитие социальной системы может быть абсолютно непредсказуемым и что малейшее изме­нение в политике может стать причиной другого типа поведения.

Mosekilde, Larsen & Sterman

Это была темная и штормовая ночь. Грозовые тучи разрастались, сильные ливни сменялись мощными порывами ветра. Дождь лил стремительным потоком, на земле образовались струящиеся ру­чейки воды. На рассвете бледные лучи нового дня пробирались сквозь холодный воздух, и вода начала просачиваться в почву и испаряться.

Компьютерная метеорологическая модель Эдварда Лоренца стала предметом повышенного внимания. После завершения ра­боты над ней в 1960 году он проводил много времени в своей ла­боратории в Массачусетском Технологическом институте, иссле­дуя климатические модели. Принцип модели Лоренца на самом деле был очень прост: основываясь на вводимых снимках погод­ной картины, компьютер мог дать прогноз на небольшой период времени. Данные этого расчета становились основой для после­дующих вычислений и так далее.

Компьютерная цепь вычислений могла воспроизводить 24 ча­са в минуту, после чего экран компьютера Лоренца становился сценой для драмы будущих событий: высокое давление, сменяю­щееся низким давлением, ураганы, вслед за которыми дул неж­ный ветерок, темные и штормовые ночи, после которых наступа­ют ленивые летние дни.

Модель Лоренца была больше, чем просто будоражащей. У нее был огромный потенциал. Что если однажды станет возможным предсказывать погоду на несколько месяцев вперед?

Однако в тот зимний день 1961 года Лоренц сделал очень не­обычное и странное открытие. Он решил проверить предыдущее воспроизведение, на этот раз с более длинной последовательно­стью. Но вместо того, чтобы произвести все вычисления с начала, он попытался сократить процесс. Он ввел значения, полученные в прошлый раз, но начиная с середины цепочки. Затем он вклю­чил машину и вышел в коридор сделать себе чашечку кофе. В тот момент он совершенно не подозревал, что тем временем компь­ютерные итерации вели себя действительно очень странно.

эффект бабочки

Когда Лоренц вернулся, он очень удивился. Вычисления компь­ютера, которые должны были быть идентичны с предыдущей по­следовательностью, вообще выглядели неправильно. Они откло­нялись все больше и больше и на два месяца вперед потеряли всякое сходство с первым воспроизведением.

Сначала он приписал это ошибке компьютера, но вскоре он понял настоящую причину. Его отправные точки цепи вычисле­ний имели трехдесятичную точность. Однако компьютерные расчеты велись с шестью десятичными знаками, что доказывало их существенную значимость. Его собственная интуиция под­сказывала, что было бы разумным не придавать значения пос­ледним трем десятичным во вводимых данных, так как едва ли их могли зарегистрировать метеорологические измерительные ин­струменты: насколько важна была 1/1000 или еще меньше? Но в метеорологической компьютерной модели Лоренца эти десятич­ные дроби доказали свою огромную значимость.

Открытие Лоренца не стало чем-то особенным для метеоро­логических прогнозов. Оно указало, в основном, на математиче­ский феномен, который ученые прежде никогда не замечали. Его сразу назвали "эффектом бабочки", так как реалистические имитации показали, что сложные вычисления системы сильно зависят от начальных значений, причем настолько сильно, что взмах крыла бабочки в Бразилии мог бы стать причиной возник­новения торнадо в Техасе (Лоренц, 1979 год). Или, говоря фи­нансовым языком: маленькая старушка, продающая несколько облигаций в Брюсселе, могла бы стать причиной краха в Японии! И выяснилось, что эта зависимость касалась не только сложных моделей: эффект бабочки можно было также обнаружить и в простых нелинейных моделях, демонстрирующих неустойчи­вость (рис. 4).

детерминированный хаос

Последствия этого открытия были революционными. Пред­ставьте себе, что поверхность Земли покрыта сетью метеостан­ций с трехдесятичной точностью, находящихся только в 30 см друг от друга, посылающих свои измерения в центральный ком­пьютер каждую минуту. И предположите, что этот компьютер до­статочно большой, чтобы вместить в себя совершенно правиль­ную модель глобальных погодных моделей. Если бы даже и было так, то надежный прогноз погоды на месяц вперед сделать про­сто невозможно. Как раз вопреки своим первоначальным наме­рениям и ко всеобщему удивлению, Лоренц смог доказать, что невозможно и никогда не будет возможно давать долгосрочные прогнозы погоды.

Эффект бабочки — один из элементов системы математических феноменов, с тех пор обобщенно названных термином "детерми­нированный хаос". Этот феномен охарактеризован Чера Л. Сайер-сом следующим образом (1989): "Процесс характеризуется детер­минированным хаосом, если он генерирован полностью детерминированной системой1, возникающей как результат беспорядочно функционирующих рядов в стандартных временных диапазонах". Нас окружает хаос. Представим себе дымок сигареты в тихой ком­нате. Тысячи микроскопических частиц дыма поднимаются узкой колонкой, подталкиваемые горячим воздушным потоком. Затем внезапно колонка прерывается, заменившись турбулентными, по­стоянно меняющимися завихрениями дыма. Линейный поток трансформировался в хаос. И это происходит независимо от того, где вы находитесь. Или рассмотрим игру в футбол. Ни один, даже самый проницательный эксперт не сможет предугадать, где мяч окажется всего лишь через 10 секунд.

Хаос наступает главным образом в отношениях, где присутст­вуют самопроизвольные усиливающиеся механизмы. Вообрази­те себе систему, в которой событие "А" приводит к событию "В", а событие "В" к событию "С". Если событие "С" затем воспро­изводит событие "А", тогда в этом процессе есть простая цепь положительной обратной связи.

Если мы попытаемся наметить в общих чертах взаимоотно­шения в экономике страны, как если бы это была метеорология, то вскоре столкнемся со сложными вариантами этих механиз­мов. Среди хорошо известных примеров есть так называемые эффекты мультипликации и акселерации, тезаврирование, само­произвольное усиление ожиданий роста ("держаться наравне с Джонесесом"), увеличение потребностей в капитале из-за сме­щений во взаимоотношениях труда и капитала и т. д., — все вме­сте эти многочисленные цепочки обратных связей могут озна­чать, что системы имеют не просто равновесие, а сами себя рас­качивают или демонстрируют иные сложные движения. Каждая

'Детерминированная система (deterministic system) — система, выходы которой (результаты действия, конечные состояния и т.п.) однозначно определяются оказанными на нее управляющими воздействиями. Такие системы, по классификации Ст. Вира, могут быть простыми (например, оконная задвижка) и сложными (например, цифровая электронная вы­числительная машина). Детерминированная система противопос­тавляется вероятностной системе, выходы которой лишь случайным об­разом, а не однозначно зависят от входов. — Прим. научн. ред.

Третье правило: царство хаоса - student2.ru

Рисунок 4Эффект бабочки. График показывает математическое модели­рование 11 объектов, скользящих вниз с неравномерными наклонами пи­ков и впадин, расположенных в синусоидальной модели. Длина наклона 100 метров. При моделировании объекты стартуют с одинаковым рас­пределением точек, отдаленных друг от друга по горизонтали на 5 мм. Приблизительно через 30 метров их распределение уже в 20 метрах друг от друга. Интересный момент: график напоминает сигаретный дым, ес­ли его перевернуть наоборот. (Источник: Эдвард Н. Лоренц, Центр Ме­теорологии и Физической Океанографии, Кембридж, Массачусетс.)

из этих положительно воздействующих цепей обратных связей может вносить свой вклад в самопроизвольно усиливающую природу экономического феномена, пока окончательно не будет заторможена другими механизмами. Чтобы правильно описать эти системы, необходимо применить нелинейную математику.

непредсказуемость, это как эндогенное Свойство

Тем не менее экономическое моделирование традиционно стро­ится на линейных моделях, основанных на функции равновесия. Эти модели показывают, как все элементы экономики непре­рывно адаптируются ко всем другим элементам, но без каких-либо корректных оговорок, сделанных одновременно для мно­гих положительных обратных связей. Когда контуры обратной связи объединяются, в основном, это бывают отрицательные, дестабилизирующие цепочки, то есть это вовсе не ведущие к ус­тойчивости положительные контуры. Эти модели на практике функционируют очень вяло, что традиционно объясняется "сто­хастическими внешними беспокойствами", а также отсутствием точности в деталях модели.

По этой причине результаты первых нелинейных компьютер­ных моделирований стали сильным шоком для всего академиче­ского мира. Внезапно все осознали, что линейные модели не только несовершенные, но и могут быть абсолютно неверными.

Но самое важное заключалось в том, что даже теоретически правильные нелинейные модели могли привести к полной не­предсказуемости, хотя они были детерминированными и стру­ктурированными по своему характеру. Это означает, что систе­мы нарушались стохастическими внешними неупорядоченно-стями и непредсказуемость могла быть элементом собственной эндогенной природы макроэкономических систем. Как это может проявляться, показывает, например, феномен, называемый "раздвоение".

тайна роберта Мэя

Одним из первых, описавшим раздвоения, был австралийский биолог Роберт Мэй. В начале 70-х гг. Мэй разработал математи­ческую модель развития в популяции рыб. Когда он вводил наи­меньшие значения для одной из переменных формулы — тренда репродукции рыб, — модель показывала определенную экологи­ческую точку равновесия для определенных размеров популяции. Если популяция с самого начала находилась за пределами этой точки равновесия, она постепенно могла вернуться к этой точке посредством "подавляющих осцилляции". Этот результат был именно таким, каким и должен быть. Однако если Мэй вво­дил наивысшие значения, то размер популяции начинал постоян­но колебаться то вверх, то вниз и никогда не мог достичь устой­чивости. Таким образом, модель при отличающихся вводных данных демонстрировала прогнозы абсолютно разного характе­ра: она демонстрировала хаос.

Он нашел, что это очень загадочное явление, и стал изучать фи­нальную модель для всех значений репродуктивного тренда. Ре­зультат оказался поразительным. При самых минимальных значе­ниях популяция рыб естественным образом приходила к вымира­нию. Если Мэй увеличивал значение репродуктивного тренда до определенного уровня, популяция могла выжить, и плавная кри­вая отражала ее уровни равновесия: чем выше значение репродук­тивного тренда, тем сильнее оказывалась равновесная популяция.

Но он обнаружил, что на определенном уровне плавная кривая неожиданно раздваивалась на две части. Это означало, что попу­ляция могла колебаться между двумя различными уровнями рав­новесия. Такое явление названо "раздвоением" и полностью противоречило традиционным представлениям. После того как Мэй еще больше увеличил величину репродуктивного тренда, картина стала еще более странной: два уровня равновесия пере­шли уже в 4, затем в 8, 16, 32 и в конце концов привели к хаосу.

Явление раздвоения имеет место не только в экологических моделях. В статье 1964 года "Проблема вывода климата из основ­ного уравнения" (The Problem of Deducing the Climate from Governing Equations.), в Tellus, Лоренц представил теорию существо­вания более чем одного равновесного климата для Земли. Факт состоял и состоит в том, что математические модели метеороло­гов изредка имеют возобновляющуюся тенденцию, внезапно на­чинающую колебаться от сегодняшнего климата до всемирного обледенения, — состояния, несомненно, такого же устойчивого, как и современная ситуация. Лоренц определял систему, облада­ющую более чем одним устойчивым состоянием равновесия, как "непереходную". Если он был прав, то известный ледниковый период мог быть последствием раздвоений или проявлением не­переходных свойств, содержащихся в принадлежащей Богу фор­муле. Интересная мысль...

Причина раздвоений в том, что существует внезапное и су­щественное изменение в преобладании различных контуров по­ложительно воздействующих обратных связей. Возвращаясь к экономическим системам, подобная теоретическая структура выдвинута ученым Эрвином Лазло в 1987, который разделил па­раметры, способные воздействовать на преобладание тех или иных контуров в экономических системах, на три категории:

• Технологические инновации

• Конфликты и завоевания

• Дисбаланс социального и экономического характера,
а именно: дефицит товаров, финансовые кризисы и так далее.

На основе модели Лазло экономическая система может двигаться от простого состояния, например, от простых циклических коле­баний до более сложных осцилляции, скажем, до двухуровневого равновесия. Такое происходит, когда параметр стимулируется вы­ше определенного критического уровня. Представьте себе кар­тель поставщиков товаров. При формировании картельной цены ценовые движения могут сдвигаться от уровня, определяемого осцилляциями традиционного экономического цикла, до вели­чины, диктуемой изменчивыми колебаниями между годами, раз­личающихся предельно высокими ценами (жесткость цен), и го­дами с предельно низкими ценами (упадок и конкуренция). Дру­гими альтернативными вариантами равновесия одной и той же системы могут быть инфляция и гиперинфляция или, скажем, низкое и высокое налогообложение.

Чем сильнее давление на критический параметр, тем больше возникнет раздвоений. Этот процесс нестабильных раздвоений называется каскадом Фейгенбаума3 (рис. 5), по имени математи­ка того времени. В конечном счете, такой процесс ведет к хаосу.

3 Feigenbaum cascade.

Третье правило: царство хаоса - student2.ru

Рисунок5 Каскад Фейгенбаума. Диаграмма показывает, как простое равновесие множится все больше и больше, приводя, в конце концов, к хаотическому поведению. Раздвоения создаются простым уравнением: (Хп+1=г«Хп«(1-Хп)), где параметр R (горизонтальная ось) постепенно увеличивается от 1.68 до 4.00. (Источник: Е. Моускилд и Дж. Томсен, Датский Технический университет.)

побережье британии

Один из самых необычных элементов в исследовании неупоря­доченных систем описан математиком Бенуа Мандельбротом, который, кстати, работал в группе исследований и развития ком­пании IBM, где изучал все, что его интересовало. Мандельброт занимался изучением моделей и структур, в создании которых обычно участвовали хаотические и неупорядоченные естествен­ные процессы. Это, конечно, то, чем занимаются большинство ученых, но что фундаментально отличало Мандельброта от дру­гих, так это его подход к перспективе и расстоянию.

"Что является размерами любого объекта?" "Это, — говорит Мандельброт, — зависит от того, насколько далеко вы находи­тесь". С дальнего расстояния объект может уместиться всего в одной-единственной точке. С расстояния 1 метра объект зани­мает легко распознаваемое пространство. Но если мы будем придвигаться к нему все ближе и ближе, задача измерения этой области становится все более сложным делом. Шершавость, не­ровность и раздробленность, существующие на поверхности объекта, будут все более явными.

Эта стало очевидным Мандельброту, когда у него возникла идея проверить длину границ, используя для этого разные карты. Он задал очень простой вопрос: "Какова длина побере­жья Англии?" Стандартный ответ из энциклопедии не устро­ил Мандельброта. Наоборот, он доказал, что побережье Бри­тании или любое другое побережье бесконечно длинное. Фак­тор, определивший результат, — это с какого расстояния смо­треть: в пределах самого узкого места любого залива всегда можно найти бухту, которая будет еще меньше. Таким обра­зом, заливы внутри залива беспрестанно увеличивают общую длину побережья, которая в результате стремится к бесконеч­ности.

самомоделируемые системы

Раздумывая над этими рекурсивными моделями4, заливами вну­три заливов, Мандельброт назвал этот феномен "фрактально-стью". Что интересно в отношении фракталов, так это то, что они показывают, что система может постоянно повторять свои модели в различных масштабах или шкалах. Другими словами, является самомоделируемой.

4 Рекурсивная модель (recursive model) — динамическая модель, облада­ющая математическим свойством рекурсии, т. е. если даны, например, все переменные модели до момента (t— 1), то модель обеспечивает и по­лучение одного за другим значений переменных для t, по ним для (t+1) и т. д. — Прим. научи, ред.

Побережье Британии, конечно, следует рассматривать, как неподвижный феномен. Но фракталы можно обнаружить и в ди­намических системах. Подходящим примером служит струнный инструмент, такой как гитара. Мы ударяем по струне, и она изда­ет звук определенного тона. Но, когда мы двигаем палец вверх по грифу гитары, тональность увеличивается, и на двенадцатом ла­ду тоны начинают повторять самих себя, но уже в более высокой октаве. Мы сталкиваемся с явлением, в котором гармоническая система, по существу, повторяет саму себя на разных шкалах. Другими словами, такая система самомоделируемая.

Или рассмотрим движения океана. На поверхности воды мы видим зыбь, нечто среднее между зыбью и волнами и, наконец, сами волны, каждая седьмая из которых часто больше осталь­ных. Если трение ветра о воду приводит к таким явлениям, как зыбь, волны и "суперволны", можно говорить об этом феноме­не, как обладающем признаками фрактальности. Но это опреде­ление оправдывается только в том случае, если причиной подоб­ного явления феномена был только ветер.

Уникальность метода Мандельброта в том, что он не стремил­ся изучать только это явление в пределах только вполне опреде­ленных границ (например, химиков не допускают к профессио­нальным исследованиям в области ядерной физики, хотя пред­мет изучения может быть описан химическими формулами), а пытался понять всю структуру в целом, рассматривая ее с точ­ки зрения проявления эффекта бифуркации (процесса разветв­ления), который она производила. Точно таким же образом мы можем считать зыбь "крохотными волнами", хотя ее можно рас­сматривать и как всего лишь точки в целой рекурсивной структу­ре, возникшей в результате ветра. А как насчет волн, возникаю­щих в результате приливоотливных явлений? Они также возни­кают благодаря фрактальному феномену? Хотя они возникают на поверхности Земли, но в действительности мы знаем, что причина их происхождения кроется в гравитационном воздейст­вии Луны.

биржевые брокеры, сторонники теории хаоса и защитники теории случайных блужданий

В университетах экономистов принято учить, что цены движутся беспорядочно. Затем они начинают работать на Уолл-стрит, где пытаются побить рынок. В чем же причина несогласованности?

  Общий взгляд финансовых трейдеров Общий взгляд теории случайных блужданий Общий взгляд теории хаоса
Содержат ли рыно-чные дви- жения ка-кую-либо структу-ру?     Возмож-но ли в принципе превзойти финансо-вые рын-ки?   Да, сущест-вуют струк-туры и выя-вленные правила их формирова-ния   Никто не может пре-восходить их постоян-но, но у луч-ших трейде-ров опреде-ленно есть большое преимуще-ство. Статистические исследования чёт-ко отражают, что движения цен фи-нансовых инстру-ментов случай-ные. Если они пе-рестают быть слу-чайными на неко-торое время, то начинают рабо-тать правила, ко-торые становятся настолько обще-применимыми, что вскоре перес-тают иметь какое-либо значение     Это всего лишь во прос удачи и статистики. Всег-да есть кто-то уда-чливее, чем оста-льные. Хаотичные времен-ные ряды возника-ют случайно, если доступны тестиро-ванию традицион-ными статистичес-кими методами. Однако, если вместо этого вы проверите их на хаос, то на са-мом деле хаос и об-наружите. Следова-тельно, правила мо-гут работать, но в реальности взаимо-действие различных факторов чрезвы-чайно сложное, так как на рынке мно-жество неотъемле-мых от него поло-жительно воздейст-вующих эффектов обратной связи.     Это может быть во- просом как квали- фикации, так и ста-тистики. Всегда есть кто-то умнее всех остальных.

Важно, что мы регулярно обнаруживаем экономические и фи­нансовые явления, повторяющие самих себя на разных шкалах5. Некоторые из подобных явлений мы еще увидим в этой книге. Случайно вы наверняка можете обнаружить явление, которое, возможно, фрактальное, но в действительности столь же незави­симое, как морские волны. Одним из таких явлений можно на­звать, например, экономические циклы.

экономический и финансовый хаос

На интуитивном уровне кажется верным, что равновесные эко­номические и финансовые системы — место проявления фрак­тальных явлений, эффектов бабочки и бифуркации. Или, други­ми словами, хаоса. Тем не менее экономистам-теоретикам по­требовалось много времени, чтобы начать исследовать феномен хаоса. Но в начале 80-х годов XX столетия исследователи стали серьезнее заниматься изучением индикаторов экономического хаоса и в течение нескольких лет провели важные наблюдения (см. Ploeg, 1985, Chirella, 1986, Chen, 1986, Lorenz, 1987, Brock и Sayers, 1987, Rasmussen и Mosekilde, 1988). Чем дальше мы про­двигались, тем больше обнаруживали признаки моделей, отра­жающих феномен хаоса в экономических системах.

Теперь есть все признаки, что систематическая эндогенная долгосрочная непредсказуемость имеет место во многих эконо­мических и финансовых системах. Даже там, где успокаивающие механизмы сильны или где хаос не возникает в интервале теку­щего параметрического интервала, импульсы от других хаотиче­ских подсистем способны значительно увеличить неопределен­ность. Образно говоря, проблему можно сравнить со срублен­ным деревом, проходящим через речную стремнину. Даже если бы мы знали все, что нужно знать о гидродинамике, воде и фор­ме русла, мы бы никогда не смогли просчитать траекторию бревна дальше чем на несколько метров за один раз. Также было бы невозможно определить, откуда оно пришло, основываясь на его положении в данный момент времени. Подобная аналогия при­менима и к экономике.

Следовательно, имеет место возрастающее осознание, что де­терминированный хаос может иметь важное значение для более глубоко проникающих во временные пласты долгосрочных эко­номических прогнозов и что линейные модели дают весьма скуд­ное представление о реальности. Понятно также, что динамиче­ские системы часто повторяют те же самые явления в различных масштабах, привнося, таким образом, больше сложностей в про­блему прогнозирования.

s Также можно сказать: в различных масштабах, что более соответствует практике анализа поведения финансовых инструментов и рынков. Нап­ример, минутные интервалы, часовые, дневные, недельные, и т. д. — Прим. научн. ред.

вопрос размерности

Важный аспект, имеющий отношение к хаосу, это "размер­ность". Это слово используется математиками для описания сложного поведения динамической системы. Несмотря на то, что размерность — математическое выражение, оно может быть объяснено (популярным языком), как обозначение чис­ла прошлых наблюдений для предсказания последующего движения.

Если система генерирует простые, синусоидальные осцилля­ции, предсказание становится пустячным делом и размерность равна нулю. Но если мы имеем дело с очень большим количест­вом взаимосвязанных обратных связей — положительных и от­рицательных, — размерность резко возрастает, и вам понадобит­ся много данных для "расшифровки" с помощью математики то­го, где вы находитесь в данный момент протекающего процесса. Когда размерность становится очень высокой, то даже очень большое количество исторических данных уже не поможет вам. Однако в этом случае невозможно доказать математическими методами присутствие неслучайной динамики. Как сказал Виль­ям А. Броук (1990), "на практике невозможно даже сказать, что образовало данные — детерминированная система высокого по­рядка или стохастическая система".

Основываясь на современных положениях науки, становится понятным, что в реальности над финансовыми рынками господ­ствуют сильные контуры обратной связи, создающие хаос высо­кого порядка (определяемый высокими значениями размерно­сти), который математически расшифровать крайне сложно. Это частично доказывается математическими тестами, показываю­щими, что существует "нечто", не являющееся случайным, — да­же просто невозможно точно выразить, что это именно такое. Частично это было доказано нашими периодически повторяю­щимися крахами, демонстрирующими присутствие сильных контуров обратной связи.

понимание Экономики имеет важное значение

Если детерминированный хаос — это то, что мы имеем, попытки аналитиков выполнить точные расчеты истинной величины на­чинают выглядеть, как попытки заниматься алхимией. Учиты­вая, что определение истинной стоимости акции исходит из то­го, что она приведенная стоимость всей будущей прибыли ком­пании, то это просто смешно, если мы можем предвидеть только год, шесть месяцев или даже и того меньше.

Возможно, нам следует вспомнить ранее приводимое описа­ние поведения профессиональных экспертов, сделанное Кейн-сом:

...большинство из этих людей сильно беспокоит не создание пер­воклассных долгосрочных прогнозов возможного дохода от ин­вестирования на всем его протяжении, а предсказание измене­ний в условном базисе оценивания, которое бы шло чуть впере­ди основной публики.

Вывод заключается не в том, что понимание экономики неумест­но в отношении акции, — нет, никоим образом. Суть хаоса в том, что попытки предсказать длинные цепи событий или дать долго­срочные количественные прогнозы близки к абсурду. Хотя Кейнс вряд ли был хорошо знаком с позициями, на которых стоит нелинейная математика, в своей Основной теории он сделал следующий вывод:

Инвестирование, основанное на долгосрочных ожиданиях, сего­дня настолько сложно, что едва ли это осуществимое дело. Тот, кто решается на это, должен осознавать, что проведет намного больше напряженных дней и столкнется с намного большим ри­ском, чем тот, кто пытается догадываться лучше толпы о том, как эта самая толпа будет себя вести. Кроме того, при равном уме с прочими он может допустить больше пагубных ошибок, нежели толпа в целом.

Глава 6

Наши рекомендации