Правда о результатах моделирования
Хотя ценность оптимизации для улучшения будущей результативности системы открыта для дебатов, абсолютно очевидно, что использование оптимизированных результатов будет значительно искажать подразумеваемую будущую результативность системы. Причина состоит в том, что, как было показано ранее в этой главе, корреляция между наиболее результативными для одного периода параметрами системы и теми параметрами, которые приведут к наилучшей результативности в следующий период, крайне мала, если вообще существует. Следовательно, предположение, что результативность, достигнутая в прошлом, может быть повторена в будущем при том же самом наборе параметров, абсолютно нереалистично.
После многих лет работы мое отношение к симулированным результатам подытоживается тем, что я называю «Швагеровским законом моделирования» (по аналогии с денежным законом Гришэма). Как читатели могут вспомнить из «Economics 101», Гришэм утверждал, что «плохие деньги вытесняют хорошие». Суть соревнования, которое описывает Гришэм, состояла в том, что если в обращении находится два типа денег (например, золото и серебро) с произвольным курсовым соотношением (например, 16 к 1), то плохие деньги (деньги, переоцененные фиксированным курсом обмена) будут вытеснять хорошие. Таким образом, если бы справедливая стоимость унции золота была выше стоимости 16 унций серебра, соотношение 16 к 1 приводило бы к тому, что серебро вытесняло бы золото из обращения (поскольку люди стремились бы накапливать золото).
Мое закон формулируется так: «плохое моделирование вытесняет хорошее». Термин «плохое» означает моделирование, построенное на крайне ненадежных предположениях, а не плохое в смысле показанной результативности. Скорее наоборот, «плохое» моделирование будет показывать бросающиеся в глаза результаты.
Я часто получаю рекламу систем, которые предположительно делают 200, 400 или даже 600% в год. Давайте будем консервативны (я использую этот термин свободно) и предположим доходность лишь в 100% годовых. При таком уровне доходности $100 000 превратились бы всего за тринадцать лет в миллиард долларов! Может ли такая доходность быть достижимой на практике в течение длительного периода? Ответ: не может. Дело в том, что при достаточном желании можно добиться практически любого уровня ретроспективной результативности. Если бы кто-то попробовал продавать систему или программу для торговли, основанную на действительно реалистичном моделировании, результаты были бы до смешного ничтожны по сравнению с тем, что предлагает реклама. Именно в этом смысле плохое (нереалистичное) моделирование вытесняет хорошее (реалистичное) моделирование.
724 ЧАСТЬ 4. торговые системы и измерение эффективности торговли
Как искажаются результаты тестов? Существует несколько основных способов.
1. Специально подобранный пример.При конструировании
специально подобранного примера промоутер системы выбира
ет наилучший рынок в наилучший год, используя наилучший на
бор параметров. Предполагая, что система тестируется на 25
рынках за 15 лет и использует 100 вариантов наборов парамет
ров, мы получили бы в обшей сложности 37 500 одногодичных
результатов (25Х 15Х 100). Было бы трудно построить такую
систему, в которой хотя бы один из этих 37 500 возможных ис
ходов не показал бы великолепных результатов. Например, если
вы подбрасываете десять монет 37 500 раз, неужели вы думае
те, что они не упадут несколько раз десятью «орлами» вверх?
2. Специальное устранение убытков системы.С помощью
добавления параметров и создания дополнительных системных
правил, которые подходящим образом обслуживают убыточные
периоды прошлого, вполне возможно создать фактически лю
бой уровень ретроспективной результативности.
3. Игнорирование риска.Рекламируемые результаты системы
часто используют оценку доходности как процента маржи (за
логовых средств). При торговле с плечом, когда открывается
позиция, по объему в несколько раз превосходящая размер мар
жи, ожидаемая доходность возрастает в соответствующей про
порции. Разумеется, риск при этом также многократно увели
чивается, но реклама не касается таких деталей.
4. Пропущенные убыточные сделки.Нередко на графиках в
рекламе торговых систем показываются сигналы к покупке и
продаже, приносящие прибыль, а убыточные сигналы этой же
системы на графики не наносятся.
5. Оптимизация, оптимизация, оптимизация.Оптимизация
(выбор наборов параметров с наилучшей результативностью в
прошлом) может колоссально преувеличивать прошлую резуль
тативность системы. Фактически любая система, когда-либо за
думанная человеком, выглядела бы замечательно, если бы ре
зультаты основывались на оптимальном наборе параметров (на
боре параметров с наилучшей прошлой результативностью) для
каждого рынка. Чем больше используемое количество наборов
параметров, тем шире выбор прошлых результатов и значитель
нее виртуальная прибыль, которую можно получить в компью
терном тесте на исторических данных.
6. Нереалистичные транзакционные затраты.Часто симули
рованные результаты принимают в рассмотрение лишь комисси-
ГЛАВА 20. тестирование и оптимизация торговых систем 725
онные, но не проскальзывание (разница между предполагаемыми и реальными иенами сделок, которые были бы зафиксированы при использовании рыночного приказа или стоп-приказа). В случае быстрых систем игнорирование проскальзывания может дать такую систему, которая выглядела бы как машина по производству денег, но в реальной жизни привела бы к разорению.
7. Подделки.Хотя достаточно просто сконструировать систему с правилами, приводящими к замечательной результативности в прошлом, некоторые промоутеры не беспокоятся даже об этом. Например, один бесчестный тип продолжает появляться с предложениями различных систем по цене в $299, которые представляют собой откровенное мошенничество. Брюс Бэбкок из журнала «Commodity Traders Consumers Report» так и прозвал этого жулика — «человек $299».
Я вовсе не собираюсь обвинять всех продавцов торговых систем или тех, кто использует моделированные результаты. Несомненно, есть много людей, кто производит компьютерное моделирование в достаточно строгом стиле. Однако печальная правда состоит в том, что чрезвычайно неправильное использование оптимизации в течение долгих лет привели фактически к обесцениванию результатов моделирования. Рекламируемые результаты очень похожи на ресторанные обзоры, написанные владельцами заведений, — вряд ли вы когда-нибудь увидите неблагоприятный обзор. Я могу вас заверить, что вы никогда не увидите торговую систему, которая показывала бы длинную позицию по S&P при закрытии 16 октября 1987 г. Пригодны ли все-таки к использованию результаты компьютерного моделирования? Да, если вы разработчик системы и если вы знаете, что делаете (используете методы моделирования, разобранные в предыдущем разделе), или если вы абсолютно уверены в честности и компетентности разработчика системы.