Правда о результатах моделирования

Хотя ценность оптимизации для улучшения будущей результативности системы открыта для дебатов, абсолютно очевидно, что использование оптимизированных результатов будет значительно искажать подразуме­ваемую будущую результативность системы. Причина состоит в том, что, как было показано ранее в этой главе, корреляция между наиболее ре­зультативными для одного периода параметрами системы и теми пара­метрами, которые приведут к наилучшей результативности в следующий период, крайне мала, если вообще существует. Следовательно, предпо­ложение, что результативность, достигнутая в прошлом, может быть по­вторена в будущем при том же самом наборе параметров, абсолютно нереалистично.

После многих лет работы мое отношение к симулированным резуль­татам подытоживается тем, что я называю «Швагеровским законом моде­лирования» (по аналогии с денежным законом Гришэма). Как читатели могут вспомнить из «Economics 101», Гришэм утверждал, что «плохие день­ги вытесняют хорошие». Суть соревнования, которое описывает Гришэм, состояла в том, что если в обращении находится два типа денег (напри­мер, золото и серебро) с произвольным курсовым соотношением (напри­мер, 16 к 1), то плохие деньги (деньги, переоцененные фиксированным курсом обмена) будут вытеснять хорошие. Таким образом, если бы спра­ведливая стоимость унции золота была выше стоимости 16 унций сереб­ра, соотношение 16 к 1 приводило бы к тому, что серебро вытесняло бы золото из обращения (поскольку люди стремились бы накапливать золото).

Мое закон формулируется так: «плохое моделирование вытесняет хорошее». Термин «плохое» означает моделирование, построенное на крайне ненадежных предположениях, а не плохое в смысле показанной результативности. Скорее наоборот, «плохое» моделирование будет показывать бросающиеся в глаза результаты.

Я часто получаю рекламу систем, которые предположительно дела­ют 200, 400 или даже 600% в год. Давайте будем консервативны (я ис­пользую этот термин свободно) и предположим доходность лишь в 100% годовых. При таком уровне доходности $100 000 превратились бы все­го за тринадцать лет в миллиард долларов! Может ли такая доходность быть достижимой на практике в течение длительного периода? Ответ: не может. Дело в том, что при достаточном желании можно добиться практически любого уровня ретроспективной результативности. Если бы кто-то попробовал продавать систему или программу для торговли, основанную на действительно реалистичном моделировании, результа­ты были бы до смешного ничтожны по сравнению с тем, что предлага­ет реклама. Именно в этом смысле плохое (нереалистичное) моделиро­вание вытесняет хорошее (реалистичное) моделирование.

724 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

Как искажаются результаты тестов? Существует несколько основных способов.

1. Специально подобранный пример.При конструиро-вании специально подобранного примера промоутер систе-мы выбира­ет наилучший рынок в наилучший год, используя наилучший на­бор параметров. Предполагая, что система тестируется на 25 рынках за 15 лет и использует 100 вари-нтов наборов парамет­ров, мы получили бы в обшей слож-ости 37 500 одногодичных результатов (25Х 15Х 100). Бы-ло бы трудно построить такую систему, в которой хотя бы один из этих 37 500 возможных ис­ходов не показал бы вели-колепных результатов. Например, если вы подбрасываете де-сять монет 37 500 раз, неужели вы думае­те, что они не упадут несколько раз десятью «орлами» вверх?

2. Специальное устранение убытков системы.С помо-щью добавления параметров и создания дополнительных системных правил, которые подходящим образом обслужи-вают убыточные периоды прошлого, вполне возможно соз-дать фактически лю­бой уровень ретроспективной результа-тивности.

3. Игнорирование риска.Рекламируемые результаты систе-мы часто используют оценку доходности как процента маржи (за­логовых средств). При торговле с плечом, когда открывается позиция, по объему в несколько раз превосхо-дящая размер мар­жи, ожидаемая доходность возрастает в соответствующей про­порции. Разумеется, риск при этом также многократно увели­чивается, но реклама не касается таких деталей.

4. Пропущенные убыточные сделки.Нередко на графи-ках в рекламе торговых систем показываются сигналы к покупке и продаже, приносящие прибыль, а убыточные сигналы этой же системы на графики не наносятся.

5. Оптимизация, оптимизация, оптимизация.Оптимизация (выбор наборов параметров с наилучшей результативностью в прошлом) может колоссально преуве-личивать прошлую резуль­тативность системы. Фактически любая система, когда-либо за­думанная человеком, выгля-дела бы замечательно, если бы ре­зультаты основывались на оптимальном наборе параметров (на­боре параметров с наи-лучшей прошлой результативностью) для каждого рынка. Чем больше используемое количество наборов параметров, тем шире выбор прошлых результатов и значитель­нее вирту-альная прибыль, которую можно получить в компью­терном тесте на исторических данных.

6. Нереалистичные транзакционные затраты.Часто симу-ли­рованные результаты принимают в рассмотрение лишь комисси-

ГЛАВА 20. тестирование и оптимизация торговых систем 725

онные, но не проскальзывание (разница между предполагаемы­ми и реальными ценами сделок, которые были бы зафиксирова­ны при использовании рыночного приказа или стоп-приказа). В случае быстрых систем игнорирование проскальзывания может дать такую систему, которая выглядела бы как машина по про­изводству денег, но в реальной жизни привела бы к разорению.

7. Подделки.Хотя достаточно просто сконструировать систему с правилами, приводящими к замечательной результативности в прошлом, некоторые промоутеры не беспокоятся даже об этом. Например, один бесчестный тип продолжает появляться с пред­ложениями различных систем по цене в $299, которые пред­ставляют собой откровенное мошенничество. Брюс Бэбкок из журнала «Commodity Traders Consumers Report» так и прозвал этого жулика — «человек $299».

Я вовсе не собираюсь обвинять всех продавцов торговых систем или тех, кто использует моделированные результаты. Несомненно, есть мно­го людей, кто производит компьютерное моделирование в достаточно строгом стиле. Однако печальная правда состоит в том, что чрезвычай­но неправильное использование оптимизации в течение долгих лет при­вели фактически к обесцениванию результатов моделирования. Рекла­мируемые результаты очень похожи на ресторанные обзоры, написан­ные владельцами заведений, — вряд ли вы когда-нибудь увидите небла­гоприятный обзор. Я могу вас заверить, что вы никогда не увидите тор­говую систему, которая показывала бы длинную позицию по S&P при закрытии 16 октября 1987 г. Пригодны ли все-таки к использованию результаты компьютерного моделирования? Да, если вы разработчик системы и если вы знаете, что делаете (используете методы моделиро­вания, разобранные в предыдущем разделе), или если вы абсолютно уверены в честности и компетентности разработчика системы.