Ранги наборов параметров по двухгодичным тестовым периодам, в зависимости от значений n

Значение N набора	Ранг набора	Ранг набора	Ранг набора	Средний ранг
параметров	параметров в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
				9,0
				5,0
				5,0
				3,3
				5,3
				6,7
				1,3
				3,3
				6,0

ГЛАВА 20. тестирование и оптимизация торговых систем 719

Будет поучительным рассмотреть наблюдения, связанные с предше­ствующим экспериментом по оптимизации.

• Оптимизация вообще не имела никакого значения, когда при­
менялась к каждому рынку в отдельности.

• Однако примененная к портфелю, оптимизация кажется полез­
ной для предсказания того, какой набор параметров с наиболь­
шей вероятностью покажет плохую результативность в будущем.
Тем не менее, оптимизация не может предсказать, какие из на­
боров параметров с наибольшей вероятностью продемонстри­
руют хорошую результативность в будущем.

• При более близком исследовании выяснилось, что модель по­
стоянно плохой результативности была не столько следствием
степени результативности на предшествующем периоде, сколь­
ко следствием значения параметра. Другими словами, протес­
тированный диапазон наборов параметров начинался со значе­
ния, которое явно было далеко от оптимального для данной си­
стемы: N = 20. Хотя и не показанные в таблицах, более низкие
значения для N продемонстрировали бы дальнейшее падение ре­
зультативности по мере уменьшения значений N.

• За исключением крайних значений параметров (N = 20 или
ниже в этом примере), явно далеких от оптимального значения,
было мало стабильности в значениях наборов параметров с наи­
лучшей результативностью внутри широкого диапазона наборов
параметров (от N = 30 до N = 100 в этом примере).

Эти наблюдения, которые согласуются с результатами похожих эм­пирических тестов, предпринятых мною в прошлом, предполагают сле­дующие ключевые выводы относительно оптимизации*:

1. От любой системы, повторяю, от любой системы с помощью оп­тимизации можно добиться того, чтобы она была очень прибыль­ной на исторических данных. Если вы когда-нибудь обнаружи­те систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производ-

Хотя единственный эмпирический эксперимент не может быть использо­ван как основа для широких обобщений, я готов сделать таковые здесь, по­скольку только что описанные результаты абсолютно типичны для многих по­добных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве до­казательства нежизнеспособности оптимизации, а скорее, в качестве иллюст­рации этого момента.

720 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ству денег (поступайте противоположно ее сигналам, если толь­ко транзакционные затраты не чрезмерны). Таким образом, при­ятно смотреть на удивительную результативность оптимизиро­ванной системы в прошлом, однако она имеет мало практичес­кой ценности.

2. Оптимизация будет всегда, повторяю, всегда преувеличивать по­
тенциальную будущую результативность системы — обычно
весьма сильно. Таким образом, результаты оптимизации никог­
да не должны, повторяю, никогда не должны использоваться для
оценки достоинств системы.

3. Для многих, если не для большинства систем, оптимизация не
будет улучшать будущую результативность или улучшит ее незна­
чительно.

4. Если оптимизация и имеет какое-то значение, оно обычно со­
стоит в определении широких границ диапазона, из которых
следует выбирать значения наборов параметров для системы.
Тонкая подстройка оптимизации — это в лучшем случае поте­
ря времени, а в худшем — самообман.

5. В свете всех предшествующих пунктов искушенные и слож­
ные процедуры оптимизации — пустая трата времени. Наи­
простейшие оптимизационные процедуры будут предоставлять
не меньшее количество значимой информации (предполагая,
что, вообще, может быть извлечена некоторая значимая ин­
формация).

В итоге, в противоположность широко распространенным верованиям, существует некий резонный вопрос: приведет ли оптимизация к суще­ственно лучшим результатам при длительном периоде торговли, чем случайным образом выбранный набор параметров? Чтобы не было ни­каких недоразумений, позвольте мне уточнить: это утверждение не при­звано подразумевать, что у оптимизации вообще нет никакой ценнос­ти. Во-первых, как указано ранее, оптимизация может быть полезна при определении явно неподходящего диапазона параметров, который сле­дует исключить при выборе значений параметра (например, N # 20 в нашем примере системы пробоя). Кроме этого, возможно, что для не­которых систем оптимизация может провести некоторые границы в выборе наборов параметров даже после исключения крайних неопти­мальных диапазонов. Однако я подразумеваю, что степень улучшения, предлагаемая оптимизацией, намного меньше, чем обычно представля­ется, и что трейдеры, вероятно, сберегли бы кучу денег, доказывая в начале любое предположение, которое они делают по поводу оптими­зации, а не принимая эти предположения слепо на веру.

ГЛАВА 20. тестирование и оптимизация торговых систем 721

ТЕСТИРОВАНИЕ ИЛИ ПОДГОНКА?

Вероятно, наиболее существенная ошибка, которую делают пользова­тели фьючерсных торговых систем — это предположение, что резуль­тативность оптимизированного набора параметров во время тестово­го периода представляет собой прогноз потенциальной результативно­сти подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоцен­ке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из набо­ров параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятно­сти показывают, что если протестировано достаточное количество на­боров параметров, даже в бессмысленной торговой системе обнаружат­ся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т.е. наборах с наилучшей результативностью на рассматриваемом пе­риоде), является подгонкой системы под прошлые результаты, а не те­стированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следую­щий раздел описывает два разумных подхода.

Слепое моделирование

При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы. Результативность системы затем тестирует­ся с использованием полученных наборов параметров на последующих годах. В идеале, этот процесс следует повторить несколько раз.

Заметьте, что мы избегаем подгонки результатов, поскольку наборы параметров, используемые для измерения результативности в любой дан­ный период, выбираются полностью на основе предшествующих, а не те­кущих данных. В некотором смысле такой подход к тестированию воспро­изводит реальную жизнь (т.е. приходится на основании прошлых данных решать, при каком наборе параметров торговать). Оптимизационные те­сты из предыдущего раздела использовали этот тип процедуры, передви­гаясь во времени по двухгодичным интервалам; в частности, результаты системы для периода 1981-1988 гг. использовались, чтобы выбрать на­боры параметров с наилучшей результативностью, которые потом тести­ровались для периода 1989-1990 гг. Далее результаты системы для пе­риода 1983-1990 гг. использовались при выборе наиболее результатив-

722 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ных наборов параметров, которые затем были протестированы для пери­ода 1991-1992 гг. И наконец, результаты системы за период 1985-1992 гг. использовались при выборе наиболее результативных наборов пара­метров, которые затем были протестированы для периода 1993-1994 гг. Важнейший момент состоит в том, чтобы периоды «слепого моде­лирования» и оптимизации не накладывались один на другой. Модели­рование, которое производится на том же периоде, что и оптимизация, не имеет ценности.