Оценивайте бэктестированные сигналы по holdout и плато оптимизации

Что должно совпасть, прежде чем результат станет сигналом

Редакционная рамка: рассматривайте этот архивный материал как учебный аудит конструкции системы с тремя воротами. Результат бэктеста считается сигналом только тогда, когда walk-forward holdout, короткий статистически содержательный список входных параметров и широкое прибыльное плато на кривой оптимизации подтверждают одну и ту же процедуру входа, выхода и воздержания.

Оптимизация системы ищет входные параметры правил, состояние рынка и ограничения исполнения как одну бэктестированную процедуру, чей выход — сигнал на периоде удержания системы. Тестирование на устойчивость проверяет, сохраняется ли та же процедура, когда входных параметров мало, они статистически содержательны и прибыльны в широком диапазоне значений. Walk-forward анализ удерживает неиспользованные исторические сегменты вне поиска при оптимизации, чтобы сигнал можно было оценить на рыночных условиях, которые не выбирали его входные параметры.

Удерживайте неиспользованную историю вне поиска

Оптимизация системы описывается как поиск эффективных значений входных параметров. Неиспользованные исторические сегменты нужно удерживать вне этого поиска, чтобы готовые правила можно было проверить на рыночных условиях, которые не выбирали входные параметры.

Walk-forward анализ представлен как резервирование неиспользованной истории, включая исключение самого последнего года, при оптимизации более ранних данных. Архив представляет эту проверку как выполняющую ту же функцию, что и наблюдение за готовой системой в течение года перед внедрением.

Держите список входных параметров коротким и значимым

Малое число входных параметров названо основной защитой от curve-fitting: добавление множества переменных облегчает переобучение даже на случайном ценовом ряде.

Тестирование на устойчивость сформулировано как предпочтение статистически значимых предиктивных рыночных драйверов набору сглаженных ценовых индикаторов, которые описываются как легко подгоняемые под один ряд.

Среди неценовых кандидатов для исследования перечислены волатильность, процентные ставки, объём, межрыночные и секторные связи, гэпы, соотношения баров, breadth, объём роста и снижения, показатели ленты, коэффициенты put/call и соотношения cash-versus-futures.

Читайте кривую оптимизации в поисках широкого плато

Кривая оптимизации — это график результатов по диапазону значений входных параметров; по нему смотрят, изолирована ли прибыльность во всплесках или сохраняется в широкой полосе. Изолированные всплески прибыльности на этой кривой трактуются как свидетельство того, что входной параметр лишён предиктивной способности, а выбор одного из таких всплесков называется curve-fitting.

Устойчивый входной параметр описывается как тот, чьи результаты остаются прибыльными в широкой полосе разумных значений; заявленная цель конструкции — чтобы кривая оптимизации оставалась выше нулевой линии.

Разумные значения входных параметров — те, что дают здравое число сделок на горизонте исследования и средний чистый результат на сделку. Эта полоса и есть разумный диапазон входных параметров. Овертрейдинг связан с проскальзыванием, а недостаточная торговля — со слишком малым числом наблюдений, чтобы они были статистически содержательны.

Одна процедура должна пройти каждые ворота

Спортивная метафора показывает, как устойчивость сжимается при добавлении лишних условий. Фильтр, который выигрывает только когда номера на майках в сумме дают 9, 21 или 42, считается не более предиктивным, чем скользящая средняя на 9, 21 или 42 бара.

Редакционное учебное правило: walk-forward holdout, короткий список входных параметров и широкое прибыльное плато должны все подтверждать одну и ту же процедуру входа, выхода и воздержания. Если одни ворота не пройдены, результат бэктеста не считается сигналом.