Тестирование календарей реоптимизации против контроля со случайными параметрами

Календарь находится внутри процедуры

Системная оптимизация выбирает lookback или порог системы по ранжированным историческим результатам вместо того, чтобы фиксировать настройку до начала теста. Календарь реоптимизации — это совместный выбор того, какой объём прошлых данных ранжирует следующий параметр и как долго этот выбор удерживается, прежде чем поиск снова разрешено запускать.

Этот календарь решает, когда можно выбрать новый lookback и какие уже наблюдавшиеся результаты допускается использовать для ранжирования кандидатов. Он является частью торговой процедуры, а не настройкой, которую можно оставить за пределами теста.

Что сравнивала историческая оценка

Историческая оценка сравнила несколько календарей реоптимизации, основанных на истории, с контролем со случайными параметрами на однопараметрическом пробое канала и на пересечении индекса направленного движения. Контроль со случайными параметрами назначает настройку каждого периода оценки случайно, чтобы можно было проверить саму процедуру поиска.

Практики того времени не имели общего стандарта относительно того, какой объём истории использовать, как часто обновлять параметры и проводить ли поиск вообще. Lookback-периоды варьировались от нескольких лет до всех доступных данных, а интервалы обновления — от двух раз в год до одного раза в несколько лет.

По каждой системе поиск шёл по сетке параметров, охватывающей lookback-периоды от коротких до многомесячных с равными шагами. Обе системы моделировались на мультирыночном фьючерсном портфеле с равными маржинальными аллокациями, фиксированной комиссией за сделку и позициями только в ближайшем контракте.

Walk-forward выбор и периоды удержания

Walk-forward анализ выбирает параметр на более раннем окне и применяет этот выбор только на более позднем интервале, который не использовался для ранжирования кандидатов. Каждый календарь, основанный на истории, выбирал следующий параметр только из уже наблюдавшихся результатов, поэтому интервал оценки никогда не использовал повторно наблюдения, которые ранжировали кандидатов.

Календари с ежегодным обновлением использовали несколько предшествующих лет ранжирования по прибыли либо всю историю с момента появления рынка или с фиксированной ранней даты старта. Фиксированные календари удерживали многолетний выбор на соответствующем многолетнем блоке.

Парные тесты, включая случайный контроль

Тестирование робастности проверяет, дают ли альтернативные календари поиска, включая контроль со случайным назначением, статистически различимые более поздние результаты. Статистическое сравнение использовало тесты средних портфельных результатов против нуля и тесты парных разностей между календарями, включая контроль со случайными параметрами.

На системе пробоя тесты парных разностей не обнаружили статистически значимого разрыва между средними месячными результатами календарей, включая разрыв относительно случайного назначения.

На системе направленного движения лишь немногие попарные контрасты достигли значимости, ни один календарь не сформировал устойчивого ранжирования, и ни один статистически не отличался от случайного назначения.

В рамках протестированных систем, сеток параметров и календарей реоптимизация, основанная на истории, не дала статистически большего результата, чем случайное назначение, и статистически не ухудшила средние результаты.

Что не может заменить in-sample чемпион

In-sample чемпион — это единственная исторически лучшая настройка на окне. Результат его собственного окна не является допустимой оценкой более поздних результатов, поэтому этот чемпион не является допустимой заменой того, что следует дальше. Центр полной протестированной сетки параметров — более обоснованный исторический бенчмарк.