Walk-forward тесты после оптимизации системы

Один неиспользованный прогон после фиксации

Один прогон системы с зафиксированными параметрами на неиспользованных данных — та же схема оценки, что и у неоптимизированной системы: один тест и без дальнейшей подстройки параметров. Моделируемые сделки из этого прогона с фиксированными параметрами можно рассматривать как выборку из генеральной совокупности сделок системы, поэтому вывод нацелен на средний результат сделки относительно гипотетического среднего генеральной совокупности, равного нулю или хуже.

t-статистика — это выборочный средний результат сделки минус указанный базис, деленный на стандартную ошибку этого среднего. Вероятность хвоста считывается из t-распределения с числом степеней свободы, равным числу сделок минус один. Интервал для доли прибыльных сделок в генеральной совокупности можно построить, инвертировав кумулятивное биномиальное распределение вокруг наблюдаемого числа прибыльных сделок.

Как поиск меняет прочтение

После поиска по комбинациям параметров значимость лучшей in-sample t-статистики корректируется до единицы минус величина единица минус эта значимость, возведенная в степень, равную числу испытаний. Скорректированная величина оценивает шанс увидеть хотя бы один столь же хороший результат. In-sample означает окно данных, использованное во время поиска параметров.

Если считать каждое испытание независимым, завышается, сколько различных тестов было проведено, когда близкие значения параметров дают схожие результаты, поэтому поправка на множественность, основанная на независимости, консервативна. После фиксации параметров и выполнения только одного out-of-sample прогона статистика, рассчитанная по этим сделкам, не требует поправки на оптимизацию. Out-of-sample означает более позднее окно, используемое только после фиксации параметров.

Walk-forward анализ после поиска

Walk-forward анализ заново оптимизирует параметры на скользящем окне, записывает сделки из следующего еще не виденного интервала, затем сдвигает окно. Эти сделки остаются out-of-sample, и t-тесты по ним не требуют поправки на множественность.

Проверка гипотез на этапе разработки служит для отсева моделей, чье наблюдаемое поведение можно объяснить случаем или чрезмерной подгонкой на недостаточной выборке.