Оценка систем с помощью walk-forward анализа, тестирования робастности и coin-flip базовых линий

Тест на всей выборке может скрыть траекторию

Тест на всей выборке — это одна оценка на непрерывной истории, которая сообщает один агрегированный результат и не показывает, как исходы распределены во времени. Тест на всей выборке пересечения двух средних на длинной непрерывной истории индекса может выглядеть приемлемо в агрегате, тогда как те же правила, оценённые на десяти равных долях, показывают, что почти весь положительный вклад сосредоточен в позднем меньшинстве баров.

Перебор каждой пары пересечения на дневных барах с длинами от трёх до двенадцати на той же полной выборке может обратить ранжирование близких наборов параметров, поэтому перебор по сетке сам по себе не является тестом робастности.

Walk-forward анализ отделяет разработку от подтверждения

Walk-forward анализ — это разделение исторических баров на срезы разработки и подтверждения, чтобы правила входа, выхода и воздержания оценивались на данных, которые эти правила не выбирали. Как только срез подтверждения использован, его повторное применение для дальнейшей настройки сводит процедуру обратно к тесту на всей выборке.

Даже когда оставшейся истории достаточно для многих итераций разработки, подтверждение набора правил только на отложенном подмножестве может оставить процедуру непроверенной против полного спектра рыночного поведения. Это селективность выборки: риск того, что отложенное подмножество подтверждения опускает рыночное поведение, с которым правила столкнутся позднее, даже если оставшаяся история велика.

Тестирование робастности проверяет концентрацию и зависимость от траектории

Тестирование робастности повторно прогоняет тот же набор правил на временных срезах или рядах с перемешанными доходностями, чтобы проверить, является ли кажущийся результат сконцентрированным, неустойчивым или артефактом одной траектории.

Процедура робастности с низким трением переводит исходный ряд в процентные изменения, случайно переставляет эти изменения и заново строит ценовые траектории, чтобы те же правила можно было перепроверить на многих статистически связанных рядах без повторения идентичной траектории. Набор параметров, предпочтённый сеткой на непрерывной истории, может не пройти, когда те же правила применяются к 100 рядам с перемешанными доходностями, которые разделяют статистический характер исходной выборки, а не её точную ценовую траекторию.

Coin-flip базовая линия сохраняет occupancy-сигнатуру

Сравнения с пассивным удержанием или краткосрочной процентной ставкой и коэффициенты, которые масштабируют доходность относительно просадки, не ранжируют системы с похожим следом лонга, шорта и флэта относительно друг друга.

Coin-flip базовая линия без навыка — это сравнение без навыка, которое сохраняет смесь баров лонга, шорта и флэта системы и случайно переназначает эти состояния, спрашивая, превосходят ли исходные сигналы occupancy-согласованный случай. Кодирование системы как доли баров, проведённых в лонге, шорте и флэте, проиллюстрированное как 23 процента, 48 процентов и 29 процентов, позволяет оценщику построить много occupancy-согласованных последовательностей сигналов, случайно переставляя этот столбец из трёх состояний. Эта смесь и есть occupancy-сигнатура: доля баров, которую система проводит в лонге, шорте или флэте, используемая для генерации похожих последовательностей сигналов для ранжирования среди аналогов.

Расширение этого occupancy-согласованного теста аналогов до 1,000 похожих систем на реальных рыночных данных поставило гипотетического кандидата хуже, чем 77 процентов его coin-flip двойников.

Подтверждение и ранжирование среди аналогов остаются обязательными оба

После этих проверок подтверждение на отложенной выборке и ранжирование относительно occupancy-согласованных аналогов обязательны оба, прежде чем набор правил считать чем-то большим, чем in-sample артефактом.