Оценка правил системы на робастность и посильные просадки

Оценивайте полную процедуру целиком

Walk-forward анализ переносит одни и те же правила входа, выхода и воздержания через более поздние состояния рынка, чтобы полный сигнал оценивался как одна процедура, а не как изолированная историческая подгонка. Тестирование робастности проверяет, оставляют ли небольшие изменения параметров, числа правил или исторической допустимости всё ещё пригодный сигнал. Лимит просадки — это заранее принятая граница потери капитала, которая используется как фильтр до входа и в период удержания, чтобы экспозиция оставалась внутри того, что оператор реально выдержит.

Оставайтесь в совместимом лагере стиля

Первый шаг проектирования — попробовать оба стиля, пробой и возврат к среднему, и остаться в психологически совместимом лагере, а не перенимать ту идею, которая появится первой. Лагерь возврата к среднему отторговывает растянутые движения вместо погони за новыми экстремумами. Лагерь пробоя входит после того, как цена выходит из прежнего диапазона, и часто требует другой логики выхода, чем фейд.

Для чего нужно историческое тестирование

Историческое тестирование используют, чтобы отбросить идеи, которые выглядят концептуально здравыми, но не работают на более широкой выборке, и чтобы заметить идеи, которые кажутся неправдоподобными, но всё же дают пригодный исторический сигнал.

Стопы, которым оператор всё ещё будет следовать

В одной серии тестов возврата к среднему расширение защитного стопа и затем его снятие показали, что фиксированные стопы в 10, 15 и 20 процентов давали худшие исторические результаты, чем работа без этого стопа. Короткая процедура возврата к среднему описывалась как исторически сильнее без стопов, однако выход около 50 процентов открытого убытка и временной выход примерно через 10 или 15 дней были добавлены, чтобы оператор продолжал следовать правилам. Этот добавленный выход — стоп непрерывности оператора: выход, который используют, чтобы оператор продолжал следовать процедуре после крупного открытого убытка или затянувшегося периода удержания, даже когда исторические тесты с этим выходом выглядят хуже. Процедуры пробоя описывались как более подверженные ложным пробоям, и стоп-лоссы там применялись, когда конкретный набор правил этого требовал.

Проверки, которые отбрасывают хрупкую конструкцию

Переоптимизацию оценивали по чувствительности результата к небольшим изменениям параметров, а не по сырому числу прогонов оптимизации. Чувствительность к параметрам — это то, насколько резко исторические результаты колеблются при небольшом изменении входов. Высокая чувствительность трактуется как предупреждение о хрупкости. Конструкции с числом правил от 10 до 15 считались избыточно специфицированными, если удаление правил оставляло результаты в основном без изменений. Использование сегодняшнего списка состава индекса для многолетнего теста вместо состава, который существовал на каждую историческую дату, было указано как частый источник ошибки выжившего и смещения предварительного включения. Эта практика — смещение состава: оценка вселенной так, будто сегодняшние участники всегда были допустимы, что может скрыть имена, которые позже выбыли или никогда не входили в набор.

Просадка, которую оператор сможет исполнять

Операторы, которые говорили, что могут жить с просадкой в 20 процентов, как наблюдалось, впадали в панику около 10 процентов. Диапазон конструкции от 25 до 30 процентов исторической просадки предпочитался очень малым величинам вроде 8 процентов, исходя из того, что худший убыток ещё впереди.

Задержка перед добавлением правила

После убыточной полосы ожидание два или три месяца перед добавлением правила использовалось, чтобы не подогнать новый фильтр под недавние сделки. Этот интервал — задержка добавления правила: пауза после убыточной полосы до кодирования любого нового фильтра, чтобы заплатка не подгонялась под последние несколько сделок. Более позднее изменение рыночной структуры рассматривалось как отдельная причина пересмотреть процедуру.