2018выпуск C0444-45
Оценка робастности оптимизированных систем методом walk-forward
Комбинированная система на индикаторах и нейронной сети оценивается как одна зафиксированная процедура: выбрать, какие входы правил допускается искать, зарезервировать более поздние данные, которые поиск не должен видеть, и оставлять правила только если они по-прежнему выдают согласованные сигналы после учёта издержек и конкурирующих целевых функций.
- Выберите, какие входы правил допускается искать, зарезервируйте более поздние данные, которые поиск не должен видеть, и оставляйте правила только если они по-прежнему выдают согласованные сигналы после учёта издержек и конкурирующих целевых функций.
- Каждый параметр можно оставить фиксированным или включить в поиск, а исключение параметров из поиска или сужение их диапазонов представлено как контроль против подгонки под историю.
- Walk-forward анализ фиксирует параметры после более ранней выборки, затем проверяет их на окне бумажной торговли и на более поздних неиспользованных данных перед следующим форвардным отрезком.
- Тест на робастность проверяет, остаются ли зафиксированные правила приемлемыми, когда меняются издержки, оцениваемые целевые функции или неиспользованные данные.
Одна система на проверке
Обычные индикаторы и модели нейронных сетей можно объединить в одну торговую систему, которую затем бэктестируют и оптимизируют.
Что допускается включать в поиск
Оптимизация системы — это контролируемый поиск по выбранным параметрам правил, при котором остальные входы удерживаются фиксированными, а границы поиска задаются заранее. Каждый параметр можно оставить фиксированным или включить в поиск, а допустимый диапазон искомого параметра можно выбрать или изменить.
Исключение выбранных параметров из поиска или сужение их диапазонов представлено как контроль против подгонки под историю и переоптимизации. Подгонка под историю — это настолько тесная подгонка правил под исторические данные, что более поздние неиспользованные данные уже не подтверждают то же поведение.
Неиспользованные более поздние данные
Систему можно бэктестировать и оптимизировать, затем проверить на более поздних неиспользованных данных, в том числе используя интервал бумажной торговли для выбора параметров для следующего форвардного отрезка. Walk-forward анализ фиксирует параметры после более ранней выборки и затем генерирует сигналы на более поздних неиспользованных данных. Окно бумажной торговли — это зарезервированный интервал после оптимизации, используемый для проверки зафиксированных правил перед более поздним форвардным отрезком.
В одной проиллюстрированной оценке использовались восемь лет данных оптимизации, два года данных бумажной торговли и два последующих года более поздних данных. Систему можно разместить на ценовом графике, оптимизировать, проверить через индикатор кривой капитала и затем рассмотреть на более позднем интервале, продлив график. Вневыборчная проверка рассматривает сигналы и капитал после того, как тестируемый диапазон продлён за окно оптимизации.
Зарезервированные окна скользящей форвардной проверки на тесте AAPL

Тестер сохранил набор параметров, который лучше всего отработал на более позднем срезе бумажной торговли, и применил его на всём финальном торговом окне. Выборка начинается в 2006; последняя дата на графике — 15 April 2018.
Издержки и конкурирующие целевые функции
Бэктесты могут принимать явные входы для издержек размера ордера, пирамидинга, брокерских комиссий и проскальзывания. Поиск можно оценивать по разным целевым функциям, включая разрыв между прибыльными и убыточными сделками, наибольшую просадку, доходность счёта и доходность счёта, умноженную на корреляцию кривой капитала.
Целевая функция оптимизации — это оцениваемая цель, которая ранжирует кандидатные наборы параметров во время поиска. Тест на робастность проверяет, остаются ли зафиксированные правила приемлемыми, когда меняются издержки, оцениваемые целевые функции или неиспользованные данные.
Входы и рынки
Тот же рабочий процесс оценки может использовать встроенные индикаторы, пользовательские индикаторы или значения, возвращаемые внешней скомпилированной библиотекой, и применяться к акциям, валютному рынку, сырьевым товарам, индексам и опционам.
Все разборы дорожки · 51 разбор
- 1986Степени свободы в оптимизации торговой системы
- 1988Walk-forward и тесты окрестности после оптимизации
- 1988Нераскрытые правила блокируют тесты робастности системы
- 1988Тестирование календарей реоптимизации против контроля со случайными параметрами
- 1989Ограничения бинарного поиска на сетках средних с несколькими пиками
- 1989Окрестности параметров, которые выдерживают сдвиг
- 1990Используйте картирование прибыли, чтобы сохранить плато цикла и стопа
- 1990Почему оптимизация популярных индикаторов не проходит проверку на робастность
- 1991Повторная проверка взвешенных балансов индикаторов на разных горизонтах
- 1992Построение прогнозных моделей с регрессией, walk-forward и робастностью
- 1992Диагностируйте режимы, прежде чем фиксировать параметры
- 1992Когда стопы меняют тайминг системы
- 1993Правила остановки walk-forward для прогнозных моделей
- 1994Walk-forward оценка генетических правил индекса
- 1995Прунинг входов как walk-forward оценка системы
- 1995Критика нейросетей как неполных торговых систем
- 1996Пересоберите коэффициент пути эквити до того, как он ранжирует сконструированную систему
- 1996Сетки параметров можно подогнать под случайные блуждания
- 1996Walk-forward анализ входит в проектирование механической торговой системы
- 1997Когда holdout не проходит, отбросьте набор правил
- 1997Тестируйте вознаграждаемые нарушения правил, прежде чем заменять систему
- 1997Правила walk-forward не дают исследованию системы переписывать живые сделки
- 1999Сведите пробой канала к двум lookback и проверьте устойчивость соседей
- 1999Постоянный размер инвестиции при оценке системы на акциях
- 2000Форсирующая оптимизация очерчивает границы отказа механической системы
- 2000Робастный выбор параметров с помощью карт поверхности
- 2001Учебный тест с двумя шлюзами для двух-оконного трендового фильтра моментума
- 2002Как двусторонний фактор продолжения становится проверяемым трендовым правилом
- 2002Оценка двухоконной интенсивности тренда как правила разворота
- 2003Дисконтирование спекулятивных пузырей в тестах робастности системы
- 2003Walk-forward оценка зафиксированных правил стохастического осциллятора
- 2003Критика проектирования механических систем после экстремальных ценовых режимов
- 2004Оценка трендового триггера на двух окнах
- 2005Оценивайте бэктестированные сигналы по holdout и плато оптимизации
- 2006Оценка дизайна торговой системы на резервной выборке
- 2006Walk-forward критика ретроспективных систем на пересечениях
- 2008Оценка механических систем методом walk-forward с сопоставлением состояния
- 2011Оценка систем основной сессии и overnight с разделением сессий
- 2012Walk-forward оценка как репетиция оператора
- 2013Двухоконная оценка механических торговых систем
- 2013Walk-forward отбор фильтра для repeated-median velocity
- 2014Walk-forward оценка систем fading-memory velocity
- 2015Проверяйте события осциллятора до настройки правил
- 2016Walk-forward оценка пятипараметрового parabolic stop-and-reversal
- 2016Walk-forward оптимизация без подгонки под кривую
- 2017Оптимизация без переобучения при оценке трендовых систем
- 2017Стабильность параметров — лучший ориентир, чем более крупная сетка кроссоверов
- 2018Вселенные point-in-time для оценки систем
- 2018Оценка робастности оптимизированных систем методом walk-forward
- 2018Критика breakout-систем через тесты на робастность
- 2018Критика подгонки параметров при проектировании системы