Skip to main content
Дорожка Robustness testing
26 / 51
Библиотека

2000выпуск C041-6

Робастный выбор параметров с помощью карт поверхности

Тесты на длинной истории, отложенные выборки walk-forward и визуальный анализ трёхмерной поверхности прибыли — взаимодополняющие способы оценить, остаются ли наборы параметров полезными при смене условий. Держать стоит окрестности широких высоких плато, а не острых пиков.

  • Тесты на длинной истории, отложенные выборки walk-forward и визуальный анализ трёхмерной поверхности прибыли — взаимодополняющие способы оценить, остаются ли наборы параметров полезными при смене условий.
  • Процедура walk-forward, или слепая процедура, оптимизирует параметры на более ранней истории, затем применяет выбранные параметры к неиспользованным более поздним данным, так что финальная проверка выполняется без знания будущего.
  • На поверхности прибыли широкие высокие плато отмечают устойчивые окрестности, тогда как острые пики считаются хрупкими, а впадины — убыточными областями.
  • Самые прибыльные in-sample параметры не обязательно те, что с наибольшей вероятностью останутся полезными out of sample.
Записи этого разбора3 записи

Взаимодополняющие проверки при смене условий

Тесты на длинной истории, отложенные выборки walk-forward и визуальный анализ трёхмерной поверхности прибыли представлены как взаимодополняющие способы оценить, остаются ли наборы параметров полезными при смене условий.

Тестирование робастности, оптимизация системы и анализ walk-forward входят в ту же последовательность оценки. Поверхность отображает итоговые результаты по комбинациям параметров. Устойчивость окрестности считывается с этой карты до того, как настройка отправляется на неиспользованные более поздние данные.

Как анализ walk-forward откладывает более поздние данные

Процедура walk-forward, или слепая процедура, оптимизирует параметры на более ранней истории, затем применяет выбранные параметры к неиспользованным более поздним данным, так что финальная проверка выполняется без знания будущего.

Отложенное окно недоступно в момент выбора настройки. Именно это разделение делает более позднюю проверку тестом полезности после возможной смены условий, а не ещё одним проходом по той же истории.

Как читать поверхность прибыли

На поверхности прибыли каждая клетка — итоговый результат одной комбинации параметров. Широкие высокие плато отмечают устойчивые окрестности, тогда как острые пики считаются хрупкими, а впадины — убыточными областями.

Плато означает, что соседние комбинации дают сходные итоги, поэтому небольшое смещение входа не роняет конструкцию во впадину. Острый пик — это одна высокая клетка со слабыми соседями, поэтому он считается хрупким выбором.

Самые прибыльные in-sample параметры не обязательно те, что с наибольшей вероятностью останутся полезными out of sample. Поэтому визуальный отбор начинается с устойчивой окрестности, а не с одной самой высокой клетки.

Конструкция пробоя канала на проверке

Конструкция пробоя канала ставит дневные полосы вокруг цены и генерирует входы, когда бар пробивает верхнюю или нижнюю полосу, так что крупные направленные движения по построению не пропускаются.

В варианте канала волатильности расстояние полосы равно Average True Range, умноженному на коэффициент. Рекомендуемые диапазоны поиска — длины ATR от одного до семи периодов и коэффициенты от 0.2 до 1.4.

После каждого закрытия ход в пунктах прибавляется к этому закрытию и вычитается из него, чтобы задать длинные и короткие цели следующей сессии, которые можно выставлять как отложенные заявки.

Отдельные коэффициенты длинной и короткой сторон могут заменить один симметричный множитель, так что две полосы не обязаны стоять на одинаковом расстоянии от закрытия. Эти два коэффициента становятся осями поверхности, которую исследует тестирование робастности.

Что показало одно сравнение walk-forward

В одном сообщённом сравнении walk-forward визуально выбранные робастные настройки дали в 5.84 раза больше прибыли на сделку, чем настройки, максимизирующие прибыль, и позднее захватили 95.68% полностью оптимизированного результата последнего года при 18.18% меньшем числе сделок.

Тот же процесс отбора по картам поверхности применялся и к ряду одной акции, где коэффициенты вверх и вниз выявили окрестности, которые оставались продуктивными на неиспользованных данных.

Эти архивные сравнения поддерживают сначала чтение плато и лишь затем отправку соседней настройки в анализ walk-forward. Они не определяют постоянный набор параметров.

Кривая капитала walk-forward теста системы пробоя канала S&P

Кривая капитала на более позднем периоде продолжает расти после окна оптимизации 1988–1996 и заканчивается около 445 на верхней панели. Эти высоты сняты с опубликованных графиков капитала, а не взяты из таблицы. Трейдеру следует воспринимать этот продолжающийся подъём как вневыборочное свидетельство того, что прибыль ещё приносила соседняя, а не пиковая, окрестность параметров.
Кривая капитала на более позднем периоде продолжает расти после окна оптимизации 1988–1996 и заканчивается около 445 на верхней панели. Эти высоты сняты с опубликованных графиков капитала, а не взяты из таблицы. Трейдеру следует воспринимать этот продолжающийся подъём как вневыборочное свидетельство того, что прибыль ещё приносила соседняя, а не пиковая, окрестность параметров.S&P 500 continuous contract · daily · 1988-12-14T00:00:00.000Z по 1996-01-24T00:00:00.000Z

Высоты — приблизительные отсчёты с растра; в статье указано, что тест проводился на непрерывном контракте S&P 500 с 14 December 1988 по 24 January 1996, а более поздние данные были отложены. Цифры в заголовке сопутствующей поверхности (period 4, up 0.6, down 0.2, profit 477.98, 378 trades) относятся к другой клетке параметров и не описывают этот ряд.

Не является инвестиционной рекомендацией. Исторический материал не подтверждает актуальную результативность метода.
26 из 51 в дорожке «Robustness testing»
20011-6 с.Дальше про «Robustness testing»Учебный тест с двумя шлюзами для двух-оконного трендового фильтра моментумаТрендовый фильтр — это сравнение той же длины недавнего чистого моментума с более длинным окном беззнакового моментума; положительное значение читается как тренд, отрицательное — как консолидация.
Все разборы дорожки · 51 разбор
  1. 1986Степени свободы в оптимизации торговой системы
  2. 1988Walk-forward и тесты окрестности после оптимизации
  3. 1988Нераскрытые правила блокируют тесты робастности системы
  4. 1988Тестирование календарей реоптимизации против контроля со случайными параметрами
  5. 1989Ограничения бинарного поиска на сетках средних с несколькими пиками
  6. 1989Окрестности параметров, которые выдерживают сдвиг
  7. 1990Используйте картирование прибыли, чтобы сохранить плато цикла и стопа
  8. 1990Почему оптимизация популярных индикаторов не проходит проверку на робастность
  9. 1991Повторная проверка взвешенных балансов индикаторов на разных горизонтах
  10. 1992Построение прогнозных моделей с регрессией, walk-forward и робастностью
  11. 1992Диагностируйте режимы, прежде чем фиксировать параметры
  12. 1992Когда стопы меняют тайминг системы
  13. 1993Правила остановки walk-forward для прогнозных моделей
  14. 1994Walk-forward оценка генетических правил индекса
  15. 1995Прунинг входов как walk-forward оценка системы
  16. 1995Критика нейросетей как неполных торговых систем
  17. 1996Пересоберите коэффициент пути эквити до того, как он ранжирует сконструированную систему
  18. 1996Сетки параметров можно подогнать под случайные блуждания
  19. 1996Walk-forward анализ входит в проектирование механической торговой системы
  20. 1997Когда holdout не проходит, отбросьте набор правил
  21. 1997Тестируйте вознаграждаемые нарушения правил, прежде чем заменять систему
  22. 1997Правила walk-forward не дают исследованию системы переписывать живые сделки
  23. 1999Сведите пробой канала к двум lookback и проверьте устойчивость соседей
  24. 1999Постоянный размер инвестиции при оценке системы на акциях
  25. 2000Форсирующая оптимизация очерчивает границы отказа механической системы
  26. 2000Робастный выбор параметров с помощью карт поверхности
  27. 2001Учебный тест с двумя шлюзами для двух-оконного трендового фильтра моментума
  28. 2002Как двусторонний фактор продолжения становится проверяемым трендовым правилом
  29. 2002Оценка двухоконной интенсивности тренда как правила разворота
  30. 2003Дисконтирование спекулятивных пузырей в тестах робастности системы
  31. 2003Walk-forward оценка зафиксированных правил стохастического осциллятора
  32. 2003Критика проектирования механических систем после экстремальных ценовых режимов
  33. 2004Оценка трендового триггера на двух окнах
  34. 2005Оценивайте бэктестированные сигналы по holdout и плато оптимизации
  35. 2006Оценка дизайна торговой системы на резервной выборке
  36. 2006Walk-forward критика ретроспективных систем на пересечениях
  37. 2008Оценка механических систем методом walk-forward с сопоставлением состояния
  38. 2011Оценка систем основной сессии и overnight с разделением сессий
  39. 2012Walk-forward оценка как репетиция оператора
  40. 2013Двухоконная оценка механических торговых систем
  41. 2013Walk-forward отбор фильтра для repeated-median velocity
  42. 2014Walk-forward оценка систем fading-memory velocity
  43. 2015Проверяйте события осциллятора до настройки правил
  44. 2016Walk-forward оценка пятипараметрового parabolic stop-and-reversal
  45. 2016Walk-forward оптимизация без подгонки под кривую
  46. 2017Оптимизация без переобучения при оценке трендовых систем
  47. 2017Стабильность параметров — лучший ориентир, чем более крупная сетка кроссоверов
  48. 2018Вселенные point-in-time для оценки систем
  49. 2018Оценка робастности оптимизированных систем методом walk-forward
  50. 2018Критика breakout-систем через тесты на робастность
  51. 2018Критика подгонки параметров при проектировании системы
Все 58 разборов с записью «Robustness testing»
Тоже про «Robustness testing»5 разборов