Skip to main content
Дорожка Robustness testing
35 / 51
Поиск по архивуБиблиотека
Библиотека

2006выпуск C021-3

Оценка дизайна торговой системы на резервной выборке

Готовый результат бэктеста не считается достаточной оценкой торговой системы. Неиспользованная история расходуется в заявленном порядке, чтобы system-optimization, robustness-testing и walk-forward анализ можно было судить как одну процедуру, а непросмотренные данные откладываются, чтобы зафиксированные правила нельзя было переписывать после того, как каждый оставшийся исход уже увидели.

  • Готовый результат бэктеста не считается достаточной оценкой торговой системы; судить нужно процедуру, которой этот результат получен.
  • Концепция, исходные правила и степени свободы фиксируются письменно сначала, и позднее в проекте можно менять только эти заявленные степени свободы.
  • System-optimization и robustness-testing расходуют только тестовую выборку; walk-forward анализ затем применяет зафиксированные степени свободы к неиспользованным резервным данным.
  • После повторных циклов refine-test-walk-forward непросмотренные данные остаются последней резервной выборкой, чтобы знание задним числом оставалось вне финального решения «оставить или отказаться».
Записи этого разбора3 записи
Текущая дорожкаRobustness testing58 разборовSystem optimization85 разборовWalk-forward analysis95 разборов

Судить нужно именно процедуру

Готовый результат бэктеста не считается достаточной оценкой торговой системы. Судить нужно процедуру, которой этот результат получен.

Концепция, исходные правила и степени свободы фиксируются письменно сначала. Степени свободы — это входы правил, которые разработчику разрешено менять в ходе проекта; всё незаявленное остаётся фиксированным. Позднее в проекте можно менять только эти заявленные степени свободы.

Заявленное разбиение исторического пула

Одно заявленное разбиение исторического пула — 5% данных сборки, 40% тестовых данных, 40% walk-forward данных и 15% непросмотренных данных, причём один символ предпочтительно назначать как минимум на три из этих ролей.

Данные сборки используются только для того, чтобы подтвердить, что закодированные заявки соответствуют задуманным правилам, до начала system-optimization. System-optimization — это поиск по заявленным степеням свободы на тестовой выборке, чтобы выбрать входы правил до любой более поздней оценки на резервных данных.

Выберите робастный набор на тестовой выборке

System-optimization на тестовой выборке выбирает робастный набор степеней свободы. Robustness-testing — это проверка, что приемлемые входы правил появляются в полосе соседних настроек, а не в одной настроенной точке. Широкая полоса приемлемых настроек считается более информативной, чем одна настроенная комбинация.

Walk-forward анализ на неиспользованных данных

После того как бэктест на тестовой выборке признан достаточно приемлемым, чтобы продолжить оценку, walk-forward анализ применяет эти зафиксированные степени свободы к неиспользованным walk-forward данным. Walk-forward анализ — это оценка с зафиксированными параметрами на резервных данных, которая спрашивает, дают ли те же правила входа, выхода и воздержания приемлемый сигнал после того, как оптимизация уже закончена. Если резервный результат неприемлем, проект возвращается к доработке.

Когда резервные выборки становятся загрязнёнными

После пяти циклов refine-test-walk-forward walk-forward выборка считается загрязнённой знанием задним числом и больше не принимается как независимая оценка. Data-contamination — это потеря независимости, которая возникает, когда резервные данные повторно используют после того, как их исходы уже увидели.

Непросмотренные данные — последняя резервная выборка, отложенная так, чтобы повторные walk-forward испытания не израсходовали каждое неиспользованное наблюдение. Непросмотренные данные работают как вторая резервная walk-forward выборка, чтобы более ранние циклы не расходовали последнюю неиспользованную историю. Отрицательный результат там завершает проект, потому что оставшиеся наблюдения тогда считаются испорченными.

Отклонение — ожидаемый исход на резервных данных

Ожидается, что процесс разработки отклонит большинство закодированных систем на этапах резервных данных. Удержать знание задним числом вне финального решения «оставить или отказаться» считается важнее, чем получить проходной результат в каждом проекте.

Не является инвестиционной рекомендацией. Исторический материал не подтверждает актуальную результативность метода.
35 из 51 в дорожке «Robustness testing»
20061-5 с.Дальше про «Robustness testing»Walk-forward критика ретроспективных систем на пересеченияхТипичная ошибка проектирования — сертифицировать правила входа и выхода после того, как эти правила были выбраны ретроспективно на том же историческом ряде, который затем трактуют как доказательство.
Все разборы дорожки · 51 разбор
  1. 1986Степени свободы в оптимизации торговой системы
  2. 1988Walk-forward и тесты окрестности после оптимизации
  3. 1988Нераскрытые правила блокируют тесты робастности системы
  4. 1988Тестирование календарей реоптимизации против контроля со случайными параметрами
  5. 1989Ограничения бинарного поиска на сетках средних с несколькими пиками
  6. 1989Окрестности параметров, которые выдерживают сдвиг
  7. 1990Используйте картирование прибыли, чтобы сохранить плато цикла и стопа
  8. 1990Почему оптимизация популярных индикаторов не проходит проверку на робастность
  9. 1991Повторная проверка взвешенных балансов индикаторов на разных горизонтах
  10. 1992Построение прогнозных моделей с регрессией, walk-forward и робастностью
  11. 1992Диагностируйте режимы, прежде чем фиксировать параметры
  12. 1992Когда стопы меняют тайминг системы
  13. 1993Правила остановки walk-forward для прогнозных моделей
  14. 1994Walk-forward оценка генетических правил индекса
  15. 1995Прунинг входов как walk-forward оценка системы
  16. 1995Критика нейросетей как неполных торговых систем
  17. 1996Пересоберите коэффициент пути эквити до того, как он ранжирует сконструированную систему
  18. 1996Сетки параметров можно подогнать под случайные блуждания
  19. 1996Walk-forward анализ входит в проектирование механической торговой системы
  20. 1997Когда holdout не проходит, отбросьте набор правил
  21. 1997Тестируйте вознаграждаемые нарушения правил, прежде чем заменять систему
  22. 1997Правила walk-forward не дают исследованию системы переписывать живые сделки
  23. 1999Сведите пробой канала к двум lookback и проверьте устойчивость соседей
  24. 1999Постоянный размер инвестиции при оценке системы на акциях
  25. 2000Форсирующая оптимизация очерчивает границы отказа механической системы
  26. 2000Робастный выбор параметров с помощью карт поверхности
  27. 2001Учебный тест с двумя шлюзами для двух-оконного трендового фильтра моментума
  28. 2002Как двусторонний фактор продолжения становится проверяемым трендовым правилом
  29. 2002Оценка двухоконной интенсивности тренда как правила разворота
  30. 2003Дисконтирование спекулятивных пузырей в тестах робастности системы
  31. 2003Walk-forward оценка зафиксированных правил стохастического осциллятора
  32. 2003Критика проектирования механических систем после экстремальных ценовых режимов
  33. 2004Оценка трендового триггера на двух окнах
  34. 2005Оценивайте бэктестированные сигналы по holdout и плато оптимизации
  35. 2006Оценка дизайна торговой системы на резервной выборке
  36. 2006Walk-forward критика ретроспективных систем на пересечениях
  37. 2008Оценка механических систем методом walk-forward с сопоставлением состояния
  38. 2011Оценка систем основной сессии и overnight с разделением сессий
  39. 2012Walk-forward оценка как репетиция оператора
  40. 2013Двухоконная оценка механических торговых систем
  41. 2013Walk-forward отбор фильтра для repeated-median velocity
  42. 2014Walk-forward оценка систем fading-memory velocity
  43. 2015Проверяйте события осциллятора до настройки правил
  44. 2016Walk-forward оценка пятипараметрового parabolic stop-and-reversal
  45. 2016Walk-forward оптимизация без подгонки под кривую
  46. 2017Оптимизация без переобучения при оценке трендовых систем
  47. 2017Стабильность параметров — лучший ориентир, чем более крупная сетка кроссоверов
  48. 2018Вселенные point-in-time для оценки систем
  49. 2018Оценка робастности оптимизированных систем методом walk-forward
  50. 2018Критика breakout-систем через тесты на робастность
  51. 2018Критика подгонки параметров при проектировании системы
По областиПроектирование систем117 разборовПо году200683 разбора
Все 58 разборов с записью «Robustness testing»
Тоже про «Robustness testing»5 разборов
1986Степени свободы в оптимизации торговой системы1988Тестирование календарей реоптимизации против контроля со случайными параметрами1988Walk-forward и тесты окрестности после оптимизации1992Диагностируйте режимы, прежде чем фиксировать параметры1993Правила остановки walk-forward для прогнозных моделей