Когда holdout не проходит, отбросьте набор правил

Система — это полная процедура

В опубликованном ответе торговая система представлена как полный набор правил и процедур, который можно проверить до того, как результаты реальной торговли дадут последний тест.

System-optimization — это поиск по входам правил при заданных ограничениях состояния рынка и исполнения, чтобы получить одну проверяемую процедуру на периоде удержания. Walk-forward-analysis оптимизирует эту полную сигнальную процедуру на одном окне, затем оценивает те же правила входа, выхода и воздержания на более позднем неиспользованном окне.

Проваленная неиспользованная выборка завершает формулировку

В опубликованном ответе сказано, что если набор правил и его подогнанные входы не проходят unused-sample тестирование, формулировку следует отбросить, а не подгонять до прохождения.

В другом письме описаны повторные изменения параметров после провала holdout, пока неиспользованная выборка тоже не станет приемлемой, что возвращает эту выборку обратно в оптимизацию. Эта практика — holdout-retuning: изменение параметров после проваленного unused-sample теста, пока эта неиспользованная выборка тоже не станет приемлемой.

Неравные правила покупки и продажи — ошибка спецификации

В письме оптимизация зон покупки и продажи по неравным диапазонам поиска рассматривалась как логическая ошибка в проектировании системы. В том же письме неравные lookback покупки и продажи приведены как пример перекошенной спецификации правил.

Asymmetrical-rules — конструкция, в которой условия покупки и условия продажи используют разные пороги, lookback или диапазоны поиска. Robustness-testing проверяет, сохраняется ли подогнанная процедура, когда меняются выборка, диапазоны поиска или спецификация покупки против продажи.

Успешный holdout не гарантирует последующих результатов

В ответе сказано, что успешный unused-sample тест всё равно не гарантирует последующих результатов, потому что случайность или неудачно выбранное holdout-окно могут дать прохождение.

В ответе подогнанные под кривую гипотетические иллюстрации отделены от утверждения, что тщательно применяемые процедуры оптимизации не могут работать.