Критика подгонки параметров при проектировании системы

Подгонка восстанавливает лучший набор задним числом

Архив описывает перебор всех комбинаций нескольких входных параметров правил как восстановление лучшего набора задним числом, а не как установление процедуры, которой можно доверять на невиданных данных.

Цветовые подсказки на покупку и продажу, которые нельзя независимо проверить, противопоставляются правилам входа, выхода и воздержания, которые трейдер может тестировать на исторических данных как одну процедуру.

Зафиксируйте правила, затем проверьте полосу входных параметров

Оптимизация считается полезной, когда параметры, выбранные на одном отрезке данных, затем применяются без изменений к более позднему неиспользованному отрезку. Walk-forward-analysis — это тот шаг: выбрать параметры на одном историческом отрезке, затем применить зафиксированную процедуру к более позднему неиспользованному отрезку, чтобы тот же сигнальный процесс оценивался после окончания данных подгонки.

Проверка полосы значений входных параметров, чтобы увидеть, сохраняется ли поведение по всей этой полосе, представлена как проверка робастности, отличная от удержания одной выигрышной настройки. Robustness-testing спрашивает, даёт ли та же процедура входа, выхода и воздержания согласованные сигналы в диапазоне параметров, а не только при одной выигрышной настройке.

Пусть путь капитала ограничивает последующие сигналы

Движок bar-by-bar, который прогоняет те же правила по каждому символу по мере продвижения истории, описывается как позволяющий живому пути капитала влиять на последующие решения, в отличие от тестов по отдельным символам, которые объединяются только задним числом.

Стоп-лоссы и правила, которые инспектируют кривую капитала, пока тест ещё разворачивается, перечисляются как способы удерживать контроль риска внутри той же процедуры, а не добавлять его после. Ограничение по кривой капитала инспектирует собственный открытый путь капитала процедуры, пока тест ещё идёт, и может менять последующие входы, выходы или воздержание.

Задайте правила самостоятельно

Толерантность к риску и предпочтительные рынки описываются как достаточно личные, чтобы самостоятельно заданный набор правил предпочитался принятию универсальной упакованной системы.

Простое, знакомое правило, например пересечение скользящих средних, рекомендуется как первая идея для кодирования, тестирования на рынке интереса трейдера и уточнения по этим результатам.

Разбор того, как набор правил вёл себя в прошлом, обосновывается утверждением, что психология участников относительно стабильна, поэтому схожие события могут вызывать схожие реакции, при этом признаётся, что так бывает не всегда.