Сетки параметров можно подогнать под случайные блуждания

Что сообщает внутривыборочная таблица результатов

Дешёвые исторические данные и настольные инструменты поиска сделали обычным делом перебирать каждый вход правила по большой сетке и затем оставлять единственный внутривыборочный набор, который выглядел лучше всех. Этот рабочий процесс — системная оптимизация: перебор каждого входа правила по историческому окну и сохранение единственного набора, который максимизирует выбранный внутривыборочный показатель.

Такой поиск показывает только тесную подгонку к одному заранее выбранному окну. Он не показывает, что правила уловили устойчивую динамику цены.

Отшлифованный журнал на случайной ценовой траектории

В демонстрации использовалось правило порога относительной силы, входами которого были длина, зона покупки и зона продажи. Поиск перебрал эти входы и пропустил случаи, где зона покупки превышала зону продажи. Он оставил одну комбинацию как набор, который максимизировал выбранные внутривыборочные показатели на подогнанной выборке.

Тестируемая траектория была искусственной случайной ценовой траекторией, изготовленным рядом без восстанавливаемой рыночной структуры. Каждая следующая котировка была предыдущей котировкой, скорректированной на случайный процент внутри границы, продолженный на длинной серии котировок, и в тесте показан только более поздний срез дат.

У случайного ряда нет повторяемой истории, которую можно восстановить, поэтому привлекательная подогнанная таблица результатов на этом ряде не доказывает, что те же правила имеют ценность позже. Результат — подгонка: набор правил заставляют так точно совпасть с одним фиксированным окном, что журнал описывает подгонку, а не повторяемый процесс.

Зафиксируйте охоту до оценки невиданных котировок

Базовый шаг проверки робастности — walk-forward-анализ: зафиксировать выбранные правила и оценить ту же логику входа, выхода и воздержания на зарезервированном окне, которое никогда не входило в поиск. Этот зарезервированный срез — holdout-окно: ценовые данные, удержанные от охоты за параметрами, чтобы зафиксированные правила можно было один раз проверить на невиданных котировках.

Проверка робастности выясняет, ведёт ли себя подогнанная процедура так же, когда траектория, окно или предполагаемое поведение участников больше не те, под которые её настраивали. Чистый holdout всё ещё не гарантирует последующее поведение, потому что будущая динамика может отличаться, а зарезервированное окно может случайно походить на подогнанное окно.

Гипотетические внутривыборочные журналы не дают права предполагать последующую прибыль. Сохраняющуюся способность нужно проверять на невиданных данных, и даже прохождение лишь повышает вероятность.

Лестные эпизоды — та же ошибка

Выбор нескольких лестных эпизодов на графике — более узкая форма той же ошибки подгонки, потому что он скрывает остальные сигналы, которые выдали бы те же самые правила. Такой отбор — анекдотический отбор: показать только несколько лестных сигналов и спрятать остальные сделки, которые выдали бы те же правила.