Правила остановки walk-forward для прогнозных моделей

Обучение против walk-forward recall

Обучение обновляет внутренние веса, а walk-forward recall подаёт невиданные входы и выдаёт выходы при замороженных весах. Двум режимам нужны взаимно исключающие обучающие и тестовые факты.

Как разделяют факты

Разбиение 80/20, которое изымает каждый пятый хронологический факт, может поместить все пятничные наблюдения в тестовую подвыборку и только наблюдения с понедельника по четверг — в обучающую подвыборку. Факты следует перемешивать до разреза и ещё раз после него.

После основного разбиения третья взаимно исключающая подвыборка может содержать факты, признанные наиболее важными для оценки качества. Этот зарезервированный сравнительный набор используется для сравнения конкурирующих обученных сетей.

Обучающая и тестовая подвыборки должны сохранять схожие распределения характеристик, которые считаются значимыми и выявлены статистическим разбором или кластеризацией. Редко представленные выбросы можно исключить до обучения и оценки.

Шаги по поверхности ошибок

Если все начальные веса одинаковы, а отображение требует неравных весов, обучение может застопориться, потому что обновления ошибки масштабируются текущими весами. Вместо этого используют малые случайные начальные веса.

На поверхности ошибок завышенная скорость обучения может отскакивать с одной стороны долины на другую, а заниженная скорость задерживает спуск. Поиск использует наибольшую скорость обучения, которая не осциллирует, а моментный член может позволить взять большую скорость без лишней осцилляции.

Имитация отжига использует расписание, связанное с температурой. Она начинается с больших шагов, чтобы поиск мог быстро двигаться по поверхности ошибок, затем уменьшает размер шага, чтобы поздние обновления реже осциллировали, оседая вблизи минимума.

Останавливайтесь, когда тестовая ошибка растёт

Переобучение рассматривается как отказ робастности, при котором модель запоминает особенности обучающего набора и теряет обобщение на невиданных фактах. Обучение приостанавливают через заданные интервалы, замороженную сеть оценивают на тестовой подвыборке, а промежуточные конфигурации, которые удовлетворяют правилам ошибки, сохраняют. Рост тестовой ошибки — сигнал остановиться, а не продолжать подгонять обучающую подвыборку.

Оценка должна соответствовать намеченному выходу. Меры среднего расстояния до цели подходят для прогноза максимума следующей сессии. Направленное согласие или согласие по форме подходит для движения. Критерии на уровне процедуры подходят модели, которая выдаёт торговые сигналы, а не уровни цены.