Skip to main content
Дорожка Robustness testing
15 / 51
Поиск по архивуБиблиотека
Библиотека

1995выпуск C121-9

Прунинг входов как walk-forward оценка системы

Сокращение набора входов — главный рычаг оптимизации системы, когда избыточная ёмкость подгоняется под обучающее окно и не работает на невидимых данных. Каждый усечённый набор следует прогонять walk-forward и оставлять только если скрининги робастности по-прежнему сходятся на выживших.

  • Слишком много входов, скрытых узлов или весов связей могут подогнаться под обучающее окно и не сработать на невидимых данных, поэтому сокращение набора входов — главный рычаг оптимизации системы.
  • Walk-forward анализ должен оценивать каждый усечённый набор на невидимых наблюдениях и использовать holdout-выборки длиннее горизонта прогноза, потому что более поздние недели могут деградировать к случайности.
  • Тестирование робастности проверяет, сохраняются ли выжившие входы после преобразований коллинеарности, альтернативных скринингов удаления и более чем одного прогона обучения.
  • Линейная корреляция с целевой переменной — слабый прунинг, а линейный рейтинг по T-stat не взаимозаменяем с рейтингом по весам связей после того же отсечения 12-of-24.
Записи этого разбора3 записи
Текущая дорожкаRobustness testing58 разборовSystem optimization85 разборовWalk-forward analysis95 разборов

Сократите набор входов как одну процедуру

Слишком много входов, скрытых узлов или весов связей могут подогнаться под обучающее окно и дать ненадёжные прогнозы на невидимых данных. Сокращение набора входов — главный рычаг оптимизации системы.

Внутренний оптимум ёмкости

В сравнении один вход — один выход три скрытых узла обобщались на невидимых данных лучше, чем один узел или девять узлов. Сравнение указывает на внутренний оптимум ёмкости, а не на правило «больше — лучше».

Как протокол обучал и останавливал обучение

Протокол оценки обучал 24-входовую модель девятинедельного процентного изменения на 240 недельных записях и оценивал её на случайной 60-недельной holdout-выборке, взятой из 300 записей, не проверяя, что две выборки имеют сходные распределения.

Обучение проверяло среднеквадратичную ошибку на тестовой выборке каждые 100 событий обучения и останавливалось после 10,000 событий без нового минимума на тестовой выборке, затем использовало эту сеть с наименьшей ошибкой для последующих испытаний удаления.

Скрининги удаления и коллинеарные пары

Прунинг по линейной корреляции с целевой переменной — слабый системный скрининг, потому что нелинейная модель всё ещё может извлечь полезную информацию из входов, которые выглядят почти не связанными с выходом.

Рейтинг по весам связей, замена входа его средним и поиск leave-one-input-out — альтернативные циклы оптимизации: удалить кандидата, переобучить и продолжать, пока не останется один вход.

Когда пары входов сильно коррелированы, объединение пары предпочтительнее удаления одного члена. Оценка принимала абсолютную корреляцию выше 0.80 как порог для этого исправления робастности.

Скрининги, которые не согласуются

После того же отсечения 12-of-24 линейный рейтинг по T-stat и рейтинг по весам связей сохранили только семь общих входов, поэтому два скрининга не являются взаимозаменяемыми тестами робастности.

Более дешёвый составной цикл предлагается как практическая замена исчерпывающего систематического поиска: оставить сильнейшие веса, преобразовать коллинеарные пары, пакетно удалить слабые веса, затем провести анализ чувствительности.

Holdout-выборки, переобучение и торговая цель

Блоки walk-forward должны быть длиннее горизонта прогноза, потому что более поздние недели могут деградировать к случайности. Один прогон обучения перед каждым удалением может сделать путь поиска нестабильным. Наименьшая ошибка на тестовой выборке не обязательно ранжирует те же системы, что и торговая цель.

СКО на отложенной выборке после каждого правила отсечения входов

Каждое правило отсечения — отдельная торговая процедура: одни и те же 24 недельных преобразования, обученные прогнозировать девятинедельное процентное изменение наличного S&P 500 и оцениваемые на 60-недельной отложенной выборке, не оставляют одних и тех же выживших. Комплексная смесь даёт наименьшее СКО на тестовой выборке (0.000800) при 11 входах; корреляция — худшее СКО на отложенной выборке (0.001070), хотя по-прежнему сохраняет 16 входов. Ошибка обучения ниже у каждого правила, поэтому избыточная ёмкость может выглядеть приемлемо на обучающей выборке и провалиться на невидимых данных. Значения взяты из столбцов Testing minimum MSE и Training MSE сводной таблицы статьи.
Каждое правило отсечения — отдельная торговая процедура: одни и те же 24 недельных преобразования, обученные прогнозировать девятинедельное процентное изменение наличного S&P 500 и оцениваемые на 60-недельной отложенной выборке, не оставляют одних и тех же выживших. Комплексная смесь даёт наименьшее СКО на тестовой выборке (0.000800) при 11 входах; корреляция — худшее СКО на отложенной выборке (0.001070), хотя по-прежнему сохраняет 16 входов. Ошибка обучения ниже у каждого правила, поэтому избыточная ёмкость может выглядеть приемлемо на обучающей выборке и провалиться на невидимых данных. Значения взяты из столбцов Testing minimum MSE и Training MSE сводной таблицы статьи.S&P 500 cash · weekly

Каждому удалению предшествовал один прогон обучения. Систематическое тестирование остановили на 21 входе; автор сказал, что дополнительные испытания, скорее всего, ещё снизили бы ошибку. Правилом остановки была среднеквадратичная ошибка, а не торговая прибыль. В таблице указаны 16 корреляционных входов (в тексте говорится о 17) и тестовое СКО по T-статистике 0.001020 (в тексте приводится 0.00094).

Не является инвестиционной рекомендацией. Исторический материал не подтверждает актуальную результативность метода.
15 из 51 в дорожке «Robustness testing»
19951-5 с.Дальше про «Robustness testing»Критика нейросетей как неполных торговых системПробуйте много подходов к входам и моделированию, а не охотьтесь за одним привилегированным рецептом neural-network.
Все разборы дорожки · 51 разбор
  1. 1986Степени свободы в оптимизации торговой системы
  2. 1988Walk-forward и тесты окрестности после оптимизации
  3. 1988Нераскрытые правила блокируют тесты робастности системы
  4. 1988Тестирование календарей реоптимизации против контроля со случайными параметрами
  5. 1989Ограничения бинарного поиска на сетках средних с несколькими пиками
  6. 1989Окрестности параметров, которые выдерживают сдвиг
  7. 1990Используйте картирование прибыли, чтобы сохранить плато цикла и стопа
  8. 1990Почему оптимизация популярных индикаторов не проходит проверку на робастность
  9. 1991Повторная проверка взвешенных балансов индикаторов на разных горизонтах
  10. 1992Построение прогнозных моделей с регрессией, walk-forward и робастностью
  11. 1992Диагностируйте режимы, прежде чем фиксировать параметры
  12. 1992Когда стопы меняют тайминг системы
  13. 1993Правила остановки walk-forward для прогнозных моделей
  14. 1994Walk-forward оценка генетических правил индекса
  15. 1995Прунинг входов как walk-forward оценка системы
  16. 1995Критика нейросетей как неполных торговых систем
  17. 1996Пересоберите коэффициент пути эквити до того, как он ранжирует сконструированную систему
  18. 1996Сетки параметров можно подогнать под случайные блуждания
  19. 1996Walk-forward анализ входит в проектирование механической торговой системы
  20. 1997Когда holdout не проходит, отбросьте набор правил
  21. 1997Тестируйте вознаграждаемые нарушения правил, прежде чем заменять систему
  22. 1997Правила walk-forward не дают исследованию системы переписывать живые сделки
  23. 1999Сведите пробой канала к двум lookback и проверьте устойчивость соседей
  24. 1999Постоянный размер инвестиции при оценке системы на акциях
  25. 2000Форсирующая оптимизация очерчивает границы отказа механической системы
  26. 2000Робастный выбор параметров с помощью карт поверхности
  27. 2001Учебный тест с двумя шлюзами для двух-оконного трендового фильтра моментума
  28. 2002Как двусторонний фактор продолжения становится проверяемым трендовым правилом
  29. 2002Оценка двухоконной интенсивности тренда как правила разворота
  30. 2003Дисконтирование спекулятивных пузырей в тестах робастности системы
  31. 2003Walk-forward оценка зафиксированных правил стохастического осциллятора
  32. 2003Критика проектирования механических систем после экстремальных ценовых режимов
  33. 2004Оценка трендового триггера на двух окнах
  34. 2005Оценивайте бэктестированные сигналы по holdout и плато оптимизации
  35. 2006Оценка дизайна торговой системы на резервной выборке
  36. 2006Walk-forward критика ретроспективных систем на пересечениях
  37. 2008Оценка механических систем методом walk-forward с сопоставлением состояния
  38. 2011Оценка систем основной сессии и overnight с разделением сессий
  39. 2012Walk-forward оценка как репетиция оператора
  40. 2013Двухоконная оценка механических торговых систем
  41. 2013Walk-forward отбор фильтра для repeated-median velocity
  42. 2014Walk-forward оценка систем fading-memory velocity
  43. 2015Проверяйте события осциллятора до настройки правил
  44. 2016Walk-forward оценка пятипараметрового parabolic stop-and-reversal
  45. 2016Walk-forward оптимизация без подгонки под кривую
  46. 2017Оптимизация без переобучения при оценке трендовых систем
  47. 2017Стабильность параметров — лучший ориентир, чем более крупная сетка кроссоверов
  48. 2018Вселенные point-in-time для оценки систем
  49. 2018Оценка робастности оптимизированных систем методом walk-forward
  50. 2018Критика breakout-систем через тесты на робастность
  51. 2018Критика подгонки параметров при проектировании системы
По областиВременные ряды и прогнозирование51 разборПо году199575 разборов
Все 58 разборов с записью «Robustness testing»
Тоже про «Robustness testing»5 разборов
1986Степени свободы в оптимизации торговой системы1988Тестирование календарей реоптимизации против контроля со случайными параметрами1988Walk-forward и тесты окрестности после оптимизации1992Диагностируйте режимы, прежде чем фиксировать параметры1993Правила остановки walk-forward для прогнозных моделей