Skill score против coin-flip эталона прогноза

Серия верных сигналов — это не навык

Исходы, которые выглядят успешными, всё равно могут возникать из процессов, где господствует случайность. Серия верных сигналов сама по себе не выявляет навык.

Ведите журнал парных решений

Сравнительный no-skill сигнал можно получить, подбросив монету и назначив одну сторону продаже, а другую — покупке. Этот coin-flip no-skill эталон — случайный сигнал покупки или продажи того же периода, оцениваемый тем же правилом корректности, что и прогноз.

Каждый прогноз следует фиксировать рядом с одновременным no-skill сигналом и позже отмечать как верный или неверный по одному заранее выбранному правилу оценки, применяемому к обоим. Журнал парных решений хранит каждый прогноз, его одновременный coin-flip сигнал и позднейший исход корректности обоих.

Правило корректности — заранее объявленный тест того, был ли сигнал покупки или продажи верным. Применяйте то же правило и к прогнозу, и к эталону.

Как формируется skill score

Skill score вычитает число верных no-skill сигналов и из числа верных прогнозных сигналов, и из общего числа прогнозных сигналов, а затем берёт отношение этих двух разностей.

Skill score, равный нулю или ниже, означает, что прогнозы не добавили навыка сверх удачи. Положительный skill score означает, что некоторый навык присутствовал, тогда как величина оценки — лишь грубая мера того, насколько большой.

Редакторское прочтение

Редакторское прочтение: рассматривайте каждый журнал прогнозов как задачу оценки. Сопоставляйте каждый сигнал с coin-flip эталоном того же периода и вычисляйте skill score, прежде чем hit rate ошибочно примут за навык. Это интерпретация TradersWeek рабочего процесса архива, а не утверждение, сделанное архивом.