Разработка системы (4)
Теперь, когда у нас есть первый "черновой" вариант системы, показывающей доходность, перед нами стоит задача модернизации ее и тестирования.
Цель - МТС, как готовый к использованию, рабочий инструмент.
1. Тотальное тестирование 1-го варианта системы.
Берем все рынки и 10 лет истории и просчитываем нашу систему. Если система работоспособна, то она должна показывать прибыльность на подавляющем большинстве рынков и, по крайней мере, на 3-4-х из них доход должен быть устойчивым. При этом величины не имеют существенного значения. Главное - принципиальная доходность системы. Если эти условия выполняются, то можно поздравить себя - у нас прибыльная торговая система. При этом на 2-3-х рынках, скорее всего, мы получим устойчивую убыточность. Это нормально. Все рынки разные, и система не может быть пригодна для всех. Скажем, очень специфичны рынки нефтепродуктов и металлов, некоторые другие…
2. Далее тестируемый период нужно разбить на три интервала, не обязательно равных. Например, 4-4-2 или 5-3-2. На первом интервале мы модернизируем систему, на втором - тестируем, и последний третий покажет нам, что мы получили бы при ее реальном применении в прошлом. Его мы не затрагиваем до самого последнего момента.
3. Модернизация системы тоже состоит из нескольких этапов.
3.1. Вначале нужно выписать критерии, по которым оценивается система. Ясно, что это не может быть один критерий, например, доходность. Иначе мы можем получить недопустимую просадку. Обычно, если мы управляем активами клиентов, то опыт показывает, что для них очень важным является небольшая просадка. Скажем, американские инвесторы во фьючерсные фонды уже знают, что там проседания иногда достигают и 40%, и 50-ти, и они обычно готовы терпеть, зная что это окупается высокой доходностью. Но, как правило, максимально терпимое проседание находится для большинства в районе 20-30%%. Кроме того, важна устойчивая доходность, т.е. прибыльным должен быть каждый год, а то и полгода. В реальности это редко достигается, даже самые надежные фонды иногда имеют убыточные годы. И это неизбежность. То есть, по меньшей мере, у нас должно быть три критерия: доходность, максимальное проседание, и устойчивость доходности (обычно оцениваемое по отношению Шарпа), которые нужно отслеживать всегда.
3.2. На втором этапе нужно проанализировать влияние параметров системы на эти критерии. Тут важно не увлечься соблазном оптимизации. Нужно выписать значения критериев по каждому рынку на первых двух периодах. Затем исследовать влияние каждого параметра на критерии на первом периоде с целью найти набор параметров, во-первых, улучшающий все критерии по всем рынкам или, по крайней мере, по большинству из них, и, во-вторых, достаточно устойчивый к изменениям значений. Если этого достичь удалось, тогда мы делаем проверку на втором периоде, и в случае положительного рез-та фиксируем эти параметры и больше к ним не возвращаемся. Если на втором периоде рез-ты получаются хуже, чем при первоначальных параметрах, то возвращаемся к первому периоду и пересматриваем наш анализ. Может увеличением какого-то критерия можно пожертвовать, если он ухудшается незначительно. Может, какой-то параметр не трогать. Может где-то оказалась зона неустойчивости. Или еще что-то. В общем, это кропотливый исследовательский процесс, в рез-те которого параметры должны быть выбраны так, чтобы на обоих периодах показатели улучшались или, по меньшей мере, какие-то ухудшались незначительно, что компенсируется гораздо более существенным улучшением других.
3.3. На третьем этапе следует внимательно просмотреть все торги на всех рынках на первом периоде (или хотя бы те отрезки и рынки, на которых показываются существенные убытки). При этом мы должны выяснить, там ли происходят входы-выходы, где нами задумывалось или это такие состояния рынка, что наша система показывает в них убытки. Обычно, сразу видны те торги, где входы-выходы происходят не так, как мы планировали и ожидали. Можно и, наверное, лучше сразу приступить к анализу, почему торги происходят не так. В чем особенности поведения рынка, что наша система на них не реагирует или реагирует неправильно. Мы должны найти решение, как модернизировать систему, чтобы она учитывала эти ситуации. Как правило, приходит не одна идея, все их следует выписать и поочередно проверить, при этом следя, как за изменением входов-выходов на графике, так и за значениями критериев. В ходе такой работы, обычно, поведение системы и ее показатели существенно улучшаются. Иногда, в разы. При этом, все равно остаются некоторые торги, которые происходят не так, однако, главное, чтобы они не были многочисленны и систематичны, а все многообразие поведения рынка все равно не учтешь, тем более, что в будущем оно будет еще неизвестно каким. Важно, чтобы учитывались все систематически повторяющиеся формации. Кроме того, показатели системы должны быть достаточно хорошими, как минимум, в полтора-два раза превышающими те значения, которые удовлетворят нас в реальной торговле.
4. На 4-м этапе, когда у нас есть уже готовая система с супер-показателями, мы проверяем ее на нашем, не затрагиваемом раньше, контрольном периоде из последних 2-х - 3-х лет. Это, можно сказать, наш момент истины. Очень важно, чтобы мы не затрагивали его вообще при построении и модернизации системы. Очень часто, к сожалению, бывает, что человек использует все данные вплоть до самого последнего месяца, если не дня. Проверить, как хотя бы теоретически будет вести себя система невозможно. Естественно, доверия к ней должно быть мало. Однако, начинается реальная торговля, еще и без хоть малого периода paper trading и система рушится. Хотя, конечно, с опытом можно сказать о работоспособности системы по тому, как она строилась. Если результаты на контрольном периоде нас удовлетворяют, точнее, более чем удовлетворяют, то переходим к следующему этапу. Если не удовлетворяют, то следует выяснить причину, внимательно посмотреть на наши торги и на поведение рынка, а также посмотреть на показатели работы других трейдеров. Если индекс доходности трейдеров не изменился, а наша система показывает входы-выходы не там, где мы планировали, значит вольно или невольно мы подстроили её под прошлые данные. Если же наши входы происходят там, где им положено, но не приносят прибыли, значит либо рынок именно в этот период был плох, либо изменился. При этом, обычно, и индекс доходности других трейдеров также существенно ниже, чем в прошлом. Такая ситуация достаточно неприятна в том смысле, что непонятно, то ли это временное поведение рынка, то ли он изменился настолько существенно, что наша система стала непригодна для практического использования. Ответить на этот вопрос с однозначной уверенностью невозможно. В таком случае следует достаточно прилично поторговать на бумаге и одновременно анализировать этот период, но не с той целью, чтобы реконструировать имеющуюся систему, чтобы она на этом периоде показывала хорошие рез-ты. Это приведет к тому, что мы подстроим её под этот период и в реальной торговле начнем терпеть убытки. Напротив, следует искать новые подходы, т.е. создавать новую систему.
5. Если же все в порядке, то на последнем, завершающем этапе мы проводим торговлю в реальном времени на бумаге. Торгуем строго по системе. Если не получается по нашей вине, то учимся, пока не получится, если же система оказывается неудобной в реальном использовании, то следует скорректировать ее так, чтобы была удобной и комфортной для нас. Если 2-3 месяца мы строго следовали системе и чувствовали себя вполне с ней комфортно, то тогда можно начинать торговать реально. При этом не следует придавать значения результатам, за такой период они могут быть любыми, если только не выходят за рамки той кривой баланса, которая у нас была в прошлом.
6. Теперь еще в самом конце мы производим расчет нашей системы на тех рынках, которые вовсе не были задействованы в предыдущей работе и выбираем из них те, на которых наша система не показывает систематического убытка. А те рынки из имеющегося набора, на которых она, напротив, такой убыток показывает, из портфеля исключаем.
Цель - МТС, как готовый к использованию, рабочий инструмент.
1. Тотальное тестирование 1-го варианта системы.
Берем все рынки и 10 лет истории и просчитываем нашу систему. Если система работоспособна, то она должна показывать прибыльность на подавляющем большинстве рынков и, по крайней мере, на 3-4-х из них доход должен быть устойчивым. При этом величины не имеют существенного значения. Главное - принципиальная доходность системы. Если эти условия выполняются, то можно поздравить себя - у нас прибыльная торговая система. При этом на 2-3-х рынках, скорее всего, мы получим устойчивую убыточность. Это нормально. Все рынки разные, и система не может быть пригодна для всех. Скажем, очень специфичны рынки нефтепродуктов и металлов, некоторые другие…
2. Далее тестируемый период нужно разбить на три интервала, не обязательно равных. Например, 4-4-2 или 5-3-2. На первом интервале мы модернизируем систему, на втором - тестируем, и последний третий покажет нам, что мы получили бы при ее реальном применении в прошлом. Его мы не затрагиваем до самого последнего момента.
3. Модернизация системы тоже состоит из нескольких этапов.
3.1. Вначале нужно выписать критерии, по которым оценивается система. Ясно, что это не может быть один критерий, например, доходность. Иначе мы можем получить недопустимую просадку. Обычно, если мы управляем активами клиентов, то опыт показывает, что для них очень важным является небольшая просадка. Скажем, американские инвесторы во фьючерсные фонды уже знают, что там проседания иногда достигают и 40%, и 50-ти, и они обычно готовы терпеть, зная что это окупается высокой доходностью. Но, как правило, максимально терпимое проседание находится для большинства в районе 20-30%%. Кроме того, важна устойчивая доходность, т.е. прибыльным должен быть каждый год, а то и полгода. В реальности это редко достигается, даже самые надежные фонды иногда имеют убыточные годы. И это неизбежность. То есть, по меньшей мере, у нас должно быть три критерия: доходность, максимальное проседание, и устойчивость доходности (обычно оцениваемое по отношению Шарпа), которые нужно отслеживать всегда.
3.2. На втором этапе нужно проанализировать влияние параметров системы на эти критерии. Тут важно не увлечься соблазном оптимизации. Нужно выписать значения критериев по каждому рынку на первых двух периодах. Затем исследовать влияние каждого параметра на критерии на первом периоде с целью найти набор параметров, во-первых, улучшающий все критерии по всем рынкам или, по крайней мере, по большинству из них, и, во-вторых, достаточно устойчивый к изменениям значений. Если этого достичь удалось, тогда мы делаем проверку на втором периоде, и в случае положительного рез-та фиксируем эти параметры и больше к ним не возвращаемся. Если на втором периоде рез-ты получаются хуже, чем при первоначальных параметрах, то возвращаемся к первому периоду и пересматриваем наш анализ. Может увеличением какого-то критерия можно пожертвовать, если он ухудшается незначительно. Может, какой-то параметр не трогать. Может где-то оказалась зона неустойчивости. Или еще что-то. В общем, это кропотливый исследовательский процесс, в рез-те которого параметры должны быть выбраны так, чтобы на обоих периодах показатели улучшались или, по меньшей мере, какие-то ухудшались незначительно, что компенсируется гораздо более существенным улучшением других.
3.3. На третьем этапе следует внимательно просмотреть все торги на всех рынках на первом периоде (или хотя бы те отрезки и рынки, на которых показываются существенные убытки). При этом мы должны выяснить, там ли происходят входы-выходы, где нами задумывалось или это такие состояния рынка, что наша система показывает в них убытки. Обычно, сразу видны те торги, где входы-выходы происходят не так, как мы планировали и ожидали. Можно и, наверное, лучше сразу приступить к анализу, почему торги происходят не так. В чем особенности поведения рынка, что наша система на них не реагирует или реагирует неправильно. Мы должны найти решение, как модернизировать систему, чтобы она учитывала эти ситуации. Как правило, приходит не одна идея, все их следует выписать и поочередно проверить, при этом следя, как за изменением входов-выходов на графике, так и за значениями критериев. В ходе такой работы, обычно, поведение системы и ее показатели существенно улучшаются. Иногда, в разы. При этом, все равно остаются некоторые торги, которые происходят не так, однако, главное, чтобы они не были многочисленны и систематичны, а все многообразие поведения рынка все равно не учтешь, тем более, что в будущем оно будет еще неизвестно каким. Важно, чтобы учитывались все систематически повторяющиеся формации. Кроме того, показатели системы должны быть достаточно хорошими, как минимум, в полтора-два раза превышающими те значения, которые удовлетворят нас в реальной торговле.
4. На 4-м этапе, когда у нас есть уже готовая система с супер-показателями, мы проверяем ее на нашем, не затрагиваемом раньше, контрольном периоде из последних 2-х - 3-х лет. Это, можно сказать, наш момент истины. Очень важно, чтобы мы не затрагивали его вообще при построении и модернизации системы. Очень часто, к сожалению, бывает, что человек использует все данные вплоть до самого последнего месяца, если не дня. Проверить, как хотя бы теоретически будет вести себя система невозможно. Естественно, доверия к ней должно быть мало. Однако, начинается реальная торговля, еще и без хоть малого периода paper trading и система рушится. Хотя, конечно, с опытом можно сказать о работоспособности системы по тому, как она строилась. Если результаты на контрольном периоде нас удовлетворяют, точнее, более чем удовлетворяют, то переходим к следующему этапу. Если не удовлетворяют, то следует выяснить причину, внимательно посмотреть на наши торги и на поведение рынка, а также посмотреть на показатели работы других трейдеров. Если индекс доходности трейдеров не изменился, а наша система показывает входы-выходы не там, где мы планировали, значит вольно или невольно мы подстроили её под прошлые данные. Если же наши входы происходят там, где им положено, но не приносят прибыли, значит либо рынок именно в этот период был плох, либо изменился. При этом, обычно, и индекс доходности других трейдеров также существенно ниже, чем в прошлом. Такая ситуация достаточно неприятна в том смысле, что непонятно, то ли это временное поведение рынка, то ли он изменился настолько существенно, что наша система стала непригодна для практического использования. Ответить на этот вопрос с однозначной уверенностью невозможно. В таком случае следует достаточно прилично поторговать на бумаге и одновременно анализировать этот период, но не с той целью, чтобы реконструировать имеющуюся систему, чтобы она на этом периоде показывала хорошие рез-ты. Это приведет к тому, что мы подстроим её под этот период и в реальной торговле начнем терпеть убытки. Напротив, следует искать новые подходы, т.е. создавать новую систему.
5. Если же все в порядке, то на последнем, завершающем этапе мы проводим торговлю в реальном времени на бумаге. Торгуем строго по системе. Если не получается по нашей вине, то учимся, пока не получится, если же система оказывается неудобной в реальном использовании, то следует скорректировать ее так, чтобы была удобной и комфортной для нас. Если 2-3 месяца мы строго следовали системе и чувствовали себя вполне с ней комфортно, то тогда можно начинать торговать реально. При этом не следует придавать значения результатам, за такой период они могут быть любыми, если только не выходят за рамки той кривой баланса, которая у нас была в прошлом.
6. Теперь еще в самом конце мы производим расчет нашей системы на тех рынках, которые вовсе не были задействованы в предыдущей работе и выбираем из них те, на которых наша система не показывает систематического убытка. А те рынки из имеющегося набора, на которых она, напротив, такой убыток показывает, из портфеля исключаем.