Intro to Statistics, Part 1

[hroniki_paisano]

У меня есть одно иррациональное убеждение, даже два, и печальный жизненный опыт никак не может заставить меня от них отказаться. Первое убеждение состоит в том, что практически всё на свете можно объяснить любому заинтересованному слушателю: несколько упростив, показав на пальцах, поотвечав на вопросы и дополнительно растолковав. Я не люблю думать

Comments

[hroniki_paisano]

в каком-то смысле да - но все эти изменения моделируются тем же самым способом и так же тестируются на 5%ном уровне значимости.

например, самая простая мера того, что стратегия растет на растущем рынке и падает на падающем называется бета, это просто коэффициент наклона из регрессии доходности (return) стратегии на доходность рынка. если бета=2, то стратегия и растет, и падает в два раза быстрее рынка, если бета=0.5 - то и растет, и падает в два раза медленнее. в общем, оценил бету и тестируешь ее на равенство нулю, единице, чему угодно.

если вы хотите асимметрично, как у вас написано, то можно ввести в регрессию, в добавление к доходности рынка, его произведение, скажем, с индикатором рецессии (1 если спад, 0 если подъем). тогда у вас будет регрессия Return(X)=a+2*Return(MKT)+8*Indicator*Return(MKT). опять же, можно тестировать, положителен ли коэффициент произведения, больше ли он 5 и т.п.

принципиально это проблему, конечно, не решает - вы всегда можете сказать "а что если следующая рецессия будет особенная, и всегда коэффициент произведения был 8, а в следующую рецессию он будет 3?"

рано или поздно мы так дойдем до того, что либо вы можете объяснить, почему завтра будет по-другому (видите, вы сказали мне сначала, что бета в рецессию больше - я и записал, что она равна a+b*Indicator, потом оценили 2+8*Indicator - вы мне точно так же можете сказать, от чего зависит коэффициент произведения, и мы так же протестируем на данных и поймем, будет ли следующая рецессия "не такой" или нет), либо у нас нет понимания, почему именно завтра будет по-другому, и тогда возможности тестировать, будет ли по-другому, тоже нет - а на нет и суда нет, это уже вне пределов доказательной науки.

[saninartem]

Подождите. Давайте по базовым условиям, Вы сами их задали: оцениваем результат на пятилетнем периоде и принимаем решение. Я добавил условие, что в эти пять лет экономика росла. Про пять тощих лет мы пока не знаем, как поведет себя наша стратегия в эти пять лет - тем более не знаем. Нет еще данных, а решать нужно сейчас.
Можем мы, опираясь на статданные по первым пяти годам, и только на них, понять, что наша стратегия была хороша, но в будущем будет плоха, и ее надо менять? Мне кажется, можем понять только первую часть - была хороша.

Это я не наезжаю на статметоды, если что. Просто у любых моделей есть ограничения, хорошо бы их держать в голове.

[hroniki_paisano]

это так-то базовый пост про то, что такое нулевая, что такое альтернативная и что значит "тестировать на 5%ном уровне значимости". а вовсе не про то, как правильно тестировать торговые стратегии и отбирать годные.

когда экономика растет, рынок в каждый конкретный день ходит то вверх, то вниз, разные новости туда поступают. так что можно считать бету, прикидывать, что будет, если рынок упадет на 30%. стратегия упадет на бета*30%, вот что будет.

предсказать, куда пойдет рынок, нельзя принципиально, потому что все так хотят, как только у людей появится уверенность, что рынок через месяц упадет на 30%, все начнут продавать, чтобы их не накрыло, и рынок на эти 30% уронят сразу.

проверить гипотезу, что на очень сильно падающем рынке бета будет больше, и стратегия потеряет больше, чем бета*30%, в принципе нельзя, пока не увидишь сильно падающего рынка (или не найдешь его в истории). но пока такой рынок не попал в выборку, одинаково безосновательны и те, кто говорит, что бета будет больше, и те, кто говорит, что будет меньше.

что же до того, что держать в голове - ну вот есть данные, есть наилучший прогноз на основании данных, есть его доверительный интервал. уже на этом этапе обычно понятно, что доверительный интервал широкий и что главное не подгонять ничего полиномом и тренды не искать, а пытаться понять, что к чему. ну а что all models are false и что data generating process может измениться - ну да, а делать-то что?

и без того в следующих сериях будет весело, дайте мне только до понятия мощности дойти.

[saninartem]

Это ж не критика)
Вопрос у меня основной именно к доверительному интервалу. Вот " с вероятностью 95% в следующей пятилетней выборке доходность стратегии будет где-то между «рынок минус 5%» и «рынок плюс 45%»" - это верно при предположении "если все будет примерно так, как в период измерения". А если будет не так - эти 95% превращаются в тыкву. А вероятность "не так" совсем ненулевая.

[hroniki_paisano]

я думаю, что к "не так" неприменимо понятие вероятности
а к доверительному интервалу таки да - что не означает безошибочности оценки