Intro to Statistics, Part 1
У меня есть одно иррациональное убеждение, даже два, и печальный жизненный опыт никак не может заставить меня от них отказаться. Первое убеждение состоит в том, что практически всё на свете можно объяснить любому заинтересованному слушателю: несколько упростив, показав на пальцах, поотвечав на вопросы и дополнительно растолковав. Я не люблю думать, что бывают такие случаи и такие люди, что нельзя научить: ну в смысле науки, жизнь она сложнее, по жизни бывает так, что нужно пощупать своими руками и увидеть своими глазами, иначе не поймешь. Второе же мое убеждение, проистекающее из многолетней привычки к своей профессии, состоит в том, что ничего такого сложного я не делаю. Ну понятно, нельзя выловить прохожего на улице и в пять минут пояснить ему про сигма-алгебры и двойной интеграл. Но про какую-нибудь альфу паевого фонда или разницу между опционом и фьючерсом вполне можно пояснить даже прохожему, чего там сложного-то. Поскольку я неисправим, сейчас здесь будет рассказ, с шутками и прибаутками, про тестирование гипотез методами матстатистики и что это значит. Задавайте в каментах вопросы, если что.
Давайте возьмем простой, приятный сердцу финансиста пример. Скажем, я придумал торговую стратегию, которая дает доходность выше рыночной. Накупил акций, сижу и смотрю в конце каждого месяца: рынок вырос на 1%, мои акции в среднем выросли на 2%. Следующий месяц: рынок вырос на 2%, мои акции в среднем выросли на 5%. Еще месяц: рынок упал на 1.5%, мои акции упали на 2.5%. Ну бывает, не фартануло. В общем, наблюдал я так лет пять, посчитал средний рост своих акций, посчитал средний рост рынка за тот же период, первое больше второго. Хорошая, годная стратегия.
А теперь начинается матстат. Мы можем взять, например, Эксель и протестировать разницу двух средних темпов прироста на статистическую значимость. Эксель выплюнет нам такую цифирь, которая называется p-value - это, грубо говоря, вероятность увидеть то, что мы видим, в предположении, что на самом деле наша торговая стратегия не представляет собой ничего особенного и не должна бы расти быстрее рынка. Ну, скажем, за пять лет рынок отрос на 40%, а купленные по торговой стратегии акции отросли на 41% - это небольшая разница, она может легко возникнуть от того, что нам просто фартануло - и Эксель выплюнет p-value=0.8, то есть вероятность такого фарта (или сравнимого не-фарта) 80%, ничего особенного не произошло, такого результата можно легко добиться, просто набрав акций наобум, никакой стратегии не нужно. А вот если рынок отрос на 40%, а стратегия на 60%, и Эксель выплюнул p-value=0.01, то, значит, происходит что-то интересное, наша стратегия действительно отличается от остального рынка и выбранных наобум акций - вероятность получить 60% по выбранным наобум акциям, когда рынок вырос на 40%, выходит всего 1%.
В матстате это расписывают так: у нас есть исходное скептическое представление о состоянии мира: «Наша стратегия не представляет собой ничего особенного и не обгонит рынок». Это называется нулевая гипотеза. И есть та гипотеза, которую мы, собственно, и хотим проверить: «Наша стратегия - хорошая, годная стратегия». Это альтернативная гипотеза. И есть p-value, то есть вероятность увидеть то, что мы видим, при условии, что нулевая гипотеза верна. Если p-value<0.05, мы рассуждаем так: «при условии, что нулевая верна, происходит что-то странное, события с вероятностью меньше 5% так просто не случаются - значит, нулевая гипотеза не верна, мы ее отвергаем, принимаем альтернативную». Предвосхищая вопросы, почему 5%, а не 7% и не 3% - нипочему, просто так принято во многих научных тусовочках.
Для чего все это нужно? Для того, чтобы различать годную стратегию от фартовой. Годная стратегия будет работать и в новой выборке, например, в следующие пять лет. А фарт переменчив, фартовая стратегия в следующие пять лет может стать и нефартовой.
Но вот, например, бывает так, что рынок за пять лет отрос на 40%, акции, купленные по нашей стратегии, отросли на 60%, разница ничотак. А Эксель или какой статпакет смотрит на то, как колбасило в этот период и рынок, и нашу стратегию, и выдает, собака, p-value=0.12. То есть, еще раз, мы договорились в прошлой серии, что мы тестируем альтернативную гипотезу «наша торговая стратегия работает» против нулевой «стратегия не работает, просто фартануло». И мы отвергаем нулевую, если p-value<0.05, то есть вероятность наблюсти ту разницу между доходностью стратегии и рынка, которую наблюли, меньше 5%. А у нас вероятность 12%, то есть нам могло и фартануть, с вероятностью 12%. И мы не отвергаем нулевую - но это не значит, что мы ее принимаем. Я бы такую стратегию все равно юзал, даже с осознанием того, что в следующем периоде может не фартануть - при такой p-value Эксель скажет нам, что с вероятностью 95% в следующей пятилетней выборке доходность стратегии будет где-то между «рынок минус 5%» и «рынок плюс 45%». То есть да, исключить вероятность того, что доходность будет ниже рынка, мы не можем, и потому нулевую не отвергаем, но расклад мне нравится. Этот расклад, кстати, называется доверительный интервал - можно, я пока не буду про него дополнительно рассказывать? Мне нормальное распределение aka bell curve нарисовать негде, а без этого я не умею.
А бывает, конечно, и так, что мы тестировали и таки получили p-value<0.05, нулевую отвергли, приняли альтернативную. Значит ли это, что теперь все в порядке, альтернативная гипотеза верна? Да щаззз. У нас просто такое правило, что, если то, что мы наблюдаем, при условии верности нулевой гипотезы случается с вероятностью меньше 5%, то мы отвергаем нулевую и принимаем альтернативную. То есть мы неявно предполагаем, что события с вероятностью 5% и меньше невероятны, их не бывает - это, строго говоря, дурацкое предположение называется «тестирование на 5%ном уровне значимости», все так делают - и экономисты, и медики, и социологи.
На самом деле события с вероятностью 5% вполне себе бывают - в 5% случаев. Люди вон даже в лотерею выигрывают. А для матстата случаемость редких событий означает то, что, если пробовать, скажем, идиотские торговые стратегии, которые не должны работать и не работают, 5%ам из них фартанет настолько, что мы отвергнем нулевую и запишем их в работающие. Ровно так же работает тестирование лекарств от рака или какой-нить анализ крови на сифилис - иногда мы получаем результат, который на самом деле не результат, это называется false positive.
Что не так с false positive при анализе на сифилис, все понимают - потраченные нервы. А в других случаях false positive означает, что научно одобренная стратегия (нулевая отверглась, как говорится у статистиков - статистическая значимость есть) перестанет работать в новой выборке. Вроде бы успешная торговая стратегия в следующие пять лет с большой вероятностью станет расти даже медленнее, чем рынок, новое и научно проверенное лекарство от рака окажется фигней, сравнимой с плацебо, - при тестировании фартануло, а больше не фартанет, вероятность такого же фарта 5%. А что с этим делать, как настоящие торговые стратегии и лекарства отличать от липовых - об этом в следующей серии.
Давайте возьмем простой, приятный сердцу финансиста пример. Скажем, я придумал торговую стратегию, которая дает доходность выше рыночной. Накупил акций, сижу и смотрю в конце каждого месяца: рынок вырос на 1%, мои акции в среднем выросли на 2%. Следующий месяц: рынок вырос на 2%, мои акции в среднем выросли на 5%. Еще месяц: рынок упал на 1.5%, мои акции упали на 2.5%. Ну бывает, не фартануло. В общем, наблюдал я так лет пять, посчитал средний рост своих акций, посчитал средний рост рынка за тот же период, первое больше второго. Хорошая, годная стратегия.
А теперь начинается матстат. Мы можем взять, например, Эксель и протестировать разницу двух средних темпов прироста на статистическую значимость. Эксель выплюнет нам такую цифирь, которая называется p-value - это, грубо говоря, вероятность увидеть то, что мы видим, в предположении, что на самом деле наша торговая стратегия не представляет собой ничего особенного и не должна бы расти быстрее рынка. Ну, скажем, за пять лет рынок отрос на 40%, а купленные по торговой стратегии акции отросли на 41% - это небольшая разница, она может легко возникнуть от того, что нам просто фартануло - и Эксель выплюнет p-value=0.8, то есть вероятность такого фарта (или сравнимого не-фарта) 80%, ничего особенного не произошло, такого результата можно легко добиться, просто набрав акций наобум, никакой стратегии не нужно. А вот если рынок отрос на 40%, а стратегия на 60%, и Эксель выплюнул p-value=0.01, то, значит, происходит что-то интересное, наша стратегия действительно отличается от остального рынка и выбранных наобум акций - вероятность получить 60% по выбранным наобум акциям, когда рынок вырос на 40%, выходит всего 1%.
В матстате это расписывают так: у нас есть исходное скептическое представление о состоянии мира: «Наша стратегия не представляет собой ничего особенного и не обгонит рынок». Это называется нулевая гипотеза. И есть та гипотеза, которую мы, собственно, и хотим проверить: «Наша стратегия - хорошая, годная стратегия». Это альтернативная гипотеза. И есть p-value, то есть вероятность увидеть то, что мы видим, при условии, что нулевая гипотеза верна. Если p-value<0.05, мы рассуждаем так: «при условии, что нулевая верна, происходит что-то странное, события с вероятностью меньше 5% так просто не случаются - значит, нулевая гипотеза не верна, мы ее отвергаем, принимаем альтернативную». Предвосхищая вопросы, почему 5%, а не 7% и не 3% - нипочему, просто так принято во многих научных тусовочках.
Для чего все это нужно? Для того, чтобы различать годную стратегию от фартовой. Годная стратегия будет работать и в новой выборке, например, в следующие пять лет. А фарт переменчив, фартовая стратегия в следующие пять лет может стать и нефартовой.
Но вот, например, бывает так, что рынок за пять лет отрос на 40%, акции, купленные по нашей стратегии, отросли на 60%, разница ничотак. А Эксель или какой статпакет смотрит на то, как колбасило в этот период и рынок, и нашу стратегию, и выдает, собака, p-value=0.12. То есть, еще раз, мы договорились в прошлой серии, что мы тестируем альтернативную гипотезу «наша торговая стратегия работает» против нулевой «стратегия не работает, просто фартануло». И мы отвергаем нулевую, если p-value<0.05, то есть вероятность наблюсти ту разницу между доходностью стратегии и рынка, которую наблюли, меньше 5%. А у нас вероятность 12%, то есть нам могло и фартануть, с вероятностью 12%. И мы не отвергаем нулевую - но это не значит, что мы ее принимаем. Я бы такую стратегию все равно юзал, даже с осознанием того, что в следующем периоде может не фартануть - при такой p-value Эксель скажет нам, что с вероятностью 95% в следующей пятилетней выборке доходность стратегии будет где-то между «рынок минус 5%» и «рынок плюс 45%». То есть да, исключить вероятность того, что доходность будет ниже рынка, мы не можем, и потому нулевую не отвергаем, но расклад мне нравится. Этот расклад, кстати, называется доверительный интервал - можно, я пока не буду про него дополнительно рассказывать? Мне нормальное распределение aka bell curve нарисовать негде, а без этого я не умею.
А бывает, конечно, и так, что мы тестировали и таки получили p-value<0.05, нулевую отвергли, приняли альтернативную. Значит ли это, что теперь все в порядке, альтернативная гипотеза верна? Да щаззз. У нас просто такое правило, что, если то, что мы наблюдаем, при условии верности нулевой гипотезы случается с вероятностью меньше 5%, то мы отвергаем нулевую и принимаем альтернативную. То есть мы неявно предполагаем, что события с вероятностью 5% и меньше невероятны, их не бывает - это, строго говоря, дурацкое предположение называется «тестирование на 5%ном уровне значимости», все так делают - и экономисты, и медики, и социологи.
На самом деле события с вероятностью 5% вполне себе бывают - в 5% случаев. Люди вон даже в лотерею выигрывают. А для матстата случаемость редких событий означает то, что, если пробовать, скажем, идиотские торговые стратегии, которые не должны работать и не работают, 5%ам из них фартанет настолько, что мы отвергнем нулевую и запишем их в работающие. Ровно так же работает тестирование лекарств от рака или какой-нить анализ крови на сифилис - иногда мы получаем результат, который на самом деле не результат, это называется false positive.
Что не так с false positive при анализе на сифилис, все понимают - потраченные нервы. А в других случаях false positive означает, что научно одобренная стратегия (нулевая отверглась, как говорится у статистиков - статистическая значимость есть) перестанет работать в новой выборке. Вроде бы успешная торговая стратегия в следующие пять лет с большой вероятностью станет расти даже медленнее, чем рынок, новое и научно проверенное лекарство от рака окажется фигней, сравнимой с плацебо, - при тестировании фартануло, а больше не фартанет, вероятность такого же фарта 5%. А что с этим делать, как настоящие торговые стратегии и лекарства отличать от липовых - об этом в следующей серии.