Comments: Elaborate Robustness Checks
вам просто попалась плохая статья, но неправильная. а вам нужна была правильная плохая статья, чтоб с фильтром Кальмана каким-нить. после прочтения такого шедевра у меня остается ощущение собственного математического невежества и полная растерянность "а что нового об экономике сказали мне эти страницы навороченной эконометрики?".
мне вот интересно, результаты каких исследований в моей области изменятся, если, например, вместо Фамы-МакБета сделать кошерный GMM, как у Петерсена? народ про GMM знает, и про панельные регрессии знает, но слишком мала польза от разрыва шаблона, когда слева неавтокоррелированная переменная. а эконометрика ради эконометрики - зачем?
если результат важный, на него уже наверняка и с байесовщиной ходили, и с нетривиальным бутстрапом, и с какой-нить теорией про малые выборки, как в случае long-run predictability. беда в том, что это по-прежнему остается чем-то вроде elaborate robustness check, потому что предположения о характере данных, которые приводят к использованию другого метода, с трудом переводятся в что-то экономическое.
другими словами, есть работа, которая говорит "поскольку переменная Х такая (следует математический термин), следует в тестах с ее использованием делать то-то, и тогда изменятся результаты". если результат важен, то это любопытно. но экономических интерпретаций тут две:
- "старый результат, полученный с использованием простых методов, неустойчив" - при всем уважении к сложным адекватным методам, это экономический результат класса "а я выкину из выборки год, у вас значимость пропадет".
- "а вот если мы адекватно интерпретируем экономически математическое слово, которым мы обругали Х, изменение результата скажет нам кое-что об экономике" - это почти мечта, потому что то ли эконометрические термины слабо переводятся в экономические, то ли эконометристы плохо умеют это делать.
более того: те же работы с переключением режимов - это вообще слезы. в большей половине автор в принципе не задается вопросом, что означает режим Б - рецессию, экспансионистскую политику, волатильность? соответственно возникает впечатление какого-то фокусничества, а падение какой-нить ошибки прогноза на 20% как-то не впечатляет, потому что мы тут пытаемся понять, как работает экономика, а не спрогнозировать. прогнозируют вон в индастри, если вдруг это оказывается прибыльным. но тут Саныч правильно говорит, если человек прогнозирует в академии, это как бы говорит нам, что денег на таком прогнозе не заработаешь.
если же автор задается вопросом, что у него за режим, то это чаще всего выходит ни рыба, ни мясо, и он начинает оживленно жестикулировать, пытаясь этот режим связать хоть с чем-нибудь (на выборке 10 лет, пусть и с intraday data, ага). и это уже начинает напоминать цирк шапито, потому что когда автор занимался вопросом, который никого не волнует (см. ошибка прогноза), он подводил мега-артиллерию фиг знает каких сложных методов. а когда дошел до вопроса, который всем интересен, даже если они не поняли первую часть (см. экономическая интерпретация режима), начал показывать графики! без статистических тестов! или с парой корреляций. ну цирк же, согласитесь.
мне вот интересно, результаты каких исследований в моей области изменятся, если, например, вместо Фамы-МакБета сделать кошерный GMM, как у Петерсена? народ про GMM знает, и про панельные регрессии знает, но слишком мала польза от разрыва шаблона, когда слева неавтокоррелированная переменная. а эконометрика ради эконометрики - зачем?
если результат важный, на него уже наверняка и с байесовщиной ходили, и с нетривиальным бутстрапом, и с какой-нить теорией про малые выборки, как в случае long-run predictability. беда в том, что это по-прежнему остается чем-то вроде elaborate robustness check, потому что предположения о характере данных, которые приводят к использованию другого метода, с трудом переводятся в что-то экономическое.
другими словами, есть работа, которая говорит "поскольку переменная Х такая (следует математический термин), следует в тестах с ее использованием делать то-то, и тогда изменятся результаты". если результат важен, то это любопытно. но экономических интерпретаций тут две:
- "старый результат, полученный с использованием простых методов, неустойчив" - при всем уважении к сложным адекватным методам, это экономический результат класса "а я выкину из выборки год, у вас значимость пропадет".
- "а вот если мы адекватно интерпретируем экономически математическое слово, которым мы обругали Х, изменение результата скажет нам кое-что об экономике" - это почти мечта, потому что то ли эконометрические термины слабо переводятся в экономические, то ли эконометристы плохо умеют это делать.
более того: те же работы с переключением режимов - это вообще слезы. в большей половине автор в принципе не задается вопросом, что означает режим Б - рецессию, экспансионистскую политику, волатильность? соответственно возникает впечатление какого-то фокусничества, а падение какой-нить ошибки прогноза на 20% как-то не впечатляет, потому что мы тут пытаемся понять, как работает экономика, а не спрогнозировать. прогнозируют вон в индастри, если вдруг это оказывается прибыльным. но тут Саныч правильно говорит, если человек прогнозирует в академии, это как бы говорит нам, что денег на таком прогнозе не заработаешь.
если же автор задается вопросом, что у него за режим, то это чаще всего выходит ни рыба, ни мясо, и он начинает оживленно жестикулировать, пытаясь этот режим связать хоть с чем-нибудь (на выборке 10 лет, пусть и с intraday data, ага). и это уже начинает напоминать цирк шапито, потому что когда автор занимался вопросом, который никого не волнует (см. ошибка прогноза), он подводил мега-артиллерию фиг знает каких сложных методов. а когда дошел до вопроса, который всем интересен, даже если они не поняли первую часть (см. экономическая интерпретация режима), начал показывать графики! без статистических тестов! или с парой корреляций. ну цирк же, согласитесь.