Почему они не могут учиться?
Вот тут очередной сторонник демократии приложил очередной график. В общем то график весьма банальный и давно известный. Первым (или одним из первых) на него обратил внимание (точнее творчески интерпретировал для пиара) «демограф» вишневский. Из предложенной им модели следует, что падение продолжительности жизни в демократической россиянии есть прямое следствие этого процесса начатого ещё в СССР. А раз так, что все претензии к ельципутам необоснованны. Но этом графике вишневцев имели в особо циничной форме не раз, но мазохисты не переводятся. Представляю вам очередного такого. И график, который он за недостатком знаний привел. А теперь разберем по частям.
- Немного общих подходов.
А). Не будем забывать, что перед нами временной ряд. Причем заметим эмпирический. Как в общем-то известно всем кто владеет материалом, ряды наши можно классифицировать, разделив на две группы: детерминированный и вероятностный. Детерминированный процесс (например, Д. хаос) имеет одну прелестную особенность: мы знаем формулу которая этот процесс точно(!) описывает. Т.е. по сути, мы сможем легко рассчитать значение ряда как на бесконечное число отсчетов вперед, так и назад. Вероятностный процесс наоборот, указывает положение нового значения с определённой вероятностью (и исходя из модели). Очевидно, что если мы займемся философией, то увидим, что в зависимости от точности «считывания» данных очень многие процессы можно превратить из стохастических в детерминированные и наоборот. Так же очевидно, что исследуемый нами ряд есть по сути процесс случайный, ибо я ещё не видел человека и формулу, точно (до сотых) описывающего ожидаемую продолжительность жизни.
Б). Далее если уж мы рисуем тренд, то мы должны обосновывать выбор той временной области, в рамках которой мы строим модель. Всякий, кто занимался вопросом, знает, какой повод для нечистоплотности дают графики в виде горизонтальной «Z»(см. рис тонкая черная линия). Захотел провел так , захотел по другому. Естественно, что выбор точек, относящихся к тренду должен быть обоснован без эклектики. Подход в стиле: 1964г. я выбрал так как там показатель самый большой, а 1984 т.к. это год перед антиалкогольной компанией, не говорит ни о чем, кроме как неспособности человека, сделавшего это, научно мыслить.
В). Со всей пролетарской очевидностью из п. а). следует, что если процесс вероятностный, то мы можем, а следовательно и должны (с днюхой Ленина, товарищи) задать определённый диапазон значений, куда, в соответствии с выявленной моделью и должно попасть следующее (предыдущее) значения.
Г). Я сознательно не остановился на вопросах частоты дискретизации, точности самой регистрации величины (ибо срок жизни считается в годах а не в минутах). Впрочем если кого заинтересует - напишу и про это.
2). А теперь сам график.
Что мы отсюда почерпнем?
А). тонкая красная линия одна из возможных линейных регрессий. Строго говоря, опираясь только на данные мы можем выбрать два отрезка естественно между локальными максимумами (64 год) и локальными минимумами, к каковым можно отнести 84 и 80 годы Разница между ними 0.03 года, что естественно для измерения годами вряд ли показывает точность исследования. Итак у нас есть фактически два тренда. Сравним их 64-80 р квадрат аж 0,886, при 0.82 для периода до 84 года (зеленая линия). КС и Шапиро-Вилк указывают что обе модели адекватны- остатки распределены нормально. Но вот плоскость асимметрия-эксцесс нас не радует: остатки «короткого» ряда явно ассиметричны, а остатки «длинного» на границе бимодальности. Итого получается, что над адекватностью линейных моделей в этом случае нависает большой и жирный вопрос.
Б). Теперь посмотрим на доверительный интервал. Крики про то что здесь не выборка, не демонстрируют ничего кроме глубокой умственной дефективности говорящего это. Действительно, наша регрессия не дает ТОЧНОГО предсказания. Эмпирические значения распределены в некоей окрестности линии. Анализируя остатки (в идеальном случае) мы увидим нормальное распределние их. Следовательно, воспользовавшись правилом 3 сигм, мы без труда построим границы в которых могут находиться точки, относящиеся к этой регрессии. Примерно как толстые серые полосы на рисунке. Применительно к нашему случаю эти границы составят для кроткого ряда ±0.75 года, для длинного ±0,84. фактически эти данные для нормального распределния, в нашем случае они будут ещё больше.
В). Задумаемся на минутку- а собственно почему мы проводим линии именно так, может быть есть ещё последовательности скрытые от нашего внимания? Представим график как двухмерную плоскость и с различными вариантами кластерного анализа посмотрим что получиться (естественно, что соседние года будут близко, но нас интересуют «разрывы» в последовательности). Вот один из результатов(С7-это 64 год и далее +1).
Как видно есть два блока - 64-74 годы и 75- 81 (83?) годы. Почему бы не посмотреть эти последовательности?
Г). Посмотрим различия между соседними годами. Картина интересная. С 86 года каждые 10 лет резкий скачок о ОПЖ вверх. Их этой кривой можно много выжать на предмет прогноза, но это отдельная тема.
Д). Про духовность и все такое. Те кто работал или интересовался биржевыми делами, знают какую большую роль играют всякие особенности кривых: всякие там сигналы определённой формы. Например «W» признак начала большого роста. Взглянув на график - малиновое «W» как раз перед ростом. А точки соответствующие низу этого знака т.н. линии сопротивления. Если график выше от «отталкивается» от этой линии(80 и 84 гг), ниже - линия «мешает» ему подняться (98год). Но как известно биржевые дела это чистая психология, с точки зрения генерации и оценки сигналов, а здесь мы видим те же сигналы и тоже движение кривых.
Итак итог. 1.Для изучения динамики продолжительности жизни явно не достаточно рисовать в экселе один тренд без формулы как это делает указанный выше товарищ. Анализ трендов показал, что линейные модели далеко не всегда адекватны, и следовательно использовать их - крайне примитивизировать процесс.
- С использование разных подходов выявлено минимум две классификационных модели, анализ которых требует весьма детального изучения процесса.
- Все что я насчитал - стандартные навыки человека с высшим образованием. Теперь простой вопрос неужели у наших демократов хватает ума только на то чтоб рисовать линии в экселе и потом высасывать из пальца результаты, без проверки альтернативных гипотез...