Мне представляется что легко находимый торрент на rutracker с книгами известного психолога ВА Лефевра внесет некоторую системность в собираемые "типапарадоксы".
Собственно книги крайне небольшие по объему, а реплика моя (как вы прочитали?) относиться ко всему "собранию сочинений" вашего жж.
В большинстве из "исследований" над которыми вы так тонко и искромётно иронизируете как раз и проявляются закономерности модели предложенной ВАЛ (в типичном упомянутом у вас в подборке исследовании измеряют "мнение" считая за "нулевую гипотезу" совершенно неправильное предположение).
Ну и "моральная позиция" проявляемая авторами собранных статей сама по себе служит материалом доказывающим модель предложенную ВАЛ.
и так данные о преступности: в строках штаты, в колонках показатели
группа состава расового -- имеет особенность, что как любые данные описывающие состав имеет размерность меньшую чем число составляющих состава (это даже приводит к специальному виду графического отображения таких данных ternary plot, да и статистика нуждается в избавлении тем или иным способом (например контрастами) от лишней размерности)
целевая переменная violent, остальные призваны описать всё существенное что касается целевой и расового состава (имеет с ними существенную корреляцию)
итак, простая корреляция между некоторыми расами и преступностью
однако если мы построим коэффициенты корреляции между целевым показателем преступности, расовым составом и дополнительными описывающими штат показателями (в основном благосостояние тем или иным способом), то обнаружим, что и они имеют тесную связь и с расовым составом и с уровнем преступности (да и между собой тоже)...
из этой ситуации мы можем выйти посчитав частную корреляцию которая остается между двумя показателями после того как мы уравниваем все остальные показатели между штатами (у нас получается путем нехитрого векторного преобразования вывести во всех штатах одинаковый расовый состав, одинаковое благосостояние и т.д.)
А что этот коэффициент корреляции вообще описывает? В данном контексте нас интересует, изменится ли преступность от замены евроамериканцев на афроамериканцев, а вы не ввели в R информацию, какие расы сравниваются -- откуда программа сообразит это? >partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+white+hispanic+asian+native+pacific+mixed+log.density,data,level = 0.95) Вы не можете зафиксировать все расы, кроме одной и менять только black, сумма по расам должна составлять сто. Нужно либо
xww = x xww$white <- NULL partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+hispanic+asian+native+pacific+mixed+log.density,xww,level = 0.95)
1) Корреляции безразличны абсолютные значения показателей (они имеют значение для ковариации)
2) Я не понимаю почему должен вам читать вслух объяснять определение частной корреляции.
Совершенно очевидно что если мы оставляем два слагаемых фиксированной суммы, а остальные параметры указаны как база относительно которой считается частная корреляция, то мы получает между ними единицу по модулю в пределах ошибок округления.
Соответственно если мы желаем увидеть "чистое" взаимное влияние преступности и процента проживания в регионе любой из расы (измеренное как к.корреляции), то мы должны оставить только одну расу (иначе как раз мы и имеем проблему в том, что это сумма процентов).
3) Так что ничего мы не получаем при вашем подходе к вычислению частной корреляции "с двумя расами" кроме возвращения к исходному артефакту, что расы это слагаемые фиксированной суммы.
Если убрать столбец с белыми, то как раз уже уходим от проблемы, что сумма по расам равна =100 и "дефолтный" американец получается белым. И я дал два способа, и они дают одинаковый результат, выделить его жирным специально для вас? black~violent 0.3997337 2.357013 1.842262e-02 0.07119141 0.65003072
Если мы захотим перейти от корреляционных связей к связям причинно следственным, то нам может помочь в этом построение Байесовской сети на исследуемом датасете.
Вот по моему удачное причинноследственное объяснение просиходящего в этих данных:
Нашел-таки ваш первый заскриненный коммент. Ваша картинка у меня воспроизводится. Я, однако, грешил на то, что вы там что-то с данными сделали, но кажется, что bnlearn выдает чепуху. В оригинале-то речь шла о сумме по расам, и я заменил первые семь стобцов по расам линейной комбинацией 0.5*hispanic+black+native+mixed, и стрелочки стали совсем другие вот. plot(rsmax2(x[,-11], optimized=F ))
( ... )
2) vehicles они всё равно ни с чем не связаны оказались (их после импорта надо из int в num преобразовать, можете это сделать сами)
1) вы понимаете, что эта "комбинация процентов" точно также связана со всеми "не вошедшими в неё", как и с "вошедшими"? :)
3) кроме того вы выкинули весьма значимые переменные pov1 pov2 , причем pov1 является влияющей сразу на "две ветки" и собственно и реабилитирует негров :)
2). ок, понятно. но таки он мне стрелку рисует (при сведении 7 расовых переменных в одну), une2->vehicles. 1). да, связаны, но от ситуации, когда одна в датасете, что пихается в rsmax2, была "лишняя" переменная, которая линейно выражается через другие, мы избавились 3). ничего я не выкидывал, там есть ветка racesum -> pov1 -> pov2
(Расскриньте пожалуйста мой пост с байесовской сетью)
Получается что причслед. цепочка pov1-pov2-pov3-violent управляет уровнем преступности, а имеющая с ней общую часть pov1-pov2-obe1-black подставляет несчастных негров.
расскринить что? в моем ЖЖ разве что-то скринится?
Ну и во-первых, вы обещали, что изменится знак связи. Что-то я не вижу величин связи вообще, там наверное они шумоподобные получились. с разными знаками у pov1,pov2,pov3,gini ну а ожирение obe1,obe2,obe3 надо бы вообще выкинуть оттуда
Comments 76
Reply
Какие комментарии можете дать вы, как читавший Лефевра?
Reply
В большинстве из "исследований" над которыми вы так тонко и искромётно иронизируете как раз и проявляются закономерности модели предложенной ВАЛ (в типичном упомянутом у вас в подборке исследовании измеряют "мнение" считая за "нулевую гипотезу" совершенно неправильное предположение).
Ну и "моральная позиция" проявляемая авторами собранных статей сама по себе служит материалом доказывающим модель предложенную ВАЛ.
Reply
Вам есть что сказать по поводу картинки?
Reply
группа состава расового -- имеет особенность, что как любые данные описывающие состав имеет размерность меньшую чем число составляющих состава (это даже приводит к специальному виду графического отображения таких данных ternary plot, да и статистика нуждается в избавлении тем или иным способом (например контрастами) от лишней размерности)
целевая переменная violent, остальные призваны описать всё существенное что касается целевой и расового состава (имеет с ними существенную корреляцию)
итак, простая корреляция между некоторыми расами и преступностью
> cor(data[c("violent", "black", "white", "hispanic", "asian", "native ( ... )
Reply
из этой ситуации мы можем выйти посчитав частную корреляцию которая остается между двумя показателями после того как мы уравниваем все остальные показатели между штатами (у нас получается путем нехитрого векторного преобразования вывести во всех штатах одинаковый расовый состав, одинаковое благосостояние и т.д.)
> library(lava)
> partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+white+hispanic+asian+native+pacific+mixed+log.density,data,level = 0.95)
cor z pval lowerCI upperCI
black~violent 0.2156068 1.199754 0.2302349 -0.1379103 0.5203962
> 0.2156068^2
[1] 0.04648629
таким образом менее 5% дисперсии уровня преступностиможно объяснить именно наличием негров ( ... )
Reply
>partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+white+hispanic+asian+native+pacific+mixed+log.density,data,level = 0.95)
Вы не можете зафиксировать все расы, кроме одной и менять только black, сумма по расам должна составлять сто.
Нужно либо
xww = x
xww$white <- NULL
partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+hispanic+asian+native+pacific+mixed+log.density,xww,level = 0.95)
или
partialcor(~gini+une2+une1+obe3+obe2+obe1+pov1+pov2+pov3+vehicles+hispanic+asian+native+pacific+mixed+log.density,x,level = 0.95)
теперь уже что получаем, что получается, если 1% белых заменить на 1% негров:
cor z pval lowerCI upperCI ( ... )
Reply
2) Я не понимаю почему должен вам читать вслух объяснять определение частной корреляции.
Совершенно очевидно что если мы оставляем два слагаемых фиксированной суммы, а остальные параметры указаны как база относительно которой считается частная корреляция, то мы получает между ними единицу по модулю в пределах ошибок округления.
Соответственно если мы желаем увидеть "чистое" взаимное влияние преступности и процента проживания в регионе любой из расы (измеренное как к.корреляции), то мы должны оставить только одну расу (иначе как раз мы и имеем проблему в том, что это сумма процентов).
3) Так что ничего мы не получаем при вашем подходе к вычислению частной корреляции "с двумя расами" кроме возвращения к исходному артефакту, что расы это слагаемые фиксированной суммы.
Reply
И я дал два способа, и они дают одинаковый результат, выделить его жирным специально для вас?
black~violent 0.3997337 2.357013 1.842262e-02 0.07119141 0.65003072
Reply
Вот по моему удачное причинноследственное объяснение просиходящего в этих данных:
> library(bnlearn)
> plot(rsmax2(data[,-17], optimized=F ))
( ... )
Reply
В оригинале-то речь шла о сумме по расам, и я заменил первые семь стобцов по расам линейной комбинацией 0.5*hispanic+black+native+mixed, и стрелочки стали совсем другие вот.
plot(rsmax2(x[,-11], optimized=F ))
( ... )
Reply
1) вы понимаете, что эта "комбинация процентов" точно также связана со всеми "не вошедшими в неё", как и с "вошедшими"? :)
3) кроме того вы выкинули весьма значимые переменные pov1 pov2 , причем pov1 является влияющей сразу на "две ветки" и собственно и реабилитирует негров :)
...так что "плохая попытка" :)
Reply
1). да, связаны, но от ситуации, когда одна в датасете, что пихается в rsmax2, была "лишняя" переменная, которая линейно выражается через другие, мы избавились
3). ничего я не выкидывал, там есть ветка racesum -> pov1 -> pov2
Reply
Получается что причслед. цепочка pov1-pov2-pov3-violent управляет уровнем преступности, а имеющая с ней общую часть pov1-pov2-obe1-black подставляет несчастных негров.
Как то так :)
Reply
Ну и во-первых, вы обещали, что изменится знак связи. Что-то я не вижу величин связи вообще, там наверное они шумоподобные получились. с разными знаками у pov1,pov2,pov3,gini
ну а ожирение obe1,obe2,obe3 надо бы вообще выкинуть оттуда
Reply
мда, о сколько нам открытий чудных... ну отлогиньтесь из жж и посмотрите этот тред...
PS сейчас его вижу только я (когда залогинен) и вы (когда залогинены)
Reply
Reply
Leave a comment