экспертная оценка

[best_umbrella]

Здравствуйте, все! У меня вопрос, возможно, уровня чайника по планированию эксперимента. Буду очень признательна за совет или наводку по выбору литературы. Необходимо оценить, согласованно ли работают эксперты при понимании текста. Им предлагается некоторый текст и к нему готовые суждения с интерпретацией текста, с которыми они, так или иначе,

Comments

[ksalonsweetly]

В моем временно воспаленном мозгу пока что родилось только то, что массив будет инвертированным, то есть респонденты по столбцам, а их ответы по строкам. Ну чтобы сравнивать между собой именно по экспертам...
Хотя могу быть не права. Мне уже самой интересно.

[best_umbrella]

спасибо за мысль) может, она натолкнет меня на что-то)

[nokh]

Нужно использовать расчёт коэффициента конкордации (согласованности) Кендалла W - это стандартный тест именно в области экспертных оценок. Погуглите на эту тему - информации много. Если доводилось пользоваться критерием Фридмана, то коэффициент W можно вычислить по его результатам. В SPSS этот тест есть в разделе Непараметрических методов.

[best_umbrella]

спасибо) нет, пока ничего с данными не делала. их еще нет, только планирую экспертную оценку. Кендалла W я оставила как крайний вариант, т.к. если я правильно мыслю, он как раз для шкалы с более-менее дробными градациями (1-5, 1-7), а если только 3 или 2 градации?

[gorgonops]

Еще вы можете рассчитать медиану Кемени или среднюю Кемени. Это своего рода мера центральной тенденции для коллектива экспертов. В SPSS нет. Есть в AtteStat - очень неплохой бесплатной русскоязычной надставке к Экселю; там есть целый модуль для обработки экспертных оценок.

[best_umbrella]

Поищу что-нибудь про Кемени и про Аттестат, надеюсь, они спасут отца демократии)

[best_umbrella]

вообще, все что мне ни удавалось найти про экспертную оценку касалось, как правило, либо проблемы ранжирования неких объектов по степени предпочтительности/качества, либо именно вариантов согласованности по Кендаллу.
Самый близкий к моей проблеме, возможно, вот этот вариант http://www.isras.ru/files/File/4M/3-4/Zaslavskiy,%20Prigarina.pdf. Там авторы разбирают каппу Коэнна. Но я пока не могу адаптировать свою задачу под нее, чтобы была оценка "согласен-не согласен", например.
Никому из уважаемых респондентов не попадалась в жизни каппа?

[best_umbrella]

Ура, я, кажется разобралась! Может, кому-нибудь пригодится. Для моего случая (оценка экспертами по категориям "согласен - не знаю - не согласен") подойдет вариант оценки согласованности через каппу Флейса (Fleiss) - о ней пишет англоязычная версия википедии: http://en.wikipedia.org/wiki/Fleiss%27_kappa#Worked_example. Еще мне удалось раздобыть книгу этого автора - Дж.Флейс. Статистические методы для изучения таблиц долей и пропорций. М., 1989 г. В инете ее нет, но я обязательно сделаю скан в ближайшем будущем