Критика идей чистого разума, или о юзабилистах.
Я давненько собирался написать о юзабилистах, и о том, почему то, как они исследуют реальность - не работает, или работает не совсем так, как запланированно.
А тут еще хороший пример подвернулся: http://community.livejournal.com/ru_freelance/2266978.html
Яндекс исследование проводит. Своими силами, ага.
Известно, что высокий приход инвстиций в ту или иную область, провоцирует сначала быстрый рост, а затем усложнение рынка в целом, и выделение отдельных направлений (сиречь сегментация). Так было с тренингами, с HR, и с маркетинговыми исследованиями. Почему я сейчас акцентирую внимание на этих трех сферах? А вот почему: во всех трех так или иначе работают психологи.
Юзабилити, в отличие от этих трех сфер - больших инвестиций не снискало. Соответственно, тот путь, который прошли другие (от работы "на коленке" - до построения многоуровневой схемы работы с контролем качества) - не был пройден. Возможно, лет через 10 что-то изменится. А пока у нас есть то, что есть. Я сейчас это наглядно покажу на примере того самого исследования.
Оригинальный постинг продублирован ниже:
Компании Яндекс для проведения исследования требуются добровольцы, которые будут готовы потратить час-полтора своего времени на работу с несколькими интернет-сервисами.
Нам нужны:
• 6 активных пользователей Яндекс.Карт. Вы - активный пользователь, если пользуетесь Яндекс.Картами не менее 2-3 раз в месяц. И не пользуетесь аналогичными сервисами (другими картами, в т.ч. Google Maps) уже больше 4-х месяцев.
• 6 активных пользователей Google Maps. Можете считать себя активным пользователем, если пользуетесь Google Maps более 2-3 раз в месяц и не пользуетесь другими картами (в т.ч. Яндекс.Картами) более 4-х месяцев.
• 6 человек, которые за последние полгода не пользовались ни Яндекс.Картами, ни Google Maps и выходят в интернет не реже раза в месяц.
Возраст: от 16 до 50 лет. Особенно остро нужны те, кому больше 35 лет.
За участие в исследовании Вы сможете выбрать себе вознаграждение: 600 рублей или набор сувениров от Яндекса. Исследование будет проходить в офисе Яндекса на ул. Станиславского. Узнать подробности и записаться можно по электронной почте: 13pm(at)yandex-team.ru или в комментариях.
Пожалуйста, если хотите записаться, в письмах и комментариях указывайте свой пол, возраст и то, являетесь ли Вы пользователем Яндекс.Карт, Google Maps или не пользуетесь ими. Желательно также указывать контактный телефон.
Я буду рассматривать только то, что видно из критериев рекрута, поскольку методология исследования мне недоступна, а строить предположения о ней на основании неполных данных было бы несколько опрометчиво.
Итак, что у нас есть? У нас есть три сегмента: пользователи Яндекс.Карт, Пользователи Google.Maps, не-пользователи обоих сервисов.
Первый же вопрос, с которым бы столкнулся 13pm, придя с такими критериями в полевой отдел исследовательской компании (а набором респондентов занимается отдельный отдел), это вопрос о запретных сферах. Для оценки пилотного номера журнала не приглашают дизайнеров и журналистов. Для тестирования мобильных телефонов не приглашают людей, занятых в сфере продажи и сервисного обслуживания оных. Почему? Да потому, что пользователь смотрит на все эти вещи с другой точки зрения, чем профессионал. Конечно, бывают случаи, когда приглашаются люди из запретных сфер, но это скорее экспертная оценка, чем изучение потребительского поведения.
Второй вопрос напрямую связан с тем, что люди являются живыми, а не представляют собой некую абстракцию: 1 и 2 группы, это т.н. "чистые пользователи": они не пользовались сервисом конкурента как минимум 4 месяца. Проблема в том, что эти пользователи будут неоднородны: среди них будут как и те, кто никогда не слышал про альтернативный сервис, так и те, кто "свитчнулся" (от слова switcher), перейдя от одного сервиса к другому. Обычно, мнение этих людей (свитчеров) наиболее интересно при проведения исследования, поскольку есть что-то, что заставило их перейти от одного сервиса к другому. При этом, они разбираются в обоих, и могут назвать достоинства и недостатки каждого из них. В этом исследовании такая категория может и не появится, поскольку не задана в критериях явным образом.
Третий вопрос, с которым 13pm столкнулся бы, если бы он пришел в полевой отдел с такими критериями, это разница в компетентности пользователей. Общеизвестно, что люди, использующие интернет более 3-х лет, имеют другие привычки и паттерны поведения, чем те, кто подключился сравнительно недавно. В данном случае критерий использования интернет включен только для отбора респондентов третьей группы, но не первых двух. А напрасно. Когда мы стали проводить исследования, связанные с интернет регулярно, мы создали шкалу, по которой мы оценивали компетентность пользователей интернет.
Менее критичные ошибки, которые также могут повлиять на качество исследования:
Рекрут добровольцев. Вокруг этого пункта сломано немало копий, но общая точка зрения такова: если человек слишком сильно мотивирован для участия в исследовании, то результаты, полученные с его помощью, часто отличаются от того, что скажет т.н. "рядовой пользователь".
Раскрытие заказчика. Очевидно, что явные упоминания компании-заказчика, в данном случае "Яндекса", будет влиять на мнение респондентов. Есть такая вещь, как "социальная желательность", и часто респонденты смягчают недостатки, говоря о них представителю компании-заказчика, в отличие от общения с исследователем из сторонней компании.
Рекрут через интернет, а не традиционным методом снежного кома. Тут есть два аспекта:
1. Неслучайная выборка (под выборкой здесь понимается совокупность респондентов, участвующих в исследовании): все респонденты являются пользователями ЖЖ, и подписчиками этого сообщества.
2. Опасность набора "профессиональных респондентов". В этом коммьюнити неоднократно пытались набирать респондентов на фокус-группы. Насколько я могу судить, в этом сообществе тусуются так называемые "профессиональные респонденты", а это бич качественных исследований. Потому что сегодня - они потребители элитного виски - а завтра курильщики недорогих сигарет.
В 2005 году была предпринята удачная попытка решения этой проблемы: крупные игроки на рынке качественных исследований объединили свои базы по тем респондентам, которые участвовали в фокус-группах. После этого, их количество на фокус-группах и глубинных интервью поубавилось. Но только у тех, кто подключен к этой базе. Мелкие конторы до сих пор от этого страдают.
Квота по полу. Если возраст указан явно (16-50 лет), то сколько нужно мужчин, а сколько женщин - не указано. Вполне возможно, что этот отбор они проведут после того, как наберут некий массив добровольцев, но опять же - это остается за кадром.
------------------------
И самое главное: для решения подобного рода вопросов, у тех, кто занимается исследованиями постоянно (а не в первый раз), уже есть наработанные способы, которые прошли проверку. В частности, есть скринер, есть критерии рекрута, есть контрольные вопросы и шкалы для того, чтобы отобрать тех, кто нужен именно для такого исследования. Впрочем, если кто-то хочет изобретать велосипед, значит это им зачем-то нужно.
P.S. Для сотрудников Яндекса. Гонорар за консультацию можно перевести на кошелек R397415976976 в системе WebMoney.
А тут еще хороший пример подвернулся: http://community.livejournal.com/ru_freelance/2266978.html
Яндекс исследование проводит. Своими силами, ага.
Известно, что высокий приход инвстиций в ту или иную область, провоцирует сначала быстрый рост, а затем усложнение рынка в целом, и выделение отдельных направлений (сиречь сегментация). Так было с тренингами, с HR, и с маркетинговыми исследованиями. Почему я сейчас акцентирую внимание на этих трех сферах? А вот почему: во всех трех так или иначе работают психологи.
Юзабилити, в отличие от этих трех сфер - больших инвестиций не снискало. Соответственно, тот путь, который прошли другие (от работы "на коленке" - до построения многоуровневой схемы работы с контролем качества) - не был пройден. Возможно, лет через 10 что-то изменится. А пока у нас есть то, что есть. Я сейчас это наглядно покажу на примере того самого исследования.
Оригинальный постинг продублирован ниже:
Компании Яндекс для проведения исследования требуются добровольцы, которые будут готовы потратить час-полтора своего времени на работу с несколькими интернет-сервисами.
Нам нужны:
• 6 активных пользователей Яндекс.Карт. Вы - активный пользователь, если пользуетесь Яндекс.Картами не менее 2-3 раз в месяц. И не пользуетесь аналогичными сервисами (другими картами, в т.ч. Google Maps) уже больше 4-х месяцев.
• 6 активных пользователей Google Maps. Можете считать себя активным пользователем, если пользуетесь Google Maps более 2-3 раз в месяц и не пользуетесь другими картами (в т.ч. Яндекс.Картами) более 4-х месяцев.
• 6 человек, которые за последние полгода не пользовались ни Яндекс.Картами, ни Google Maps и выходят в интернет не реже раза в месяц.
Возраст: от 16 до 50 лет. Особенно остро нужны те, кому больше 35 лет.
За участие в исследовании Вы сможете выбрать себе вознаграждение: 600 рублей или набор сувениров от Яндекса. Исследование будет проходить в офисе Яндекса на ул. Станиславского. Узнать подробности и записаться можно по электронной почте: 13pm(at)yandex-team.ru или в комментариях.
Пожалуйста, если хотите записаться, в письмах и комментариях указывайте свой пол, возраст и то, являетесь ли Вы пользователем Яндекс.Карт, Google Maps или не пользуетесь ими. Желательно также указывать контактный телефон.
Я буду рассматривать только то, что видно из критериев рекрута, поскольку методология исследования мне недоступна, а строить предположения о ней на основании неполных данных было бы несколько опрометчиво.
Итак, что у нас есть? У нас есть три сегмента: пользователи Яндекс.Карт, Пользователи Google.Maps, не-пользователи обоих сервисов.
Первый же вопрос, с которым бы столкнулся 13pm, придя с такими критериями в полевой отдел исследовательской компании (а набором респондентов занимается отдельный отдел), это вопрос о запретных сферах. Для оценки пилотного номера журнала не приглашают дизайнеров и журналистов. Для тестирования мобильных телефонов не приглашают людей, занятых в сфере продажи и сервисного обслуживания оных. Почему? Да потому, что пользователь смотрит на все эти вещи с другой точки зрения, чем профессионал. Конечно, бывают случаи, когда приглашаются люди из запретных сфер, но это скорее экспертная оценка, чем изучение потребительского поведения.
Второй вопрос напрямую связан с тем, что люди являются живыми, а не представляют собой некую абстракцию: 1 и 2 группы, это т.н. "чистые пользователи": они не пользовались сервисом конкурента как минимум 4 месяца. Проблема в том, что эти пользователи будут неоднородны: среди них будут как и те, кто никогда не слышал про альтернативный сервис, так и те, кто "свитчнулся" (от слова switcher), перейдя от одного сервиса к другому. Обычно, мнение этих людей (свитчеров) наиболее интересно при проведения исследования, поскольку есть что-то, что заставило их перейти от одного сервиса к другому. При этом, они разбираются в обоих, и могут назвать достоинства и недостатки каждого из них. В этом исследовании такая категория может и не появится, поскольку не задана в критериях явным образом.
Третий вопрос, с которым 13pm столкнулся бы, если бы он пришел в полевой отдел с такими критериями, это разница в компетентности пользователей. Общеизвестно, что люди, использующие интернет более 3-х лет, имеют другие привычки и паттерны поведения, чем те, кто подключился сравнительно недавно. В данном случае критерий использования интернет включен только для отбора респондентов третьей группы, но не первых двух. А напрасно. Когда мы стали проводить исследования, связанные с интернет регулярно, мы создали шкалу, по которой мы оценивали компетентность пользователей интернет.
Менее критичные ошибки, которые также могут повлиять на качество исследования:
Рекрут добровольцев. Вокруг этого пункта сломано немало копий, но общая точка зрения такова: если человек слишком сильно мотивирован для участия в исследовании, то результаты, полученные с его помощью, часто отличаются от того, что скажет т.н. "рядовой пользователь".
Раскрытие заказчика. Очевидно, что явные упоминания компании-заказчика, в данном случае "Яндекса", будет влиять на мнение респондентов. Есть такая вещь, как "социальная желательность", и часто респонденты смягчают недостатки, говоря о них представителю компании-заказчика, в отличие от общения с исследователем из сторонней компании.
Рекрут через интернет, а не традиционным методом снежного кома. Тут есть два аспекта:
1. Неслучайная выборка (под выборкой здесь понимается совокупность респондентов, участвующих в исследовании): все респонденты являются пользователями ЖЖ, и подписчиками этого сообщества.
2. Опасность набора "профессиональных респондентов". В этом коммьюнити неоднократно пытались набирать респондентов на фокус-группы. Насколько я могу судить, в этом сообществе тусуются так называемые "профессиональные респонденты", а это бич качественных исследований. Потому что сегодня - они потребители элитного виски - а завтра курильщики недорогих сигарет.
В 2005 году была предпринята удачная попытка решения этой проблемы: крупные игроки на рынке качественных исследований объединили свои базы по тем респондентам, которые участвовали в фокус-группах. После этого, их количество на фокус-группах и глубинных интервью поубавилось. Но только у тех, кто подключен к этой базе. Мелкие конторы до сих пор от этого страдают.
Квота по полу. Если возраст указан явно (16-50 лет), то сколько нужно мужчин, а сколько женщин - не указано. Вполне возможно, что этот отбор они проведут после того, как наберут некий массив добровольцев, но опять же - это остается за кадром.
------------------------
И самое главное: для решения подобного рода вопросов, у тех, кто занимается исследованиями постоянно (а не в первый раз), уже есть наработанные способы, которые прошли проверку. В частности, есть скринер, есть критерии рекрута, есть контрольные вопросы и шкалы для того, чтобы отобрать тех, кто нужен именно для такого исследования. Впрочем, если кто-то хочет изобретать велосипед, значит это им зачем-то нужно.
P.S. Для сотрудников Яндекса. Гонорар за консультацию можно перевести на кошелек R397415976976 в системе WebMoney.