еще про опрос клиентов: наши и не наши

[service_picky]

В продолжение к предыдущему посту Мониторинг удовлетворенности клиентов и футбол сегодня получил от американского хостинг-провайдера письмо:
We Know You're Busy -- That's Why Our Survey Is Only 2 Questions
Мы знаем, что вы заняты, вот почему в нашей анкете всего два вопроса

Зашел, и, ожидаемо, вижу тот же NPS (net promotion score):

Comments

[service_picky]

Я вас ждал в этой записи ))
про конкуренцию в целом верно, конечно, и в конечном счете всегда только в ней дело. Возможно и с этой метрикой - слишком много косяков, чтобы всерьез говорить о горячих рекомендациях... а может, это проявление высокой степени признания и не может клиент воспринимать что такое "порекомендовал бы от 0 до 7", как свежесть у осетрины... но это пока наши рассуждения.

Однако вы зря свели смысл NPS к жалобам только. Это (в задумке) сводная метрика про все сразу. Ведь бывают "елочные игрушки, которые не радуют" - т.е. жалоб нет, но и радости от такого провайдера услуги/товара тоже особо никакой.

Вы интересную модель (вроде 8,9,10=1, 0,1,2,3,4,5,6,7=0) предлагаете, но т.к. она не обоснована, то волюнтаристским решением такую дискретизацию я например не рискую вводить. И у моих клиентов - средние. Более того, "у вас" там точно также делают (или мы точно также делаем), и есть устоявшаяся методика со средними по 10-балльной шкале, которые в отчетах *10, т.е. приводят к индексу вроде "общая удовлетворенность клиентов за 2013 год составила 86 баллов". Вот как эта методика называется:

The American Customer Satisfaction Index (ACSI) is the national indicator of customer evaluations of the quality of goods and services available to U.S. residents. It is the only uniform, cross-industry/government measure of customer satisfaction.

собссно, маркетинг тоже глобализировался (как php или java). А вот результаты не всегда.

[morfizm]

Мне интуитивно кажется, что есть какая-то граница N = нормально, и процент жалоб это важнейшая метрика. Какой-то общий score удовлетворённости (радуют ли игрушки) может и важен, но он на втором месте после жалоб. Жалобы показывают скорость оттока людей к конкурентам, это утечка денег, компенсируемая (но лишь до какой-то степени) генерируемыми новыми притоками. Когда все кто мог бы попробовать, попробуют сервис, то отток определит скорость, с которой бизнес умрёт :)

Но это всё мои домыслы. Вам лучше не со мной дружить, а с каким-нибудь американцем, работающим в sales and marketing, желательно в аналитике. У меня таких знакомых нет. Есть только программеры, математики, дизайнеры и юристы. Есть дата-аналитики и статистики, но они не в маркетинге :)

[morfizm]

Может быть, недискретная величина нужна просто потому, что у разных психологических типов людей величина порогового N разная, и это надо учитывать.

[service_picky]

да, и это тоже. А еще известно, что в принципе сами жалуются что-то около 3-4% людей, еще около 30% - если спросят, остальные молча уходят. Тут уже много что известно, но еще больше остается загадок )) Про дружить - это бы я с удовольствием, но придется писать все посты и по-англ., это пока с непонятным результатом труд.

[morfizm]

Посты же не обязательно делать на английском. Можно дружить отдельной перепиской, при случае встречаться :) Но не мне вас учить - у вас наверное лучше нетворкинг прокачен, по профессии положено ;)

[morfizm]

Ну и ещё, мне кажется, "средние" ответы - типа, в среднем по респондентам 5 очков из 10, это офигенно плохо, нужно бить во все колокола, реорганизовывать компанию и т.п. :)

Хотя, может, я не прав, если выборка "вообще ответивших" сильно смещена в сторону тех, кому не понравилось.

Если мы предполагаем справедливую выборку (скажем, как в телефонном опросе случайных людей по случайным номерам), то жизнеспособный сервис должен давать рейтинги порядка 80-90%. Опять же, числами не располагаю, это мои интуитивные домыслы. Но вам ничего не мешает связаться с bluehost и спросить, какой у них рейтинг. Вдруг ответят? Или через linked in выйти на какого-нибудь их работника и познакомиться.

[service_picky]

вы правильно предполагаете, у моих клиентов из предыдущего поста, например, общая средняя почти 9. Только вот NPS не работает ))

[morfizm]

А как вы заключили, что он не работает?
Может быть правильный вопрос - что нужно сделать, чтобы в следующем году было 9.5? (читать внимательно все эти ответы в text boxes и думать, что сделать по каждому ответу, чтобы эта проблема никогда больше не происходила?).
Т.е. может быть именно в интервале от 9.0 до 10.0 и находится та шкала, которую нужно оптимизировать, и типа, 9.0 это плохо, а 10.0 это хорошо? :)

[service_picky]

с некоторыми клиентами так и есть, на самом деле - все не очень, но оценка 9. Не работает, т.к. слишком буквально воспринимают вопрос - в пред. посте описаны ответы респондентов.

[morfizm]

Я читал предыдущий пост, но я оттуда не сделал вывод будто бы NPS не работает. По-моему, он работает тогда и только тогда, если его рост коррелирует с метриками удержания клиентов и с метриками прироста новых. Чтобы понять, коррелирует или нет, нужны как минимум две точки измерений, разбросанные во времени. По одной точке невозможно ничего заключить.

[morfizm]

Коррекция: чтобы увидеть хоть малейшую корреляцию прироста нужны три точки, а не две. Лучше больше. Каждая точка - это полновесный опрос с кучей респондентов.

[morfizm]

По-моему, основная ценность NPS - это предсказательная корреляция для более важных маркетинговых метрик. Типа, если дела плохи, это сразу не видно, потому что пользователи ещё не ушли, но это может прямо сегодня уронить NPS score. А вот *завтра* уже начнутся неприятности.

[service_picky]

угу, а еще гораздо проще и поставщику и клиенту задать только 1 вопрос (или два, если не 10), чем проводить полномасштабное интервью/анкетирование.

а не работает просто потому, что не отвечают толком на этот вопрос. Он был в конце, примерно как у The American Customer Satisfaction Index и во всех остальных источниках. На предыдущие отвечают, а тут затык - приходится разъяснять и уговаривать. Тут у меня исследование пока одно, но вижу что и другие от опроса на NPS отказались, например раньше МТС время от времени звонил с такими вопросами. Это, конечно, мало, но настораживает.

[morfizm]

Для меня всё равно звучит неубедительно. Откуда вы знаете, что на Западе люди по-другому относятся к этому вопросу? Мне кажется, намного менее важно, понимают ли люди вопрос, и действительно ли их ответ означает, что они будут кому-то рекомендовать или нет, более важно, является ли полученная агрегированная цифра характеризующей для общего качества сервиса и обладает ли она предсказательной силой к таким измениям как потеря постоянных клиентов.

Upd: тот факт, что местные российские компании пробуют NPS и от него отказываются, опять же, совсем не обязательно означает, что NPS не работает. Второй вариант - это может означать, что эти компании NPS-ом не умеют пользоваться :)

[morfizm]

Ещё, может быть, надо рассматривать текстовую форму просто как дополнительную возможность обратной связи, но как основную метрику смотреть только на число NPS. Если число падает, это может послужить триггером к более дорогостоящему изучению проблем customer'ов. Кроме того, можно коррелировать изменения этого числа и какие-то изменения в политике работы компании, и косвенно их оценивать.