Слепая дегустация в Garden: проверяем рейтинг Untappd
Вчера в Garden: Beer and Coffee мы проводили экспериментальную дегустацию с целью выяснить, насколько рейтинг пива в Untappd соответствует реальным потребительским предпочтениям. Мы взяли 10 IPA в американском стиле от лучших российских крафтовых пивоварен:
Jaws представляла Атомная Прачечная, AF Brew - Mosaic и Ingria, Victory Art Brew - Red Machine, Saldens Brewery - 4C AIPA, Plan B Brewery - Ковбой Мальборо, Stamm Beer - Hop Gun Rakau & Matueka, Zagovor Brewery - Midnight Moscow IPA, Bottle Share - нетипичный AIPA Brettomangocon, а еще мы добавили к дегустации новинку от 1516 Pub & Brewery и Green Street Brewery - Idaho IPA. Rockets & Bishops от пивоварни "Бакунин" искали по всей Москве, но так и не нашли, так что в последний момент пришлось заменить отсутствовавшую позицию Mosaic'ом, который очень удачно оказался на кране в Гардене, именно поэтому в итоге получилось 2 сорта от AF Brew.
Участникам дегустации было предложено попробовать и оценить 10 сортов пива, расставив их по местам: от 1 до 10.
Итак, в левой колонке вы видите расстановку и рейтинг данных сортов в Untappd. В правой - результаты слепой дегустации, в которой поучаствовало 25 человек, не знавших, что они пьют:
Стоит сразу оговориться: средний балл на нашей дегустации считался не так, как в Untappd. Сорта получали баллы в зависимости от того, на какое место их поставили участники. За каждое первое место сорт получал 10 баллов, за второе - 9 и т..д. Если, например, 1 и 2 место разделили два сорта, то каждый из них получал по 9,5 баллов (но таких ситуаций было мало).
Соответственно, средний балл "5" мог бы получить только тот сорт, который все 25 человек поставили бы на первое место. Ну и дальше, чем меньше у тебя первых-вторых-третьих мест по итогам голосования - тем ниже средняя оценка. Так что, средние баллы в Untappd и в нашем голосовании не тождественны друг другу. Единственное, что они демонстрируют - это преимущество одного сорта перед другим по итогам дегустации.
По баллам в итоге результаты оказались такие:
1. Атомная Прачечная - 208/250
2. 4C AIPA - 191/250
3. Red Machine - 179/250
4. Mosaic - 155/250
5. Hop Gun Rakau & Matueka - 147/250
6. Midnight Moscow IPA - 146/250
7. Idaho IPA - 117/250
8. Ingria Pale Ale - 112/250
9. Brettomangocom - 102/250
10. Ковбой Мальборо - 97/250
Если же сравнивать результаты Untappd со слепой дегустацией, то получается такая картина:
1. Атомная Прачечная, лидер Untappd, победил и в слепом голосовании. 6 человек из 25 поставили Прачку на первое место, 7 - на второе, 5 - на третье. Это лучший результат среди всех сортов.
2. 4C AIPA совершил подъем с пятого места на второе, уступив по итогам слепой дегустации только Прачке. На первое место 4С поставило сразу 6 человек, 4 - на второе и 4 на третье.
3. Red Machine подтвердил свой результат: третье место в Untappd, третье место в слепой дегустации. 5 человек поставили Машину на первое место, 5 на третье и 1 на второе.
4. Mosaic, занимающий второе место в Untappd, по итогам слепого голосования оказался четвертым. На первое место его поставили 2 участника, еще 4 - на второе.
5. Hop Gun Rakau & Matueka с седьмого места в Untappd поднялся на пятое. Сразу 4 человека поставили его на первое место, 2 - на второе. При этом сразу 3 участника поставили Hop Gun на последнее место (sic!). Это к вопросу о вкусовщине.
6. Midnight Moscow IPA от Zagovor с 8 места поднялся на 6, 2 человека оценили его выше всех, 1 поставил на второе место, 2 - на третье.
7. Idaho IPA, новинка, у которой еще недостаточно рейтингов, чтобы отображаться в списке TOP RATED в Untappd, так что мы поставили ее на условное 10 место: не по оценкам, но по недостатку отзывов. В слепой дегустации Idaho занял 7 место, также получив противоречивые оценки: 2 первых места, 2 вторых и при этом по 3 последних и предпоследних.
8. Ingria Pale Ale, четвертая в рейтинге из Untappd, стала восьмой по итогам слепой дегустации. 2 участника поставили ее на первое место, но было и 3 последних места.
9. Brettomangocon, как и Red Machine, остался на своем месте. Это, конечно, самая спорная позиция, потому что несколько выбивается из стиля, но раз в Untappd заведено в категории American IPA, мы решили, что должно участвовать. Оценки Brettomangocon еще нагляднее демонстрируют, какая же все это вкусовщина: есть 1 первое место, 2 вторых, 3 третьих, но при этом 4 предпоследних и 2 последних.
10. Ковбой Мальборо, шестой в списке из Untappd, оказался последним по итогам слепой дегустации. От участников он получил только одно третье место.
ВЫВОДЫ
В целом полностью опровергнуть Untappd не получилось. Факт: в ТОП-4 рейтинга Untappd и ТОП-4 рейтинга слепой дегустации 3 совпадающие позиции: Прачка (1 - 1), Мозаик (2 - 4) и Red Machine (3 - 3).
Значительно отличаются от рейтинга Untappd только 2 позиции: 4C AIPA от Salden's, поднявшаяся с 5 места на 2, и Ковбой Мальборо от Plan B, опустившийся с 6 места на 10. Но эти погрешности вполне объяснимы: Saldens Brewery уже не привыкать к тому, чтобы на "слепых" дегустациях показывать рейтинги выше, чем на зрячих, а последнее место "Ковбоя Мальборо" отделило от восьмой позиции (Ingria от AF Brew) всего 15 баллов: это меньше, чем разрыв между первым и вторым местом.
К тому же стоит учитывать, что качество пива у российских крафтеров часто "плавает" от варки к варке: иногда получается чуть лучше, иногда - чуть хуже. Так что в целом, на наш взгляд, рейтинг Untappd доказал, что он не настолько уж "беспочвенен", как о нем часто говорят.
И второй вывод, достаточно очевидный. Любой подобный эксперимент - это вкусовщина. Оценки большинства людей в Untappd, как и на нашей дегустации, - это оценки из категории "нравится - не нравится". Объективную оценку тому или иному сорту могут дать только не предвзятые, профессиональные пивные судьи (BJCP judge). Но, в конце концов, именно по принципу "нравится - не нравится" выбирает себе пиво большинство потребителей, а значит, этот принцип нужно и уважать, и изучать.
Наконец, хотелось бы особо поблагодарить Garden: Beer and Coffee и лично Тёму Перлина, Дмитрия Семенюка и Яна Стопычева за помощь в организации мероприятия.
До скорых дегустаций, друзья!
Jaws представляла Атомная Прачечная, AF Brew - Mosaic и Ingria, Victory Art Brew - Red Machine, Saldens Brewery - 4C AIPA, Plan B Brewery - Ковбой Мальборо, Stamm Beer - Hop Gun Rakau & Matueka, Zagovor Brewery - Midnight Moscow IPA, Bottle Share - нетипичный AIPA Brettomangocon, а еще мы добавили к дегустации новинку от 1516 Pub & Brewery и Green Street Brewery - Idaho IPA. Rockets & Bishops от пивоварни "Бакунин" искали по всей Москве, но так и не нашли, так что в последний момент пришлось заменить отсутствовавшую позицию Mosaic'ом, который очень удачно оказался на кране в Гардене, именно поэтому в итоге получилось 2 сорта от AF Brew.
Участникам дегустации было предложено попробовать и оценить 10 сортов пива, расставив их по местам: от 1 до 10.
Итак, в левой колонке вы видите расстановку и рейтинг данных сортов в Untappd. В правой - результаты слепой дегустации, в которой поучаствовало 25 человек, не знавших, что они пьют:
Стоит сразу оговориться: средний балл на нашей дегустации считался не так, как в Untappd. Сорта получали баллы в зависимости от того, на какое место их поставили участники. За каждое первое место сорт получал 10 баллов, за второе - 9 и т..д. Если, например, 1 и 2 место разделили два сорта, то каждый из них получал по 9,5 баллов (но таких ситуаций было мало).
Соответственно, средний балл "5" мог бы получить только тот сорт, который все 25 человек поставили бы на первое место. Ну и дальше, чем меньше у тебя первых-вторых-третьих мест по итогам голосования - тем ниже средняя оценка. Так что, средние баллы в Untappd и в нашем голосовании не тождественны друг другу. Единственное, что они демонстрируют - это преимущество одного сорта перед другим по итогам дегустации.
По баллам в итоге результаты оказались такие:
1. Атомная Прачечная - 208/250
2. 4C AIPA - 191/250
3. Red Machine - 179/250
4. Mosaic - 155/250
5. Hop Gun Rakau & Matueka - 147/250
6. Midnight Moscow IPA - 146/250
7. Idaho IPA - 117/250
8. Ingria Pale Ale - 112/250
9. Brettomangocom - 102/250
10. Ковбой Мальборо - 97/250
Если же сравнивать результаты Untappd со слепой дегустацией, то получается такая картина:
1. Атомная Прачечная, лидер Untappd, победил и в слепом голосовании. 6 человек из 25 поставили Прачку на первое место, 7 - на второе, 5 - на третье. Это лучший результат среди всех сортов.
2. 4C AIPA совершил подъем с пятого места на второе, уступив по итогам слепой дегустации только Прачке. На первое место 4С поставило сразу 6 человек, 4 - на второе и 4 на третье.
3. Red Machine подтвердил свой результат: третье место в Untappd, третье место в слепой дегустации. 5 человек поставили Машину на первое место, 5 на третье и 1 на второе.
4. Mosaic, занимающий второе место в Untappd, по итогам слепого голосования оказался четвертым. На первое место его поставили 2 участника, еще 4 - на второе.
5. Hop Gun Rakau & Matueka с седьмого места в Untappd поднялся на пятое. Сразу 4 человека поставили его на первое место, 2 - на второе. При этом сразу 3 участника поставили Hop Gun на последнее место (sic!). Это к вопросу о вкусовщине.
6. Midnight Moscow IPA от Zagovor с 8 места поднялся на 6, 2 человека оценили его выше всех, 1 поставил на второе место, 2 - на третье.
7. Idaho IPA, новинка, у которой еще недостаточно рейтингов, чтобы отображаться в списке TOP RATED в Untappd, так что мы поставили ее на условное 10 место: не по оценкам, но по недостатку отзывов. В слепой дегустации Idaho занял 7 место, также получив противоречивые оценки: 2 первых места, 2 вторых и при этом по 3 последних и предпоследних.
8. Ingria Pale Ale, четвертая в рейтинге из Untappd, стала восьмой по итогам слепой дегустации. 2 участника поставили ее на первое место, но было и 3 последних места.
9. Brettomangocon, как и Red Machine, остался на своем месте. Это, конечно, самая спорная позиция, потому что несколько выбивается из стиля, но раз в Untappd заведено в категории American IPA, мы решили, что должно участвовать. Оценки Brettomangocon еще нагляднее демонстрируют, какая же все это вкусовщина: есть 1 первое место, 2 вторых, 3 третьих, но при этом 4 предпоследних и 2 последних.
10. Ковбой Мальборо, шестой в списке из Untappd, оказался последним по итогам слепой дегустации. От участников он получил только одно третье место.
ВЫВОДЫ
В целом полностью опровергнуть Untappd не получилось. Факт: в ТОП-4 рейтинга Untappd и ТОП-4 рейтинга слепой дегустации 3 совпадающие позиции: Прачка (1 - 1), Мозаик (2 - 4) и Red Machine (3 - 3).
Значительно отличаются от рейтинга Untappd только 2 позиции: 4C AIPA от Salden's, поднявшаяся с 5 места на 2, и Ковбой Мальборо от Plan B, опустившийся с 6 места на 10. Но эти погрешности вполне объяснимы: Saldens Brewery уже не привыкать к тому, чтобы на "слепых" дегустациях показывать рейтинги выше, чем на зрячих, а последнее место "Ковбоя Мальборо" отделило от восьмой позиции (Ingria от AF Brew) всего 15 баллов: это меньше, чем разрыв между первым и вторым местом.
К тому же стоит учитывать, что качество пива у российских крафтеров часто "плавает" от варки к варке: иногда получается чуть лучше, иногда - чуть хуже. Так что в целом, на наш взгляд, рейтинг Untappd доказал, что он не настолько уж "беспочвенен", как о нем часто говорят.
И второй вывод, достаточно очевидный. Любой подобный эксперимент - это вкусовщина. Оценки большинства людей в Untappd, как и на нашей дегустации, - это оценки из категории "нравится - не нравится". Объективную оценку тому или иному сорту могут дать только не предвзятые, профессиональные пивные судьи (BJCP judge). Но, в конце концов, именно по принципу "нравится - не нравится" выбирает себе пиво большинство потребителей, а значит, этот принцип нужно и уважать, и изучать.
Наконец, хотелось бы особо поблагодарить Garden: Beer and Coffee и лично Тёму Перлина, Дмитрия Семенюка и Яна Стопычева за помощь в организации мероприятия.
До скорых дегустаций, друзья!