Таки да.
Намедни провели первую городскую сессию тестирования.
Как это было: В прошлом году у нас проходил круглый стол для тестеров, на нем я заикнулся о том, что неплохо бы по примеру питерских коллег такую движуху, когда тестеры собираются, общаются, делятся опытом на живом примере какого-нибудь местного продукта.
Идею тут же поддержали Юлия Герасимович и Марина Гончарова. Объектом тестирования мы попросили стать e96.ru и он в лице руководителя разработки Андрея нас в этом поддержал. Тут же заявлю, что без деятельного участия этих людей ничего из того, что я дальше буду описывать, не произошло бы.
К январю у нас все срослось и вот 19 числа в помещении, любезно предоставленном контуром, мы приступили.
Участники - 15 человек из шести компаний екатеринбурга и не только, от ручных тестировщиков до руководителей службы тестирования.
Продукт - интернет-магазин e96, для контроля процесса от него пришел не только руководитель разработки Андрей (я же правильно назвал должность?), продвигавший идею у себя в компании, но еще и ПМ с программистом. Как выяснилось потом, не зря.
Разбились на 7 команд плюс команда оргов (я и Александр Ахметов из Контура).
Я толкнул речь о том, что наша задача - получить море фана, а попутно раздербанить продукт, который нам дали.
По плану у нас были:
- Сессия исследовательского тестирования, 60 минут.
- Кофе-брейк, затем круглый стол, на котором хотели обсудить приемы и техники, которые каждый тестер использует у себя.
-Вторая сессия с использованием проектирования тестов, 90 минут.
- Обед.
- Раздача слонов.
О слонах. e96 пообещал и сдержал слово - предоставить памятные ништяки всем, а победителям - призы.
Началась первая сессия, я - в команде оргов.
Для тестирования была выбрана фича - корзина, причем на нашем тестовом стенде находилось то, чего еще не было на боевом.
На первый взгляд никаких проблем не видно, и я начинаю бояться, что мы всей толпой найдем лишь пару Trivial - и мне будет немного стыдно перед e96.
Но Александр, в паре с которым я работал, набросился на эту корзину прям таки яростно. За первые полчаса мы наколупали четыре баги, не очень серьезных, но все-таки.
А втянувшись обнаружили пару действительно серьезных уязвимостей.
И совершенно внезапно оказалось, что час прошел, нам пора на перерыв, и вообще приехал обед (который, кстати, тоже любезно был оплачен тестируемым продуктом).
И вот тут настал момент моей профессиональной и организаторской гордости: мы минут десять пытались оторвать участников от поиска и заведения багов в сторону пиццы, чая, морса и прочего кофе. Народ сидел и продолжал яростно искать и заводить баги, руки тянулись к ноутбукам.
После обеда - круглый стол с рассказами, байками и советами из жизни тестировщика. Даже немного поспорили.
Было что сказать не только опытным тестерам, но и тем, кто работает меньше года.
Часть второй сессии тестирования я хотел провести без приложения - только на бумаге. Чтоб включился мозг и воображение. И вообще компьютер мешает думать.
Но звезды решили иначе и команды пошли вновь давить по клавишам.
Половина моей команды ушла по делам, а я пошел брать интервью у e96.
Тут я испытал второй приступ гордости - за коллег: все три представителя в поте лица только и успевали что проверять заведенные баги и расставлять им веса.
Вторая сессия закончилась так же быстро как и первая, и, пока e96 выяснял какая команда победила, коллеги давали мне мудрые советы по организации процесса.
Некоторые из них(на будущее):
- Отобрать у команд вторые ноутбуки, пусть работают за одним, иначе получается какая-то сольная работа.
- Нужны минимум два организатора и минимум два представителя продукта, способных оценивать баги и отвечать на вопросы.
- В следующий раз предложить участникам самим выбрать продукт, устроить голосование.
- Определиться с запоминающимся названием мероприятия.
- Использовать багтрекер с формой ввода багов, а не самопальные гуглдоки.
- Увеличить время сессии тестирования до 90-120 минут.
- Устроить мастер класс часика на полтора, а затем - практикум по нему.
- Придумать номенации. Самый первый баг. Первый критичный баг. Баг, найденный с карандаша, не заходя в продукт..
- В качестве объекта взять банкомат, платежный терминал.
Как-то так.
К этому моменту баги были подсчитаны и оценены.
Результат потрясающий. За 2,5 часа тестирования команды:
Первая: заявила 14 багов
Вторая: заявила 13 багов
Третья: заявила 18 багов
Четвертая: заявила 16 багов
Пятая: заявила 28 багов
Шестая: заявила 23 бага
Седьмая: заявила 35 багов
Восьмая команда оргов, вне зачета: заявили 9 багов.
От половины до двух третей этих багов признаны реальными, треть - серьезными и достойными оперативного исправления (Major).
И да, команда организаторов хоть и нашла меньше всех багов, и набрала меньше всех очков, но нашла вдвое больше Critical, чем остальные (вместе взятые). Мы еще могём.
После оглашения результатов победителям (команда семь, ребята просто напалмом жгли) были вручены призы от e96. Что-то вкусное и алкоголь. Или вкусный алкоголь. Победителям понравилось.
Что я хочу сказать по результатам?
Я боялся что будет скучно участникам - их было не оторвать от продукта, они рвались в бой и просили еще.
Я боялся, что мы найдем мало багов и продуктам будем не нужны - но мы нашли много больше, чем ждал e96 и чем я вообще мог предположить. Ребята фичу просто в клочья порвали.
Для e96 профит несомненный - до выхода в production были обнаружены несколько серьезных уязвимостей, масса дефектов юзабилити и не очень.
Если предлагая идею в первый раз я говорил, что мы наверное найдем баги и надеюсь это будет полезно продукту, то сейчас смело могу говорить, что к вам в гости зайдут одни из лучших в профессии и камня на камне не оставят.
Еще раз - большое спасибо Юле из it-people, Марине из СКБ-Контура и Андрею из e96.
Следующей тест-сессии быть.
Следующей тест-сессии быть гораздо интересней чем эта.
disclaimer Ни пост, ни движуха не являются рекламой и не оплачены никем. Все было абсолютно бесплатно и на добровольной основе.
Как это было: В прошлом году у нас проходил круглый стол для тестеров, на нем я заикнулся о том, что неплохо бы по примеру питерских коллег такую движуху, когда тестеры собираются, общаются, делятся опытом на живом примере какого-нибудь местного продукта.
Идею тут же поддержали Юлия Герасимович и Марина Гончарова. Объектом тестирования мы попросили стать e96.ru и он в лице руководителя разработки Андрея нас в этом поддержал. Тут же заявлю, что без деятельного участия этих людей ничего из того, что я дальше буду описывать, не произошло бы.
К январю у нас все срослось и вот 19 числа в помещении, любезно предоставленном контуром, мы приступили.
Участники - 15 человек из шести компаний екатеринбурга и не только, от ручных тестировщиков до руководителей службы тестирования.
Продукт - интернет-магазин e96, для контроля процесса от него пришел не только руководитель разработки Андрей (я же правильно назвал должность?), продвигавший идею у себя в компании, но еще и ПМ с программистом. Как выяснилось потом, не зря.
Разбились на 7 команд плюс команда оргов (я и Александр Ахметов из Контура).
Я толкнул речь о том, что наша задача - получить море фана, а попутно раздербанить продукт, который нам дали.
По плану у нас были:
- Сессия исследовательского тестирования, 60 минут.
- Кофе-брейк, затем круглый стол, на котором хотели обсудить приемы и техники, которые каждый тестер использует у себя.
-Вторая сессия с использованием проектирования тестов, 90 минут.
- Обед.
- Раздача слонов.
О слонах. e96 пообещал и сдержал слово - предоставить памятные ништяки всем, а победителям - призы.
Началась первая сессия, я - в команде оргов.
Для тестирования была выбрана фича - корзина, причем на нашем тестовом стенде находилось то, чего еще не было на боевом.
На первый взгляд никаких проблем не видно, и я начинаю бояться, что мы всей толпой найдем лишь пару Trivial - и мне будет немного стыдно перед e96.
Но Александр, в паре с которым я работал, набросился на эту корзину прям таки яростно. За первые полчаса мы наколупали четыре баги, не очень серьезных, но все-таки.
А втянувшись обнаружили пару действительно серьезных уязвимостей.
И совершенно внезапно оказалось, что час прошел, нам пора на перерыв, и вообще приехал обед (который, кстати, тоже любезно был оплачен тестируемым продуктом).
И вот тут настал момент моей профессиональной и организаторской гордости: мы минут десять пытались оторвать участников от поиска и заведения багов в сторону пиццы, чая, морса и прочего кофе. Народ сидел и продолжал яростно искать и заводить баги, руки тянулись к ноутбукам.
После обеда - круглый стол с рассказами, байками и советами из жизни тестировщика. Даже немного поспорили.
Было что сказать не только опытным тестерам, но и тем, кто работает меньше года.
Часть второй сессии тестирования я хотел провести без приложения - только на бумаге. Чтоб включился мозг и воображение. И вообще компьютер мешает думать.
Но звезды решили иначе и команды пошли вновь давить по клавишам.
Половина моей команды ушла по делам, а я пошел брать интервью у e96.
Тут я испытал второй приступ гордости - за коллег: все три представителя в поте лица только и успевали что проверять заведенные баги и расставлять им веса.
Вторая сессия закончилась так же быстро как и первая, и, пока e96 выяснял какая команда победила, коллеги давали мне мудрые советы по организации процесса.
Некоторые из них(на будущее):
- Отобрать у команд вторые ноутбуки, пусть работают за одним, иначе получается какая-то сольная работа.
- Нужны минимум два организатора и минимум два представителя продукта, способных оценивать баги и отвечать на вопросы.
- В следующий раз предложить участникам самим выбрать продукт, устроить голосование.
- Определиться с запоминающимся названием мероприятия.
- Использовать багтрекер с формой ввода багов, а не самопальные гуглдоки.
- Увеличить время сессии тестирования до 90-120 минут.
- Устроить мастер класс часика на полтора, а затем - практикум по нему.
- Придумать номенации. Самый первый баг. Первый критичный баг. Баг, найденный с карандаша, не заходя в продукт..
- В качестве объекта взять банкомат, платежный терминал.
Как-то так.
К этому моменту баги были подсчитаны и оценены.
Результат потрясающий. За 2,5 часа тестирования команды:
Первая: заявила 14 багов
Вторая: заявила 13 багов
Третья: заявила 18 багов
Четвертая: заявила 16 багов
Пятая: заявила 28 багов
Шестая: заявила 23 бага
Седьмая: заявила 35 багов
Восьмая команда оргов, вне зачета: заявили 9 багов.
От половины до двух третей этих багов признаны реальными, треть - серьезными и достойными оперативного исправления (Major).
И да, команда организаторов хоть и нашла меньше всех багов, и набрала меньше всех очков, но нашла вдвое больше Critical, чем остальные (вместе взятые). Мы еще могём.
После оглашения результатов победителям (команда семь, ребята просто напалмом жгли) были вручены призы от e96. Что-то вкусное и алкоголь. Или вкусный алкоголь. Победителям понравилось.
Что я хочу сказать по результатам?
Я боялся что будет скучно участникам - их было не оторвать от продукта, они рвались в бой и просили еще.
Я боялся, что мы найдем мало багов и продуктам будем не нужны - но мы нашли много больше, чем ждал e96 и чем я вообще мог предположить. Ребята фичу просто в клочья порвали.
Для e96 профит несомненный - до выхода в production были обнаружены несколько серьезных уязвимостей, масса дефектов юзабилити и не очень.
Если предлагая идею в первый раз я говорил, что мы наверное найдем баги и надеюсь это будет полезно продукту, то сейчас смело могу говорить, что к вам в гости зайдут одни из лучших в профессии и камня на камне не оставят.
Еще раз - большое спасибо Юле из it-people, Марине из СКБ-Контура и Андрею из e96.
Следующей тест-сессии быть.
Следующей тест-сессии быть гораздо интересней чем эта.
disclaimer Ни пост, ни движуха не являются рекламой и не оплачены никем. Все было абсолютно бесплатно и на добровольной основе.