В некотором царстве, в некотором государстве жила маленькая команда тестировщиков. Жила не худо, не богато, выполняла свои обязанности, о завтрашнем дне не думала, прошлого не вспоминала. И вот однажды столкнулась она с неразрешимыми проблемами. Команду тихо засасывало болото релизов, задач и дедлайнов, а горизонт радужных перспектив и светлого будущего постепенно скрывался за горами текучки. Долго она думала, что же делать, пока не прознала, что в соседнем царстве тестировщиков приглашали гостя заморского, он им все проблемы разом и решил. А имя того молодца – «аудит ясно-солнышко». Маленькая команда зазвала молодца к себе и понеслось…
Введение
Так начиналась история нашего аудита на одном из проектов. Команда, как вы поняли, была немногочисленной и состояла всего из трех QA специалистов. Тестирование на проекте начиналось с одного тестировщика, но после увеличения штата команда ощутила острое непонимание вопросов «что происходит» и «куда двигаться дальше». Помог ли аудит? Расскажу в конце.
Надо заметить, что тестировщики на этом проекте были единственной удаленной командой. Сотрудники не имели возможности подойти за уточнениями к разработчику, пообедать с менеджером, покурить с аналитиком. В то же время они могли работать из любой точки земли без привязки к конкретному офису или городу. Распределенность команды стала одним из определяющих факторов при оценке процессов тестирования на проекте. Аудит был проведен очень быстро, мы уложились в 2 недели. За это время анализу подверглись:
- ожидания заказчика;
- команда тестировщиков;
- показатели процесса тестирования;
- артефакты.
Анализ ожиданий заказчика
Начали мы с самого главного – с ожиданий заказчика. Как правило, этот момент почему-то упускается из виду, а ведь «хотелки» Заказчика являются определяющими в работе аутсорсинга. На нашем проекте тоже не уделяли этому должного внимания, поэтому результаты опроса для команды стали откровением. Мы запустили анкету, где респонденты оценили процессы тестирования на проекте по пятибалльной шкале:
Анкетированию подверглись представители менеджмента, разработки и аналитики. Ожидания от тестирования оказались различными. Менеджмент радел за скорость работы, разработка – за качество багтрекинга, аналитика – за возможность совершенствовать свои процессы.
Мы быстро обработали результаты анкетирования, сгенерировали и возвели в ТОП задачи по выявленным проблемам, назначили ответственных и дедлайны.
Анализ команды тестировщиков
Эта часть аудита стала для команды самой весомой. Рассматривались следующие области:
- структура команды;
- оценка квалификации ребят;
- внутренние и внешние коммуникации.
На этом этапе был составлен масштабный документ с описанием команды, где были указаны роли, зоны ответственности, желаемые и нежелаемые задачи, квалификация в тестировании, понимание прикладной области и технические навыки каждого члена команды. Аудиторы свели воедино десятки созвонов, анкет и опросов. Мы получили наглядную картину по команде, а также дали полезные рекомендации по дальнейшему развитию. В итоге ТМ составил долгосрочные планы обучения для каждого члена команды.
Тяжело дался разбор внутренних коммуникаций. Сложившаяся атмосфера взаимопонимания оказалась лишь видимостью. Благодаря аудиту сотрудники смогли высказать накопившиеся претензии, после чего выдохнули с облегчением и посмотрели друг на друга совсем другими глазами. Характерно, что эту проблему нельзя считать спецификой распределенной команды – по опыту, такие случаи бывают и в офисах. Самый главный лайфхак, который мы вынесли из аудита, прост и понятен (но не всегда почему-то используется) – это использование командных митингов: с утра ТМ задает настроение команде и сам заряжается позитивом от общения, при разборе сложной задачи ребята также брейнштормят на созвоне. А еще в команде попробовали видеозвонки для митингов, что позволило преодолеть формальность и скованность в общении.
Анализ показателей процесса тестирования
В результате аудита был составлен список измеримых показателей на проекте – KPI проекта. Информация по этим показателям собиралась в конце каждого месяца, и сейчас, по истечении 4 месяцев беспрерывного сбора, команда:
- отказалась от некоторых неинформативных метрик;
- получила возможность выставить норму по некоторым метрикам (среднее значение);
- сама придумала метрики, над которыми хотела бы работать.
- багтрекинга;
- управления тестами;
- отчетности.
Анализ артефактов
Аудиторы провели титаническую работу по анализу:
В результате анализа багтрекинга были разработаны и введены в эксплуатацию стандарты и требования по единому оформлению репортов.
Анализ управления тестами состоял из нескольких этапов, а именно:
- опрос членов команды на предмет подхода к написанию тест-кейсов, понимания процесса написания тест-кейсов, уровня знаний в направлении тест-анализа и тест-дизайна;
- анализ существующих тест-кейсов на предмет качества их написания;
- сбор и анализ данных о регрессе.
В результате анализа тестов последовали рекомендации, на основании которых были разработаны внутренние стандарты (они используются до сих пор).
В настоящее время формальные отчеты по тестированию на проекте отсутствуют. О статусе тестирования релиза Заказчик узнает из Джиры, по каждой версии релиза формируется список задач, выполнение которых отображается прогресс-баром.
Существует гугл-документ, где команда тестирования дополнительно отмечает готовность тест-кейсов по задачам и эстимацию. По результатам тестирования в комментариях к задаче специалисты добавляют отчет из нескольких строк. В целом, отсутствие формализованных отчетов упрощает и ускоряет процесс тестирования на проекте. Тут изменений не было.
Итог
Итак, помог ли аудит? Однозначно – да! Команда получила не только оценку процессов тестирования на проекте, но и важные рекомендации по оптимизации работы. Аудит задал вектор развития, установил цели. А с обозримыми целями, как говорится, и жить веселей. Хотите добиться того же? Зовите аудиторов ЛК к себе!
