Оригинал — Christin Wiedemann, перевод — Ольга Алифанова
Я выступила с докладом о методе xBTM на конференции STARWest 2011. В зале присутствовал Джон Бах, который дал нам ряд полезных рекомендаций.
Недавно я тестировала версию 1.5 инструмента для управления сессионным тестированием STBTExecute. Команда хотела выпустить приложение как можно быстрее, а так как я тогда путешествовала, времени на тестирование почти не оставалось. Мы решили, что я буду тестировать финальную версию в течение четырех часов, и я выбрала xBTM-подход для тестирования. В этой статье я проведу вас через четыре часа тестирования при помощи этого метода и расскажу о результатах.
Тест-план
Я начала с создания ментальной карты, которая служила мне тест-планом. Я предпочитаю XMind для этих целей. Вначале я создала новую карту и сделала наше приложение – SBTExecute – центральной темой. Несколько минут я размышляла над очевидными подразделами для этой темы и придумала следующие:
- Конфигурация
- Документация
- Запуск
- Импорт
- Генерация
- Отчетность
Я добавила шесть этих подразделов на карту, после чего решила добавить стресс-тестирование:
Затем я потратила минут двадцать, размышляя над идеями для тестирования (цепочками) и записывая их в соответствующей области ментальной карты. Так как тестировала я это приложение не впервые, у меня уже был ряд готовых идей. Итак, через примерно полчаса мой тест-план был готов.
Тестирование
Я начала с функции импорта, так как она – ключевая для приложения. Если информация из отчетов о сессиях не импортируется – можно дальше не проверять. Я оценила цепочки в разделе «импорт» как укладывающиеся в сессию длиной в 45 минут. Чтобы отметить это в плане, я поменяла цвет всех этих цепочек на синий:
Отчеты о сессиях я пишу в шаблоне SBTExecute для Excel и использую функционал ментальной карты, чтобы привязать отчетность к плану тестирования. Иконка желтого листочка у раздела «Импорт» показывает, что для раздела есть заметка, которую можно просмотреть и отредактировать по клику на иконке:
Я начала сессию тестирования, делая в процессе пометки в отчете. Как только я понимала, что тестирование какой-либо цепочки можно завершать, я добавляла зеленую иконку «проверено» на ментальную карту. Во время сессии я поняла, что не хочу тестировать цепочку «Неверные данные», так как валидация данных встроена в шаблон Excel. Я поставила эту цепочку на паузу, чтобы вернуться к ней позднее, если останется время. На ментальной карте появилась соответствующая иконка и комментарии, почему работа над цепочкой была приостановлена:
Затем я вспомнила, что не расставила приоритеты для областей тестирования. Приоритет я выставила при помощи разноцветных цифр, где 1 – наивысший, а 6 – низший приоритет:
Как оказалось, инструмент работает только с файлами в xslx-формате, и не может читать старые xls-файлы. Я точно не знала, баг это или фича, поэтому пометила цепочку вопросительным знаком и оставила к ней заметку.
Я завершила сессию, но так как меня распирало любопытство по поводу читаемого формата файлов, вместо новой сессии я решила взглянуть на область «Конфигурация». Несколько минут я провела, создавая отчеты о сессиях в версиях Office 97-2003 и Open Office, и пытаясь загрузить их в систему. Эти цепочки тестировались именно как цепочки, а не в рамках сессии. Я потратила на них всего несколько минут, так как это была область низкого приоритета, написала к ним короткую заметку, поставила цепочки на паузу, чтобы вернуться к ним позже. Если бы я вернулась к ним (чего я в результате не сделала), я бы продолжила делать заметки в специальном окошке:
Далее я решила протестировать все цепочки в области «Генерация» в рамках сессии, по аналогии с областью «Импорт»:
Я нашла несколько дефектов и пометила их на карте красным крестом. Когда я обнаруживала дефект, я делала заметку на карте с ID и описанием дефекта. Эта же информация включалась в отчет о сессии.
Завершив сессию «Генерация», я углубилась в раздел «Отчетность». По моим прикидкам, подразделы «Итерационные отчеты» и «Сводные отчеты» были достаточно крупными, чтобы объединить их в сессионное тестирование.
Проведя три сессии и протестировав две цепочки по отдельности, я привела свою ментальную карту к следующему виду:
Документация к приложению состоит из трех учебников, и я тестировала их как цепочки. На этом моменте у меня уже практически не оставалось времени, поэтому я просто бегло пролистала их. Я использовала частично закрашенные квадратные иконки, чтобы продемонстрировать, как далеко я продвинулась в тестировании каждого документа, и я оставляла краткие заметки. Отчет о сессии я не оформляла, так как тестировала их как цепочки. Последние несколько минут я потратила на запуск приложения с различными параметрами, что тоже проверялось как цепочка, так как на сессию уже не хватало времени.
Отчет о тестировании
Мои четыре часа истекли, и я завершила тестирование. На этом этапе у меня был отчет о тестировании в форме последней версии моей ментальной карты:
У меня также были на руках три отчета о сессиях (Импорт, Генерация, Отчетность) и список дефектов.
Если бы у меня было больше времени, я бы вернулась к поставленным на паузу или частично протестированным цепочкам и продолжила работу, делая пометки к соответствующим подразделам. Я бы также исследовала еще не протестированные цепочки.
