Открыть список
Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Об исследовательском тестировании в Microsoft Test Manager 2012

Тестирование IT-системVisual Studio
Пару дней назад была статья об исследовательском тестировании, и я хотел бы продолжить тему описанием одного из инструментов, поддерживающих процесс такого тестирования.
Что, собственно, мы ожидаем от такого инструмента, если в исследовательском тестировании у нас нет ни сценария, ни плана, ни четких критериев оценки правильности поведения системы?

Требования к инструменту


На мой взгляд, такой инструмент должен:
  1. Быть интегрирован с системой баг-трекинга, чтобы можно было заводить дефекты по мере их обнаружения
  2. Автоматически документировать обнаруженный дефект. Это важно, когда тест идёт не по сценарию, а в произвольной последовательности, которую невозможно держать в голове
  3. Обеспечивать возможность повторения последовательности исследовательского теста
  4. Быть интегрирован с системой управления требованиями — чтобы по возможности привязывать обнаруженные дефекты к требованиям
  5. Быть интегрирован с системой управления тестами, чтобы:
  • проводить все виды тестирования в единой среде
  • создавать новые сценарии тестирования на основе исследовательских тестов

Собственно, оптимальным вариантом в этом смысле будет наличие поддержки исследовательского тестирования в интегрированном инструменте управления требованиями, тестами и дефектами. Об одном из таких инструментов — Microsoft Test Manager 2012 — я и хочу рассказать.
В 2012-й версии MTM появилась поддержка исследовательского тестирования. Способы применения этого функционала мне видятся следующие:
  1. Проведение исследовательского тестирования в дополнение к тестам по сценариям
  2. Проведение тестирования в условиях отсутствия сценариев тестирования
  3. Быстрое создание новых сценариев тестирования через сеансы исследовательского тестирования
смотреть картинки и объяснения, как оно работает
Всего голосов 22: ↑20 и ↓2 +18
Просмотры13.3K
Комментарии 1

Туры в исследовательском тестировании. Личный перевод из книги Д. Виттакера «Исследовательское тестирование ПО»

Учебный процесс в IT
Из песочницы

Туристическая метафора


Представьте себе типичного туриста, который посещает какой-нибудь туристический город. Здесь есть что посмотреть. Здесь есть что поделать. Да начнется трудная «работа»! То же и с тест-инженерами, которые нацелены максимально полно исследовать свой город – программный продукт.

Встает множество вопросов. Какой транспорт взять? Как уложиться во времени? Как проложить сквозной маршрут? Как вести себя при отсутствии хорошего места для селфи? Нужно ли разбираться с этим самому или звать полицейского?

Стратегия и цели. Если они отсутствуют, лучше сидеть дома. Цели существенно определяют план туриста: время и места. И они будут совершенно разные, например, для моряков, которые полгода были в плавании, и студентов… Ну, может пример и не лучший.

Ведь как может получится. Без плана и стратегии можно встретить интересные места. Иногда интересные места сложно пропустить. Но что это за места, какое значение они имеют, какова их история. Это можно упустить. Проехав в метро без карты, можно совершенно не осознать, какое расстояние было преодолено: 5 остановок – это много или мало? Когнитивные психологи сказали бы: «Ваша когнитивная карта не адекватна», а нейрофизиологи пригласили бы Вас к изучению ЛЦК (это безопасный метод изучения мозга). Для тест-инженера подобная карта (покрытия) опасна.

Для Виттакера – это типичное описание того, как происходит тестирование. Это freestyle. И, возможно, не будет другого шанса посетить эти чудные места. Это будет первый и последний раз. Именно поэтому нужно избегать бесцельности в исследовании и рисковать тем, что мы можем пропустить существенную функциональность или важный баг.

Но не списывайте со счетов freestyle тестирование. Оно приобретает весомые преимущества в связке со сценарным подходом, поскольку сценарии не всегда описывают все интересные «улочки и аллеи» (для моряков и студентов – это очень актуально).

В этом смысле туризм – сочетание кантовской свободы и татлинской (а для кого-то фуллеровской) структуры.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры14.5K
Комментарии 2

QA-процесс в Miro: отказ от водопада и ручного тестирования, передача ответственности за качество всей команде

Блог компании MiroТестирование IT-системТестирование веб-сервисовТестирование мобильных приложенийУправление разработкой
Наш текущий QA-процесс мы прорабатывали порядка двух лет и он продолжает активно развиваться. Он может казаться очевидным, но когда мы начали внедрять его в новой команде, которая полностью состояла из новых разработчиков, то поняли, что сразу внедрить его сложно. Многие привыкли работать иначе и для переключения им требуется сделать единовременно много изменений — это сложно. Однако внедрять такой процесс частями тоже нельзя, потому что это может негативно сказаться на качестве.

Что делать? Нужна предварительная подготовка по каждому из блоков процесса разработки: декомпозиция задачи, оценка и планирование, непосредственно разработка, исследовательское тестирование, релиз. Подготовка заключается не в простом выбрасывании старых частей из процесса, а в их адекватной замене, которая даёт прирост в качестве.

В статье расскажу подробно о нашем процессе тестирования на каждом этапе создания новой фичи и о внедрённых изменениях, которые повысили качество и скорость разработки.


Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры13K
Комментарии 14

31 октября приглашаем на офлайн-митап по тестированию HOT QA в Краснодаре

Блог компании SimbirSoftТестирование IT-системТестирование веб-сервисовКарьера в IT-индустрииКонференции
Всем привет! Мы продолжаем серию митапов в Краснодаре по всем направлениям разработки. 31 октября приглашаем IT-специалистов, которые занимаются тестированием и обеспечением качества (QA), на наш офлайн-митап HOT QA с соблюдением всех мер безопасности.

Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Просмотры405
Комментарии 0

Исследовательское тестирование: пустая трата времени или мощный инструмент?

Тестирование IT-системТестирование веб-сервисовТестирование мобильных приложений
Одни считают, что исследовательское тестирование более продуктивное, чем привычное нам тестирование по сценариям. Другие — что это пустая трата времени и ресурсов. Так ли это на самом деле?


Читать дальше →
Всего голосов 5: ↑4 и ↓1 +3
Просмотры3.3K
Комментарии 0