Для чего используется lab management при тестировании
Топ-12 лучших систем управления тестированием 2020
Каждый проект уникален и у каждой команды свои запросы. Однако всех нас объединяет желание работать с качественными инструментами, которые экономят время и позволяют QA-специалистам тестировать качественнее и быстрее, в идеале чтобы TMS могла совмещать ручное и автоматизированное тестирование.
Мы вновь проанализировали проверенные временем и новые системы управления тестированием, которые сейчас популярны на рынке. Выбрали функции, которые должны быть в Test Management System нашей мечты, сравнили возможности продуктов и изучили отзывы пользователей. Делимся списком инструментов, один из которых точно подойдёт вашей команде.
Здесь нет рейтинга, у каждого инструмента есть свои преимущества и недостатки. В основном инструменты тест-менеджмента платные, однако у всех есть бесплатная пробная версия.
Что мы хотим от удобной Test Management System?
Пользователь TMS ожидает увидеть следующее:
Зачем нужна TMS?
Решить задачу создания единой TMS для работы со всей документацией проекта можно несколькими способами:
Популярные системы управления тестированием на 2020 г
1. ALM Octane
ALM Octane — долгожитель среди систем управления и жизненным циклом продукта, и его тестировании. Инструмент позволяет осуществлять планирование, создание, тестирование и контроль на всех этапах разработки. Сложен в первоначальном освоении, но незаменим для компании крупной руки, где особое внимание уделяется деталям производства. Поддержана функциональность общих шагов. Работа с автоматизированными тестами. Фактические время прохождения для каждого тестового сценария. Реализована функциональность вебхуков.
Присутствует внутренний баг-трекер. Удобная система конструирования отчетов.
Именно потому, что продукт уже обкатан, в интернете есть великое множество мануалов и видеогайдов по настройке и использованию.
2. Test IT
Test IT — шустрая российская TMS, которую создают тестировщики для тестировщиков. Основная фишка — совмещение ручных и автотестов в одном интерфейсе, что здорово способствует объединению QA-команды. Анализ автотестов теперь возможен в одной системе с тестовой моделью! Разработчики приложения уделяют большое внимание автоматизированному тестированию, каждый тестовый случай в библиотеке тестов можно линковать с автотестами по API. Правильно настроенная интеграция с автотестами позволяет следить за прогонами и их результатами прямо из TMS в режиме реального времени. Вы сможете видеть, какие автоматические тесты в процессе выполнения, анализировать их результаты и просматривать исходный код прямо из Test IT. При необходимости можно создать тест-ран вне системы и заполнить его своими автотестами без линка с тестовыми сценариями.
Этот инструмент отличает продуманный и красивый интерфейс. Внутри системы можно создавать проекты и вести для каждого структурированную библиотеку тестовых случаев и чек-листов, часто повторяющиеся операции выделяются в общие шаги. Инструмент гибкий — в каждом проекте создаются дополнительные пользовательские атрибуты/конфигурации, распределяются проектные роли и права, что упрощает настройку TMS под процессы компании. Test IT помогает менеджерам равномерно распределять нагрузку между тестировщиками и контролировать исполнение работ с помощью пользовательских запросов и отчётов. Также в рамках самой системы есть возможность общаться с коллегами, не используя сторонние мессенджеры. Есть элемент геймификации и возможность собирать ачивки.
Test IT активно развивается, берет фичареквесты от своих пользователей и забивает ими 40% беклога, есть грамотная техподдержка.
3. TestRail
Это программное обеспечение удобно как для команд QA, так и для разработки. План тестирования можно выстроить как по сценарию гибкой методологии, так и для более традиционного подхода. Инструмент позволяет получить представление о ходе тестирования в реальном времени. Вы можете строить конфигурированные отчеты по необходимым вам метрикам. В новых версиях появилась интеграция с Assembla. Так же была поддержана функциональность внутреннего чата и оповещений во внешнюю систему.
Помимо возможности разложения своих тестовых сценариев по тест-ранам с их дальнейшим помещением в тест-планы, вы можете использовать такую сущность как Milestone, которая позволит удобно настроить процесс прохождения тестирования.
Можно настроить типизации проекта для ведения в нем тестовой документации.
4. Zephyr
Zephyr — это плагин для всем известной JIRA, который интегрирует тестирование в проектный цикл, позволяя вам отслеживать качество программного обеспечения и принимать решения в стиле go / no-go. В новых версиях была поддержана работа с автоматизированными тестами.
Тест кейсы могут создаваться, выполняться и отслеживаться так же, как и любые другие задачи в JIRA. Для более оптимальной фиксации процесса тестирования есть интеграция с инструментами управления качеством, автоматизации, непрерывной интеграции и аналитики. Присутствует возможность создания пользовательских атрибутов. Кроме того, у продукта быстро отвечающая техподдержка.
5. Allure EE
Allure – это фреймворк для создания простых и понятных отчётов автотестов (для любого языка), представляет из себя инструмент, позволяющий внести прозрачность в процесс создания и выполнения функциональных тестов. Отчёты Allure помогают команде решить многие проблемы и начать наконец разговаривать на одном языке. Allure Enterprise стал логичным продолжением подхода automation first и поддерживает обновление тестовой документации из кода автотестов. У инструмента есть множество интеграций с фреймворками тестирования и разными языками программирования.
6. TM4J
TM4J он же Adaptavist – это приложение для управления тестированием в JIRA, позволяет вести тестовую документацию в JIRA. Линкование тестовых сценариев и issue непосредственно в JIRA. Поддержана работа с автоматизированными тестами. Возможность объединения повторяющихся шагов в общий шаг.
7. Qase
Qase это облачная TMS, которая поможет вашей команде повысить производительность и организовать удобный флоу тестирования программного обеспечения. Поддержана функциональность объединения постоянно повторяющихся действий в общий шаг, импорт данных из других TMS. Управление ролями и разрешениями для пользователей системы. В новой версии была доработана система отчетов.
8. PractiTest
PractiTest — это комплексное средство управления тестами. Оно дает полную картину процесса тестирования и более глубокое понимание результатов тестирования. Этот инструмент поможет организовать тест-сьюты в соответствии с вашими циклами и спринтами. Тестовые наборы можно формировать по различным критериям, таким как компоненты, версии или типы. Тул заточен на Agile-тестирование, регрессионное тестирование, тестирование микросервисов и DevOps.
В новых версиях была доработана функциональность работы с автоматизированными тестами.
В техподдержке работают обученные QA-сотрудники, которые могут быстро понять вашу проблему.
9. Testuff
Команда Testuff делает действительно удобный инструмент, данная TMS старается объединить в себе все методы тестирования, начиная от waterfall model и заканчивая black box testing.
Разработчики Testuff отдельно выделили свой продукт как единственную TMS, которую можно использовать на любом девайсе: смартфоны, планшеты и т.д
В данном решении есть все необходимое для TMS: классный интерфейс, понятный и удобный способ ведения тестовой документации, конфигурации и пользовательские атрибуты, два способа интеграции с любым существующим баг-трекером, а также добавили видеорекордер.
10. Azure DevOps Server
Это мощный инструмент работы с тестами и автотестами, за счет своей комплексности вы можете настроить своё рабочее пространство, как вам необходимо. Работайте напрямую со своими CI/CD сервисами, интегрируйте свои репозитории прямиком в Azure, ведите тестовую документацию по спринтам, которые будете раскладывать по бордам, делайте максимально детальные отчеты по вашей тестовой документации и результатам её прохождения.
Отдельно стоит упомянуть возможность интеграции с IDE от компании Microsoft, вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами от компании Microsoft.
11. MTM TFS
Team Foundation Server (TFS) — комплексное решение от Microsoft, которое включает в себя систему управления версиями, сбор данных, построение отчетов, отслеживание статусов и изменений по проекту.
Microsoft Test Manager — часть этого продукта и требует установки Visual Studio. Такое сочетание дает возможность связать задачи, которые поставлены перед тестировщиком, с заведенными дефектами и отчетами о затраченном на работу времени.
Планы и результаты тестирования сохраняются на сервере Team Foundation Server.
МТМ включает в себя тест-план, тест-кейс и конфигурации.
Сам TFS является проприетарным ПО, лицензия — коммерческая. Работает на трех уровнях: клиентский уровень, прикладной уровень и уровень данных, в зависимости от чего возможна работа или через web, или через десктоп-приложение. МТМ работает только на прикладном уровне, поэтому требуется установка на сервер (если сервер удаленный, работа проводится через VPN).
12. Kualitee
Kualitee — продукт Kualitatem, компании по тестированию программного обеспечения и информационной безопасности, специализирующейся на обеспечении безошибочной работы приложений повсюду.
Kualitee предлагает функции управления проектами, управления тестированием, управления дефектами с интеграцией с баг-трекерами. Гибкая система пользовательских атрибутов позволяет очень точно настроить необходимое рабочее пространство. Дополнительно есть возможность глубокой настройки профилей пользователя и его прав доступа.
Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! 🙂
Топ-10 лучших систем управления тестированием 2021
Быстрое развитие IT-сферы провоцирует рост нагрузки на QA-команду, увеличивается число сотрудников, задачи усложняются. Для обеспечения конкурентного темпа работы при высоких требованиях к качеству необходимо создавать особую IT-инфраструктуру и привлекать современные удобные инструменты, способные при этом подстроиться под запросы конкретной QA-команды.
Мы снова провели срез-анализ рынка старых и новых TMS-решений, выбрали основные функции, которые хотели бы видеть в системах управления тестированием, сравнили их возможности и цены. Не было цели составить рейтинг, так как у каждого инструмента есть свои плюсы и минусы. Делимся свежим списком тулзов для тест-менеджмента, один из которых точно вам подойдёт.
Что должна уметь хорошая Test Management System?
Устанавливаться просто, иметь техподдержку или комьюнити (в случае с опенсорсом)
Позволять вести и управлять проектными областями и пользователями
Интегрироваться с внешними сервисами и системами
Позволять управлять версиями тестовых артефактов, давать возможность откатиться назад
Возможность работать с автотестами и мануальными тестами из единого интерфейса
Простой UX, освобождающий от придумывания костылей
Уметь создавать отчеты по метрикам итерационного тестирования, проекта и времени затраченному на процессы тестирования
Давать возможность кастомизировать тест-планы, параметры тестов и что угодно
Возможность чатиться с коллегами в рамках системы
Иметь гибкую ролевую политику, в том числе по уровням доступа в систему
Зачем нужна подобная система?
В первую очередь, TMS-система решает проблему ведения тестовой модели и взаимодействия членов команд или отделов между собой. Но работать со всей документацией проекта можно несколькими способами:
Самый дешёвый способ — взять Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.
И хотя тестирование не добавляет ценности продукту и стоит денег, этот этап является важнейшим, так как предотвращает ошибки на продакшене и последующие серьёзные репутационные и финансовые убытки.
Популярные системы управления тестированием на 2021 год:
(Попытались сделать якорное меню, но оно сработало не на всех устройствах)
Рассмотрим выбранные инструменты подробнее:
Azure DevOps
Azure DevOps (он же Team Foundation Server) – это продукт компании Microsoft, предлагающий мощный и понятный в освоении инструмент для создания, хранения и прохождения тестовой документации. Azure воплощает более чем 15-летний опыт создания инструментов для разработки программного обеспечения. Также данная система представляет собой комплексное решение, есть возможность использовать только необходимую функциональность под конкретную задачу, не переплачивая.
Azure DevOps
Azure DevOps позволяет совмещать ручное\автоматическое тестирование, в нём также удобно вести и отслеживать метрики по своим тестовым сценариям, настраивать рабочие процессы, собирать или строить необходимое покрытие требований к разработке систем и многое другое.
Azure DevOps
Отдельно стоит упомянуть возможность интеграции с IDE всё от той же компании Microsoft, так что вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами из зоопарка Microsoft.
Возможности:
Простая установка и сопровождение системы
Интеграция с любым продуктом компании Microsoft
Комплексное решение, управление тестированием является лишь одним из инструментов
Мануальные\автотесты из единого интерфейса
Расширенные метрики по отчётности
Кастомизация интерфейса\пользовательских атрибутов
Кастомизация и последующее использование параметров
Наличие читабельной документации
Наличие внутреннего баг-трекинга
Цены: от $52 в месяц за базовую функциональность + тест планы
ALM Octane
ALM Octane — это давно обкатанный в боях и достаточно мощный инструмент, который позволяет оптимизировать и наблюдать за своими рабочими процессами, объединить мануальное и автотестирование, управлять и настраивать релизные циклы. Продукт сложный в освоении, однако его функциональность закрывает потребности больших компаний со сложной внутренней структурой разработки. Система масштабируема в рамках компании что позволяет добавлять в базу знаний всё новых и новых пользователей в том числе делиться с ними уже наработанными данными. Также есть возможность вести требования напрямую в продукте.
ALM Octane
Всю систему можно кастомизировать под свои потребности\нужды, гибкий функционал по разработке и ведении тестов позволяет существенно сократить время и силы затрачиваемые на повышение качества выпускаемых продуктов компании.
ALM Octane
Возможности:
Давно проверенный на рынке инструмент с большой базой уроков\материалов по изучению и способам работы с продуктом
Общий доступ к библиотекам требований и ресурсов
Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
Быстрый доступ к показателям, например к данным о не устранённых дефектах
Масштабируемая среда разработки и ведения тестовой документации
Работа с мануальными и автоматизированными тестами в едином интерфейсе
Настраиваемый интерфейс и шаринг базы знаний в рамках компании
Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
Расширенные данные по аналитике процессов тестирования и трудозатрат
Интеграция с 50+ инструментами
Цены: от $28 в месяц
AWS marketplace
Бесплатная пробная версия: 30 дней
Test IT
Test IT — российская система управления тестированием, которую создают тестировщики для тестировщиков. Данный продукт быстро набирает обороты и постоянно расширяет свои функциональные возможности. Умеет в мануальное\автотестирование в рамках единого интерфейса, поддерживает гибкую ролевую политику, кастомизацию.
Присутствуют расширенный возможности по ведению, оформлению и прохождению тестовых артефактов, в том числе в связке с параметрами тестов и используемых конфигураций. Благодаря простым и кастомизируемым отчётам возможно собрать всю необходимую информацию как о мануальных, так и об автотестах. Система подходит как для небольших команд от 3-х тестировщиков, так и для крупных команд.
Test IT
Систему отличает приятный дизайн, оперативная техподдержка, частые релизы и обратная связь от разработчиков данного решения.
Возможности:
Удобное управление, оптимизация и выполнение тестовых артефактов
Работа с мануальными и автотестами из единого интерфейса
Расширенный анализ автоматизированных тестов и тест-ранов
Кастомизация интерфейса и пользовательских локальных\глобальных атрибутов
Работа с параметрами\конфигурациями в рамках системы
Полноценное версионирование тестовых артефактов
Кастомизируемые дашборды, которые позволяют вывести всю необходимую информацию по процессам тестирования
Внутренний чат и вебхуки во внешние системы
Гибкая ролевая политика как доступа к системе, так и к проектным областям
Двусторонняя интеграция с JIRA\Azure DevOps
Расширенный функционал публичного API
Test IT
Цены: от 3-х лицензий 2121 рублей в месяц
Бесплатная пробная версия: на 30 дней для 25 юзеров
TestRail
За последний год TestRail приобрёл своего конкурента Xray (плагин для Jira), что позволило им покрыть пользователей, которые плотно работают в Jira. Система одна из самых старых на рынке, поэтому эксплуатирует отточенные методологии тестирования, поддержана функциональность внутреннего чата и оповещений во внешнюю систему, есть возможность удобно настраивать свои рабочие процессы и за последние 2-3 релиза была существенно расширена документация API.
TestRail TestRail
Возможности:
Широкие возможности настройки, облачные или локальные варианты установки
Большая база знаний по работе с продуктом
Отслеживание состояния и результатов отдельного теста
Расширенный REST API
Типизация проектов под специфику продукта
Наличие внутреннего чата и нотификаций
Достаточно широкие отчётные метрики по проектным и тестовым областям
Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
Цены: от $36 в месяц
Бесплатная пробная версия: 14 дней
Qase достаточно удобен для небольших и средних размеров команд. Продукт отличается широкими возможностями кастомизациии при аскетичностьи интерфейса. Удобная система отчётов и выполнения тестовых артефактов в совокупности с настройками интерфейса позволяют достаточно быстро и точно настроить свои рабочие процессы.
Qase Qase
Возможности:
Тестовый репозиторий: выстраивание тестов в логические группы
Оповещения во внешние сервисы об изменениях в тестах
Удобный интерфейс и расширенной кастомизацией
Хранение документации по проекту
Автотрекинг дефектов в интегрированные TTS
Удобный и простой REST API
Расширенные возможности интеграций с внешними системами
Гибкая ролевая политика
Цены: до 3 юзеров бесплатно, далее от $24 в месяц
Бесплатная пробная версия: 30 дней
Allure TestOps
Allure TestOps – платформа управления качеством ПО, построенная с фокусом на автоматизацию, DevOps-процессы и гибкий цикл разработки. За счёт гибкости системы и большого количества клиентских библиотек и фреймворков её легко интегрировать с уже используемыми инструментами автоматизации тестирования.
Allure TestOps
Система преимущественно направлена на работу с автоматизированным тестированием, присутствует и мануальное, что позволяет вывести новый путь разработки тестовой документации: от автотеста – к тесту. Можно вести свои тестовые артефакты в коде, синхронизировать шаги мануального и автотеста и анализировать расширенный отчёты по автоматизированному тестированию.
Allure Test Ops
Возможности:
Легкая интеграция с automation tools
Хранение мануальных тестов в коде
Кастомизируемые отчёты по автотестам
Совмещение работы с мануальными и автоматизированными кейсами
Многопоточность автотестов, отложенные запуски автотестов
Кастомизация интерфейса\пользовательские атрибуты
Allure TestOps
Бесплатная пробная версия: 30 дней по запросу
Zephyr Squad (Zephyr For Jira)
Zephyr Squad — простой, лёгкий в освоении и настройки плагин для Jira, который позволяет создавать, настраивать и проходить свои тестовые сценарии в Jira, предназначена для небольших команд с последующим масштабированием на другие продукты компании SMARTBEAR. Плагин отлично подходит для команд, у которых пока что нет сложных процессов тестирования или потребности в сложных структурах, есть всё необходимое в отчётности и приятные возможности по кастомизации сущностей наследуемые от интерфейса Jira.
Zephyr Squad 
Zephyr Squad
Возможности:
Простая установка и настройка плагина
Кастомизация интерфейса\пользовательские атрибуты
Простая и понятная система отчётов в Jira
Масштабируемость под команду
Ведение, отслеживание и покрытие дефектов и требований в Jira
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Zephyr Scale (TM4J)
TM4J он же Adaptavist, за последний год был приобретен компанией SMARTBEAR и переименован в Zephyr Scale.
Zephyr Scale
Zephyr Scale – это масштабируемое, решение для управления тестовыми артефактами, релизами и отчётностью по тестам внутри Jira с расширенными функциями планирования тестирования и повторного использования. Предназначена для среднего размера команд и небольших компаний с возможностью переноса своих исторических данных с Zephyr Squad.
Продукты компании SMARTBEAR на данный момент позиционируют себя так:
Zephyr Squad – для небольших команд
Zephyr Scale – для среднего размера команд и небольших компаний
Zephyr Enterprise – для больших команд и среднего\большого размера компаний
Zephyr Scale
Возможности:
Покрытие требований, релизных циклов и ведение отчётности напрямую в Jira
Ведение, отслеживание и покрытие дефектов в Jira
Простой в освоении UI
Расширенные дашборды в Jira
Масштабируемость под команду
Широкие возможности кастомизации проектов\тестовых артефактов
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Tricentis qTest
Tricentis qTest — это простое в использовании, масштабируемое решение для управления тестами, которое позволяет тестировщикам централизовать и ускорить управление тестами. Система предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. Также продукт управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Есть интеграция с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.
Tricentis qTest
Возможности:
Легко интегрируется с инструментами Agile и DevOps
Создание значимых отчётов с данными из Jira
Централизует управление и автоматизацию тестирования
Интегрируется с любым открытым или проприетарным инструментом автоматизации тестирования
Идёт зачастую в связке с Tricentis Tosca, что позволяет покрыть и мануальное и авто тестирование
Работа с параметрами и конфигурациями тестов
Tricentis qTest
Цены: Tricentis не указывает свои цены напрямую, запрос можно отправить по этой ссылке
Бесплатная пробная версия: 14 дней
Kiwi TCMS
Kiwi TCMS – бесплатная система управления тестовыми сценариями, написанные на Python и Django. У данной системы достаточно мощных и полезных функций, к примеру интеграция с Bugzilla и JIRA, быстрый план тестирования и выполнения умного поиска, настраиваемый контроль доступа для каждого тест-плана, выполнения теста и прочих артефактов, а также API-интерфейсы и XML-RPC.
Kiwi TCMS
Система отлично подходит под небольшие команды\продукты и предназначена помочь тестировщикам сделать их работу более организованной, прозрачной и подотчётной для всех членов команды.
Kiwi TCMS
Возможности:
Линкование тестовых сценариев и issue не выходя из JIRA
Работа с автоматизированными тестами
Понятная система отчетов
Использование общего шага
Фактическое время прохождения теста
Экспорт данных в Excel
Цена: Бесплатная система с открытым исходным кодом, но есть платные планы за донейшен или подписку
Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! 🙂