test rails что такое

TestRail: как сначала подумать, а потом протестировать

Надеюсь, многие из вас знают, что в тестировании тоже есть документация. И вести ее можно по-олдскульному, в xls-файлах да в папочках или же, как настоящие джедаи, использовать специализированный инструмент.
Вот об одном из таких инструментов под названием TestRail, который мы недавно внедрили у себя в TestLab², я и хочу сегодня рассказать. Инструмент оказался настолько удачным, что молчать сил не было и я решил наконец-то сделать что-то полезное для общества.

Для всех проектов, которые мы тестируем, всегда обязательно пишется тестовая документация, от небольшого чеклиста до развесистого test suite с кросс-ссылками и сотнями кейсов. От идеи хранить документацию в локальных файлах отказались сразу и напрочь, это неудобно и просто непрофессионально. Пробовали «универсальное» решение, wiki (DokuWiki), но она не прижилась. Тут сложно сказать почему, пожалуй, дело привычки, и можно было бы «насадить добро палками», но тут подвернулся TestRail и понеслась.

Установка и системные требования

Два варианта: типичный LAMP или «IIS+SQLServer+FastCGI/PHP». Также потребуется ionCube и cURL, но это не редкость. Работает достаточно быстро, а после включения gzip через mod_deflate стало вообще пулей летать.

Основные возможности

Многопользовательская многопроектная система для ведения тестовой документации и учета результатов выполнения тестов. В продукте предусмотрено место для всех: для тест-менеджеров, которых больше интересует «когда будет» и «сколько багов», для простых тестировщиков, которым удобно отчитываться о пройденных кейсах, для аналитиков, которые смогут вгрызаться в самые дебри и выяснять чего ж оно всё так хреновов чем соль.

Как выглядит рабочий процесс

Сравнение с конкурентами

Личные впечатления

Для нас система оказалась практически идеальной и в плане минимально необходимого набора фич, и в плане удобства ежедневного использования. Мы занимаемся аутсорс-тестированием и ведем достаточно много небольших проектов, что отлично ложится в лицензионную политику вендора: лимит ограничивает только количество активных пользователей системы, поэтому мы деактивируем клиентские эккаунты по окончании проектов.
Из недостатков стоит отметить два: в текущей версии TestRail не поддерживает Unicode что означает, что вести документацию на русском/украинском языке в текущей версии без хаков невозможно. Но соответсвующий feature request уже заявлен, должны скоро добавить. Для нашей команды это непринципиально потому, что пока все проекты, достойные попадания в TestRail, ведутся на английском языке.
Вторая проблема — это отсутсвтие какого-то wysiwyg-редактора во всех text edit-полях. Это радует инженеров, но регулярно смущает заказчиков.

Резюме

Если вы ведете тестовую документацию по большому проекту, или уже теряетесь в тоннах doc- и xls-файлов с кейсами — вам стоит обратить внимание на TestRail. Это продукт, который не нужен всем и каждому, но если вы занимаетесь тестированием профессионально, то запомните это название, возможно, TestRail пригодится вам в следующем проекте.

Если будет интересно — я готов развивать тему различных тулов для тестирования и, к примеру, внимательно изучить ту же Testopia, чтобы рассказать вам о ней. Пишите в комменты.

*Умеющие гуглить могут найти в интернетах купоны на скидки.

Источник

BYTEX BLOG

Подробный гайд по TestRail: тестирование ПО

Современный человек ежедневно пользуется различными программами на телефоне и компьютере, практически не задумываясь об особенностях разработки этого софта. В данном процессе важную роль играет тестирование, помогающее устранить ошибки в функционале, которое, в свою очередь, необходимо контролировать. В этом могут помочь специальные «инструменты управления тестированием», одним из которых является TestRail.

Предназначение TestRail

Во время тестирования выполняются различные процессы, направленные на улучшение качества продукта: анализ требований, составление плана тестирования, разработка тест-кейсов и т.д. Среди всех этих действий подготовка тест-кейсов играет очень важную роль.

Многие тестировщики предпочитают записывать тест-кейсы в Excel или другие таблицы. Но в эпоху автоматизации использовать Excel немного старомодно. Причем, существует немалая вероятность потери данных.

Чтобы избавиться от этой проблемы, немецкая компания Gurock Software разработала TestRail — специальное программное обеспечение, помогающее специалистам QA и разработчикам наладить процесс тестирования. Оно помогает контролировать и отслеживать все процессы тестирования программ и организовывать деятельность отдела QA. TestRail обладает простым веб-интерфейсом, что облегчает создание тест-кейсов, управление тестовыми прогонами и т.д. Благодаря ему легко следить за состоянием отдельных этапов тестирования, используя информационные панели и отчеты. Специальные фильтры, уведомления и списки задач помогают получать полную информацию о ходе тестирования.

Особенности TestRail

Основные вкладки TestRail

DashBoard

После авторизации в TestRail открывается стартовая страница. Это рабочий стол, на котором отображаются все проекты и диаграмма активности за последнее время (от 7 до 90 дней). При нажатии на проект открывается страница управления проектом.

Вкладка «Overview» представляет собой сводку по текущему состоянию проекта, которая содержит список недавно завершенных проверок, а также последние тестовые прогоны и предстоящие майлстоуны. На специальной диаграмме активности отображается общий результат тестирования за определенный промежуток времени. Можно посмотреть все пройденные тест-кейсы и их статусы: passed (пройден), failed (не удалось пройти), blocked (заблокирован) и retest (нуждается в повторном тестировании). Всякий раз, когда требуется переключиться на другой проект, нужно вернуться на стартовый экран, нажав на “Return to Dashboard” в верхнем левом углу.

Todo

Раздел Todo является важной частью TestRail и считается отправной точкой для тестировщиков. В чем же заключаются его особенности? Todo-раздел:

Milestone

Тестировщики могут создавать и работать над несколькими тестовыми прогонами одновременно, более того, некоторые команды работают с различными версиями, итерациями, спринтами и майлстоунами в течении реализации проекта.

Пользователи могут использовать вкладку Milestone для создания отдельных этапов проекта, в которых поэтапно тестируются различные версии.

При создании нового этапа (майлстоуна) можно установить дату его начала и завершения, что помогает отслеживать сроки выполнения и порядок тестирования версий. Также можно добавить описание и пометить завершенные этапы, что поможет сконцентрироваться на активных задачах.

В этом разделе при необходимости можно создать тестовые планы и прогоны для конкретной версии, чтобы легко отслеживать прогресс в этой области. Если команда тестировщиков работает одновременно с несколькими папками, их прогресс отображается параллельно.

Test Runs & Results

Здесь осуществляется управление тест-кейсами и их выполнение в основной части тестирования. TestRail старается как можно сильнее упростить процесс ввода результатов и отслеживания прогресса тестирования.

Тестировщик может создать прогон чек-листа, благодаря кнопке “Add Test Run”. В начале ему потребуется указать имя для теста и по необходимости дополнительные данные:

Test Run можно редактировать и после его создания, изменять майлстоун или добавлять дополнительные кейсы.

После создания тестового прогона можно перейти к его непосредственному выполнению. Нужно будет на странице тест-рана указать статус отдельного тест-кейса, его исполнителя (проверяющего тестировщика) и следить за текущими результатами, статистикой и статусами кейсов. Для проверки кейса и добавления результата его необходимо открыть, ознакомиться с предложенными условиями и, после проведения теста, проставить статус. Также тестировщик может добавить собственный комментарий, указать время, потраченное на проверку, и выявленные баги. Поскольку TestRail может подключаться к Jira, Bugzilla и Firebug в пункте результата под названием “Defects” можно указать идентификатор конкретного бага, заведенного в данных сервисах.

Test Suites and Cases

Данная вкладка является неотъемлемой частью TestRail, здесь создаются и хранятся все тест-кейсы и чек-листы тестируемого приложения, которые необходимо проверять. В проекте может содержаться более тысячи тест-кейсов для различных версий, которые группируются в подразделы для удобного использования. Как правило, это позволяет разбить тестирование проекта на различные группы с определенными типами заданий. Например, одни отвечают за проверку механики или серверной части проекта, другие за проверку интерфейса, локализации и т.д.

Для того, чтобы добавить новый раздел, необходимо нажать на кнопку Add Subsection, и после создания перейти на его страницу, где уже создать необходимые тест-кейсы с помощью «Add Case».

Во время создания тест-кейса по необходимости заполняются следующие поля:

Сервис позволяет изменять или добавлять новые поля, настраивая функционал максимально практично для каждого проекта. Кейс может содержать не только текстовую информацию, но и графическую (картинки).

Также можно создавать таблички внутри кейса еще больше расширяя его возможности.

Готовые кейсы можно переносить между разделами, копировать, экспортировать в XML, Excel/CSV или импортировать из XML или CSV-файла в TestRail.

Report

Отчеты по тестированию важны как и сами задания. Функционал сервиса позволяет генерировать отчетности, отправлять их по почте, а также использовать для их создания готовые шаблоны.

Результат о проделанной работе состоит из фактической информации о проведенном тестировании. TestRail позволяет максимально детализировать отчет, указав в нем статусы кейсов и выявленные ошибки.

Заключение

TestRail — один из самых важных инструментов для управления тестированием программного обеспечения, который помогает в управлении всеми необходимыми процессами. Он включает в себя: создание проекта, подготовку тестовых кейсов, выполнение тестовых прогонов и генерацию подробной отчетности о тестировании.

Артём Здунов поздравил программистов с профессиональным праздником

C 26 по 28 августа 2021 в Уфе проходит финал IХ Национального чемпионата «Молодые профессионалы» (WorldSkills Russia)

В Саранске прошло главное киберспортивное событие этого лета

Артём Здунов посетил BYTEX

В компании BYTEX прошёл «День цифрового образования в играх».

© ООО “Байтэкс”, 2004-2021. Все права защищены

Источник

TestRail: Comprehensive Test Case Management

for QA and Development Teams

A complete web-based test case management solution to efficiently manage, track, and organize your software testing efforts.

Centralized Test Management

Collaborate with stakeholders on test cases, plans, and runs.

Easily Track Results

Execute your tests and track results that matter.

Powerful Reports and Metrics

Actionable reports, metrics, and real-time insights.

Seamless Integration

Integrate with bug trackers, automated tests, and more.

Increased Productivity

Fast and easy to use for a productive, happy team.

Scalable and Customizable

Cloud or download, highly customizable, and much more.

Top Jira Add-ons, Live Defect Reports, Fast Context Tabs, and more

TestRail includes a seamless integration with Atlassian Jira that will significantly boost your productivity.

assignment_turned_inComprehensive test case management

Manage test cases, plans, and runs in a collaborative platform

done_allEasily track your test results

Execute tests and track results that matter.

donut_smallPowerful testing reports and metrics

Create powerful reports and review actionable metrics.

extensionSeamless integration with your existing tools

Integrate with bug/issue trackers, automated tests & more.

supervised_user_circleIncreased productivity for your team

Increase productivity with a powerful and easy-to-use interface.

TestRail is used by thousands of teams, both small and large.

TestRail helps you manage and track your software testing efforts and organize your QA department. Its intuitive web-based user interface makes it easy to create test cases, manage test runs and coordinate your entire testing process.

Easily track and follow the status of individual tests, milestones and projects with dashboards and activity reports. Get real-time insights into your testing progress and boost productivity with personalized to-do lists, filters and email notifications. For more efficient test management, get started today!

Источник

Как помочь мануальному тестировщику. Автоматизаторы спешат на помощь

В любой команде, которая уделяет должное время тестированию, приходит тот момент, когда задается вопрос об автоматизации этого процесса. Как это происходит? Есть несколько путей для развития: либо сами тестировщики начинают автоматизировать, либо нанимается специально обученный человек, который, как панацея, должен решить все проблемы. В независимости от того, как это происходит, в конечном итоге мы все сталкиваемся с тем, что нужно как-то показать, что происходит, какова реальность — что же было сделано. Как говорил один мой коллега, «автоматизация ради автоматизации — это подобие культа Карго», так как бывает, что отдел автоматизации существует, а вот результата нет.

Итак, основная задача инженера-автоматизатора в том, чтобы сделать жизнь проще. В этот раз упростить жизнь мы собираемся отделу ручного тестирования (если таковой имеется) или же самим себе, если весь процесс тестирования возложен на наши плечи.

Немножко структурных данных

В нашей компании существует отдел ручного тестирования и автоматизаторы. Как система для организации тестов используется довольно популярный инструмент — TestRail. С моей точки зрения удобный и довольно функциональный.
Автоматизация построена тоже на довольно стандартном наборе Ruby + Cucumber + Watir/Selenium (можно упомянуть паттерн Page Object) + TeamCity.

Что происходит, когда на тестирование дается новый билд, (в нашем случае каждый раз мы имеем дело с регрешшеном)? Тестировщик создает новый тест ран, в который включаются все тест-кейсы с определенного тест-сьюта и — пошло поехало веселье. Уверен, всем знакомо то чувство, когда ты в 4-й раз прогоняешь вручную регрешшн или смоук на автомате, кликая/тапая на все элементы и проставляя статус для очередного теста. В этот момент пред красными глазами наверняка все плывет и картинка в голове повторяет знаменитое:

Именно сейчас приходим на помощь мы. Так уж получилось, что возникла идея. Если у нас есть автоматизация, то почему мы все еще не используем результаты нашей работы, чтобы жить стало проще? Мысль заключается в том, чтобы использовать отчет с TestRail вместо громоздких и непонятных отчетов с Cucumber. Довольно интересная задач — сделать так, чтобы тесты в TestRail сами меняли свой статус, в зависимости от того, как прошел автотест.

С помощью поиска всемогущего гугла была найдена документация по TestRail API для реализации сией благой цели. Мы решили для начала сделать так, чтобы запуская наши автотесты вся информация о текущем состоянии тестов отображалась в TestRail. Собственно, цель была достигнута — по нажатии на кнопку запуска тестов в RubyMine мы автоматически создавали новый тестран и отсылали результаты на сервер. Довольно просто, учитывая существующую информацию на сайте TestRail.

Как оказалось, это было всего лишь начало.

В конечном итоге удалось сделать довольно неплохую функциональность, а именно — мы настроили интеграцию TestRail + TeamCity + Automation Framework.

Теперь же подробности, уважаемые дамы и господа.

TestRail

Первая остановка у нас будет TestRail.

TestRail является программным обеспечением для управления данными полученными в результате тестирования. Данный инструмент помогает отслеживать процессы, управлять программным обеспечением и организовывать команду.

С помощью TestRail можно создавать тест кейсы, управлять тестовыми наборами и координировать весь процесс тестирования программного обеспечения. TestRail предоставляет возможность повысить производительность и получить полный обзор хода процесса тестирования.

Начнем мы с того, что первое, что должен сделать наш юзер/мануал тестировщик — это создать собственно тестран, который в последствии мы и будем использовать для апдейтов.

Требования:
Фича: Запуск автотестов.
Для того, чтобы использовать автоматизации в реальной жизни.
Как пользователь я хочу, чтобы была волшебная кнопка «запустить ран с автотестами».

Сказано — сделано. Благо функционал TestRail позволяет нам интегрировать свой собственный код.

Как результат, мы имеем вот такую вот кнопочку:

Да, да — Start Tests.

Поскольку у нас для одного сьюта тесткейсы есть для веб и мобайл, то на первой стадии мы проверяем по имени тестрана, какой именно фреймворк используется. В зависимости от того, для чего предназначен тестран, мы запускаем билд на TeamCity.

Дабы юзер не кликал слишком часто на кнопочку, у нас организована защита от дурака — после клика на кнопку мы добавляем ключевое «in progress» к имени тестрана, это блокирует волшебную кнопку, пока наши автотесты не закончат свое дело.

Automation Framework

На конечной стадии был создан гем/библиотека, которая при разворачивании дает нам интеграцию с TestRail на любом нашем под-проекте.

Создание гема — совсем другая история, достойная отдельной статьи.

Если вкратце, то наша библиотека test_rail_integration имеет небольшой функционал, который мы используем у себя, но мне кажется, что кому-то тоже может быть полезной.

Для начала нужно его установить:

В after |scenario| hooks. И в env.rb файл:

Вот команды для запуска:

В нашем случае тесты запускались для 6 различных локализаций и все результаты отображались в 1 тестране. Иногда возникала ситуация, когда два апдейта приходили в одно время. Получалось так, что они не видели друг друга и после фейла приходил пасс статус. Такой вариант менял общую картину статуса теста. В общем, эта команда проходит все тесты и проверяет в ней соответствие, что в зеленых тестах нет красных результатов. Если же есть — то меняет статус теста на красный.

Тут все просто, данной командой мы создаем тестран с указанным именем в проекте-сьюте, который мы записали в конфиг файле. Команда возвращает номер созданного тесана:

Нужно написать при первом запуске, так как данная команда генерирует конфигурационный файл, к котором нужно указать необходимую информацию о TestRail:

Это и есть core фунционал c флагами:

Тут и так все понятно, нужно указать номер тест рана:

и
Специфические атрибуты, которые будут использованы при составлении команды для запуска (если, к примеру, вам нужно запускать ваши тесты через специфическую команду, то в конфиг файле нужно записать ее с использованием этих переменных, тогда при запуске мы должны их указать):

Этот флаг тоже специфический и, думаю, никому больше не пригодится:

Здесь можно указать новую команду для текущего запуска:

Так как у нас используется вся интеграция для 6 локализаций, то по номеру тестрана мы ищем имя и парсим его на параметры так, что тестран должен иметь имя, допустим, DT SG staging. Здесь мы и находим необходимую информацию для запуска.

Запуск без поиска и проверки на наличие каких-либо параметров, это наиболее полезная команда для Вас, уважаемый читатель.

Можно определить также номер типа тестов, которые буду запущены.

Полная команда для запуска тестов с существующим тестраном будет выглядеть так:

TeamCity

Тут, собственно говоря, все просто. Просто записываем команду так же, как мы бы ее запускали локально, разве только можно добавить несколько переменных для удобства и скомбинировать порядок запуска команд (в случае, если мы запускаем билд автоматически, сначала нужно указать команду на создание тестрана, потом на запуск тестов с номером, который пришел нам ранее).

Вот и все. Так как это мой первый опыт с написанием статьи, критика приветствуется. Надеюсь, что написал я все это вполне понятно и данное руководство будет кому-либо полезно.

Источник

Introduction to TestRail

TestRail is a web-based test case management tool. It is used by testers, developers and team leads to manage, track, and organize software testing efforts. TestRail allows team members to enter test cases, organize test suites, execute test runs, and track their results, all from a modern and easy to use web interface.

Teams benefit from four main advantages when adopting TestRail:

Manage test cases, suites and test runs

The traditional way of managing and documenting test cases on paper, in wikis, bug tracking tools, or general document management systems quickly reaches its limits. TestRail enables you to create, manage, and organize test cases and suites within an optimized user interface and application structure.

Boost testing productivity

TestRail’s todo lists, filters, and email notifications help coordinate test runs and increase the productivity and responsibility of testers. The goal is to make sure that every team member knows their tasks at all times and that team leads can assign new tasks to testers depending on their workload.

Real-time insights into your testing progress

To make important project decisions, it is critical to have access to detailed information about the testing progress and test results. Questions such as “What percent of a test run have we successfully completed?”, “How are we progressing on the upcoming milestone?” or “Which tests have been executed in the past 24 hours?” can only be answered efficiently by using a comprehensive test case management software such as TestRail, and TestRail makes these details readily available.

Test management at scale

The organization and coordination of multiple parallel tests, be it for different projects or releases, is often complex and time-consuming. To not lose track of your testing efforts, TestRail helps you manage important software-specific data and structures such as project milestones and makes it easy to integrate with bug tracking tools.

On this page

The Dashboard

After logging in to TestRail, the first page you usually see is the dashboard. The dashboard provides you with an overview of available projects, recent project activities, and your todos. When you navigate to a project (by clicking on a project title), you switch to the project view and land on the project’s overview page, showing project details such as test cases, active test runs, project activity, and so on. Whenever you need to switch to another project, just return to the dashboard by clicking the link in the upper left corner.

Test cases and sections

A test case in TestRail consists of a description of the test’s prerequisites, a list of test steps and the expected result. A test case can ideally be verified by a single tester in a short period of time and confirms a specific functionality, documents a task or verifies a project artifact.

In TestRail, test cases are organized into sections and sub-sections. Sections and sub-sections are a collection of test cases and are often created for specific project modules or areas of your product. How you organize your sections depends on the size of your project. If you have a lot of test cases for a project module, it is recommended to further break down your sections and create sub-sections for specific features or functionality.

For example, if you use multiple test cases to verify a specific application dialog or web page, these test cases should be grouped in a section.

Test runs and tests

To run a test and enter test results for the cases you added, you start a test run for a particular test suite. While a test suite is just like a plan that specifies how an application is tested, a test run is an actual test you are conducting.

For most projects you will most likely start multiple test runs for a particular test suite over time. For example, if you are releasing multiple versions of a software program, you might want to conduct a test run for each new release.

Likewise, you can have multiple test runs for a particular test suite active at the same time. This can make sense if you want to execute a particular test suite for multiple configurations (such as different operating systems). You can then start a test run for each different configuration you want to test against.

When you start a new test run (e.g. by clicking the Run a Test button in the toolbar of a test suite), you can choose to include all cases of a test suite, select specific test cases, or set a dynamic filter based on specific test case values. You can learn more about using test case selection for test runs in our documentation here.

A run consists of individual tests for each case that you add. By default, each test has one of five different statuses that are signaled in TestRail by specific colors. You can add a test result and change the status of a test either by clicking the Add Result button on the test page, or by changing it directly on the run page.

The following test statuses are available by default:

Once a test run has been completed, you can close it from the run’s edit page. Tests of a closed run cannot be edited or changed, making it ideal for archiving test runs. Additionally, if you change any of the associated cases’ attributes (such as the expected result), the change won’t be applied to the closed and archived run.

Projects and their types

Projects are the main organizational unit in TestRail. It is generally recommended to create a TestRail project for every real software project you want to manage within TestRail. All other data such as test runs, test results, milestones, etc. are directly associated with a specific project.

See the following illustration to see how the different entities relate to each other:

Milestones

You can also add your project milestones to TestRail. A milestone can be any project milestone you deem to be important, such as a planned public software release, an internal test version, or a new beta release for an important customer. Once you have added your milestones to TestRail, you can assign test runs to specific milestones.

Assigning test runs to milestones has the advantage that you can easily track the milestones’ test results and progress separately. Especially if you are working on multiple milestones in parallel or if you have many tests runs active at the same time, managing milestones within TestRail is a great help.

Test plans and configurations

When you need to manage multiple test runs and configurations for a single project, TestRail’s test plans come in handy. A test plan allows you to start multiple test runs at once if you want to test against multiple configurations. A configuration can be anything you need to test your project against, such as different operating systems or web browsers.

To create a test plan, simply click the Add Test Plan button from the Test Runs & Results page. Just like you do with a single test run, you can configure all properties of the test runs such as the name, the cases you want to include, and so on.

You often have to test a specific test run against multiple configurations such as operating systems or web browser versions. To make it easier to create a separate test run for each configuration combination, you can specify and select all configurations for your test runs within a plan. To do this, simply click the Select Configurations link of a run and select or add your configurations.

Todos and notifications

Tests can be assigned to team members. You can either assign tests when a run is created or do so afterward from the run or test pages. Once a test has been assigned to a user, the test appears on the user’s todo list. Every user has its own todo list for each project she’s working on, while the Dashboard provides a quick way to see the user’s todos for all projects.

The todo page can also be used to view the todos of other team members or the entire team at once, providing an easy way for team leads to assign tests to team members with the least workload.

Another relevant feature is email notifications. Email notifications help test owners to learn about test changes made by other users. For example, if a test has been assigned to a user (i.e. the test owner) and another user adds a comment or result to the test, the test owner is notified by email. It is also possible to subscribe to tests of other users or even entire runs by clicking the small email icons on the relevant pages.

Tracking progress and activity

Besides making it easier to manage test cases and enter test results, providing an easy way for all team members to track the test progress is one of TestRail’s most useful features. You can view the test results and testing activity of runs, milestones and entire projects on the individual resource pages.

You can choose between the status, activity, and progress view on the test run and milestone pages from the sidebar, while you can switch between the project history and test results on the project’s overview page. Additional reporting features can be found on the Reports tab.

Learn more and try out TestRail

If you haven’t already, the easiest way to try out TestRail is to create a trial on our servers. This just takes a few minutes to set up.

Please do not hesitate to contact us if you have any questions that aren’t answered in this guide. Also, feel free to use our support forum in this case.

Источник