Автотесты

Импорт Allure необходим, чтобы автоматически перенести результаты автотестов в тест-ран проекта: создать новый тест-ран из результатов прогона или дозагрузить результаты в уже существующий тест-ран.

После импорта платформа:

• Создает записи результатов выполнения.
• Связывает их с тест-кейсами системы по case_id.
• Опционально загружает вложения (скриншоты, логи).
• Сохраняет сырые данные Allure для последующей генерации отчета.
• Фиксирует статистику импорта и список не сопоставленных результатов.

Импорт автотестов

Если тест-ран уже создан ранее или вручную, и необходимо добавить или обновить фактические результаты выполнения, используется загрузка Allure в существующий тест-ран.

Если необходимо сформировать новый прогон полностью из автотестов, то используется создание нового тест-рана из Allure.

Загрузка Allure в существующий тест-ран

При загрузке Allure в существующий тест-ран:

• Результаты добавляются в выбранный тест-ран.
• Тест-кейсы подтягиваются в прогон по найденным case_id.
• Для параметризованных прогонов учитываются итерации.

Для загрузки Allure в существующий тест-ран:

1. Перейдите на вкладку "Проекты" и выберите нужный проект.
2. Откройте из списка тест-ранов необходимый тест-ран.
3. Нажмите "Еще" и выберите команду "Загрузить Allure".

Создание нового тест-рана из Allure

Поведение системы при таком варианте загрузки:

• Создается новый тест-ран, название которого задается опционально вручную. Если имя не задано, то система извлечет его из executor.json или создаст автоматически.

Для создания нового тест-рана из Allure:

1. Перейдите на вкладку "Проекты" и выберите нужный проект.
2. Откройте раздел тест-ранов.
3. Нажмите на "Импорт Allure".

Загрузка и импорт архива

На вкладке "Проекты" выберите необходимый проект и перейдите в раздел "Тест-раны".

В соответствии с вариантом загрузки: загрузка Allure в существующий тест-ран или создание нового тест-рана из Allure — перейдите в окно импорта Allure.

При необходимости введите название тест-рана.

Нажмите на поле выбора файла или перетащите ZIP-архив с allure-results в выделенную область.

Для удаления выбранного файла нажмите значок корзины в соответствующей строке.

При необходимости загрузите вложения из результатов (скриншоты, логи), нажав галочку напротив соответствующего поля.

Отключение загрузки вложений значительно ускорит импорт: результаты и статусы импортируются, но вложения не будут доступны в результатах тестирования.

Запустите загрузку, нажав соответствующую кнопку, и дождитесь финального статуса или фоновой обработки.

Чтобы отменить импорт, нажмите "Отмена".

Условия загрузки

Архив

Нужно загружать ZIP с сырыми результатами Allure (папка allure-results), где есть файлы:

• *-result.json (или test-result-*.json)
• при необходимости executor.json
• файлы вложений *-attachment.*

Сопоставление с тест-кейсами

Чтобы результат автотеста попал в тест-кейс системы, в Allure должен быть case_id (TMS или allure.id). После повторного импорта результат будет автоматически сопоставлен.

Права доступа

Загрузку может выполнять пользователь с правом редактирования проекта: владелец, модератор или участник с правами редактирования.

Allure отчет

Для генерации Allure отчета по результатам выполнения тест-рана нажмите соответствующую кнопку, расположенную в блоке основной информации.

Во всплывающем окне доступны следующие команды:

• Перегенерировать — будет запущен процесс повторной генерации отчета.
• Открыть в новом окне — отчет будет открыт в новой отдельной вкладке.
• Закрыть — будет закрыто окно просмотра отчета.

Для выполнения команды нажмите соответствующую кнопку.

Не сопоставленные автотесты

Раздел "Allure (без SaveTest)" отображает результаты проверки тест-кейсов из Allure без соответствующих кейсов в системе. Для просмотра результатов проверки необходимо прокрутить вниз страницу тест-рана из Allure.

Таблица автотестов

Левая часть блока отображает сведения об автотестах, для которых нет тест-кейсов в системе.

В таблице автотестов представлены следующие сведения:

• Название — название протестированного кейса, папки и тестового набора
• Статус — статус проверки
• Время — время, затраченное на тестирование
• Case ID — уникальный номер кейса

При необходимости перетяните ползунок вниз, чтобы увидеть результаты других автотестов.

Детали результатов

Правая часть блока представляет детализацию результатов по выбранному автотесту.

Для просмотра деталей результата по определенному автотесту нажмите на соответствующий автотест в списке.

Детали результатов распределены по вкладкам "Информация", "Шаги", "Вложения" и "Параметры" автотеста. Для просмотра нажмите на необходимый раздел.

Во вкладке "Информация" дополнительно представлены:

• UUID — специальный идентификатор элемента
• Дата импорта — дата и время загрузки ZIP-архива

Во вкладке "Шаги" подробно представлены шаги и результаты проверки кейса.

Во вкладке "Вложения" находятся скриншоты, логи и другие файлы, связанные с тестированием кейса.

Во вкладке "Параметры" представлены параметры, используемые при тестировании кейса.

Поиск результата автотеста

Введите в поисковое поле любые имеющиеся сведения об автотесте: название, статус или Case ID.

Возможные сценарии импорта

После загрузки возможны несколько вариантов связи автотестов с тест-кейсами системы.

Все автотесты сопоставились с тест-кейсами

Такой результат означает, что были выполнены следующие условия:

• У автотестов корректно заполнены case_id.
• Тест-кейсы есть в нужном проекте или ветке.
• Результаты полноценно попали в тест-ран.

При этом на странице тест-рана Allure:

• Импорт успешно выполнен.
• Количество пропущенных кейсов равно 0.
• Автотесты, для которых нет кейсов в системе, отсутствуют.

Есть результаты автотестов, для которых нет тест-кейсов

Такой результат означает, что часть автотестов не связана с кейсами в системе.

При этом на странице тест-рана Allure:

• Импорт успешно выполнен.
• Автотесты, для которых нет кейсов в системе, присутствуют.
• В сообщении видны причины: отсутствует case_id или кейс не найден.

Такие результаты попадают в список не сопоставленных для анализа. Чтобы результаты попали в итоговый тест-ран, необходимо корректно сопоставить case_id. Подробнее о не сопоставленных кейсах читайте в пункте Не сопоставленные автотесты.

Рекомендованное действие:

1. Создать недостающие тест-кейсы в SaveTest или исправить case_id.
2. Выполнить повторный импорт.

Есть тест-кейсы в тест-ране, но по ним нет результатов автотестов

Такой результат означает, что автотесты покрывают не весь набор тест-кейсов этого тест-рана, либо в текущем прогоне не запускались отдельные тесты.

При этом на странице тест-рана Allure и в реестре тест-кейсов:

• Импорт успешно выполнен.
• Часть тест-кейсов в тест-ране остается без нового результата автотеста.

Возможные причины проблем

Среди причин, по которым не выполнился процесс загрузки, можно выделить:

• Загружен allure-report вместо allure-results.
• В результатах нет case_id или некорректный формат ID.
• case_id есть, но такого тест-кейса нет в проекте или в нужной ветке.
• Архив слишком большой или поврежден.