Тестовый планТестовый план
1
Тестовый планТестовый план
Это документ, включающий:
объем
ресурсы
календарный план работ по тестированию
выполняемые тесты
тестируемые элементы
задачи тестирования
ответственные сотрудники
вероятность возникновения непредвиденных
обстоятельств и меры, которые потребуется при
этом принимать
(стандарт ANSI/IEEE 829-2983 for Software Test
Documentation)
2
Назначение тестового планаНазначение тестового плана
3
 служит для поиска ошибок
 облегчает управление работами и контроль хода их
выполнения
 облегчает организацию технических аспектов
тестирования
 помогает организовать и скоординировать усилия
сотрудников, разрабатывающих и тестирующих
программный продукт
 повышает эффективность и полноту тестирования
 документация должна быть не объемной, а эффективной.
Любые составляющие плана, не помогающие в поиске
ошибок и организации тестирования, являются пустой
тратой ресурсов
Павловская Т.А. (СПбГУ ИТМО) 4
Составление тест
план
Совершенствование тестового планаСовершенствование тестового плана
Как правило, применяется эволюционный
подход (проведение тестирования
параллельно с разработкой его плана)
Первый этап - начальная разработка:
1. Проработка спецификации /
пользовательской документации
2. Первая версия списка функций программы
(полнота списка определяет полноту
тестирования)
(список будет постепенно расширяться)
3. Анализ входных данных и ограничений
(простейший анализ граничных условий)
5
Направления развития планаНаправления развития плана1. Наиболее вероятные ошибки
(чем больше ошибок обнаружено в
некоторой области программы, тем больше
их там же)
2. Наиболее заметные ошибки
(пользователю)
3. Наиболее часто используемые области
программы
4. Отличительные особенности программы
(то, что отличает от конкурентов)
5. Самые сложные аспекты для тестирования
6. Самые понятные функциональные области
6
Компоненты тестового планаКомпоненты тестового планасписки таблицы планы матрицы
7
отчетов и экранных форм
вх. и вых. переменных
возможностей и функций
файлов
сообщений об ошибках
совместимого оборудования
совместимых программ
публикуемых документов
конфигураций совместимой
операционной среды
перечень материалов
отчетов
вх. и вых. значений
ввода-вывода
решений
клавиатурных комбинаций
совместимых принтеров
диаграмма граничных
значений
диаграмма потоков данных
иерархический список
функций
8
Матрицы:
аппаратной и программной совместимости
аппаратных конфигураций
операционных окружений
комбинаций входных значений
сообщений об ошибках и клавиатурных комбинаций
 Кроме того, ведется матрица прослеживаемости
требований (отображение каждого требования на
тест-кейсы).
Пример таблицы ввода-выводаПример таблицы ввода-вывода
Входная переменная Выходная переменная Связь
Цена_товара Цена_товара_в_счете = Цена_товара
Общая_стоимость Сумма стоимостей
заказанных товаров
Налог_с_продаж 7% от
Общая_стоимость
9
Иерархический список функций системыИерархический список функций системы
1. Перечень всех высокоуровневых действий
пользователя
2. Подфункции всех функций (все доступные опции и
варианты)
3. Детализация до элементарных логических действий
программы
4. Перечислить входные и выходные условия для
каждой функции и подфункции
5. Список всех способов диалога с программой при
выполнении каждой из функций (клавиатура, мышь)
10
Каждая строка этого списка в конце концов преобразуется в
тестовый пример
Разделы тестового плана по стандартуРазделы тестового плана по стандарту
идентификатор
введение
тестируемые элементы (программные компоненты,
подлежащие тестированию)
тестируемые функции
нетестируемые функции
подход к тестированию (кто, виды работ,
технологии и средства, критерии, крайние сроки)
критерии прохождения тестов
документация
необходимое оборудование
календарный план
ответственность
…
11
Test SpecificationTest Specification –– обязательный документобязательный документ
 Test Specification – документ, обязательный к
исполнению: все, что там написано – д.б. выполнено
 Оптимизация Test Specification – одна из основных
задач
 Вообще набор видов тестирования содержится в
Test Plan’е
12
СтруктураСтруктура Test specificationTest specification
Как у обычного проектного документа:
 Заголовок
 Авторы
 История модификации
 Логотипы
 Сведения о степени конфиденциальности
 Содержание
 Введение
 Фактическая часть – тестовые примеры (test
cases)
13
ПримерПример Test specificationTest specification
14
Более подробно о
создании тест-кейсов -
далее
Выводы по результатам тестированияВыводы по результатам тестирования
 Тестирование пройдено/не пройдено (для билда)
 Статистика:
Время выполнения
В среднем на тестовый пример (возможно доп. разбивка по
подгруппам)
На каждый билд
На последний билд
На каждой платформе
Процент покрытия функциональности/тестовых примеров
по каждому билду
По каждой платформе
По последнему тестируемому билду
.......
15
Примеры отчетов (Терехов А.А.)Примеры отчетов (Терехов А.А.)
16
Такие отчеты могут выполнять две основных функции:
•фиксировать состояние в данной контрольной точке, т.е. отчет
отвечает на вопрос вида "да или нет'' — выполнены необходимые
для этой точки условия или нет;
•показывать динамику процесса и переход от одной его фазы к
другой, т.е. отчет предоставляет информацию для принятия
решения о возможности перехода от одного этапа процесса к
последующему.

Tpo 05111(1)

  • 1.
  • 2.
    Тестовый планТестовый план Этодокумент, включающий: объем ресурсы календарный план работ по тестированию выполняемые тесты тестируемые элементы задачи тестирования ответственные сотрудники вероятность возникновения непредвиденных обстоятельств и меры, которые потребуется при этом принимать (стандарт ANSI/IEEE 829-2983 for Software Test Documentation) 2
  • 3.
    Назначение тестового планаНазначениетестового плана 3  служит для поиска ошибок  облегчает управление работами и контроль хода их выполнения  облегчает организацию технических аспектов тестирования  помогает организовать и скоординировать усилия сотрудников, разрабатывающих и тестирующих программный продукт  повышает эффективность и полноту тестирования  документация должна быть не объемной, а эффективной. Любые составляющие плана, не помогающие в поиске ошибок и организации тестирования, являются пустой тратой ресурсов
  • 4.
    Павловская Т.А. (СПбГУИТМО) 4 Составление тест план
  • 5.
    Совершенствование тестового планаСовершенствованиетестового плана Как правило, применяется эволюционный подход (проведение тестирования параллельно с разработкой его плана) Первый этап - начальная разработка: 1. Проработка спецификации / пользовательской документации 2. Первая версия списка функций программы (полнота списка определяет полноту тестирования) (список будет постепенно расширяться) 3. Анализ входных данных и ограничений (простейший анализ граничных условий) 5
  • 6.
    Направления развития планаНаправленияразвития плана1. Наиболее вероятные ошибки (чем больше ошибок обнаружено в некоторой области программы, тем больше их там же) 2. Наиболее заметные ошибки (пользователю) 3. Наиболее часто используемые области программы 4. Отличительные особенности программы (то, что отличает от конкурентов) 5. Самые сложные аспекты для тестирования 6. Самые понятные функциональные области 6
  • 7.
    Компоненты тестового планаКомпонентытестового планасписки таблицы планы матрицы 7 отчетов и экранных форм вх. и вых. переменных возможностей и функций файлов сообщений об ошибках совместимого оборудования совместимых программ публикуемых документов конфигураций совместимой операционной среды перечень материалов отчетов вх. и вых. значений ввода-вывода решений клавиатурных комбинаций совместимых принтеров диаграмма граничных значений диаграмма потоков данных иерархический список функций
  • 8.
    8 Матрицы: аппаратной и программнойсовместимости аппаратных конфигураций операционных окружений комбинаций входных значений сообщений об ошибках и клавиатурных комбинаций  Кроме того, ведется матрица прослеживаемости требований (отображение каждого требования на тест-кейсы).
  • 9.
    Пример таблицы ввода-выводаПримертаблицы ввода-вывода Входная переменная Выходная переменная Связь Цена_товара Цена_товара_в_счете = Цена_товара Общая_стоимость Сумма стоимостей заказанных товаров Налог_с_продаж 7% от Общая_стоимость 9
  • 10.
    Иерархический список функцийсистемыИерархический список функций системы 1. Перечень всех высокоуровневых действий пользователя 2. Подфункции всех функций (все доступные опции и варианты) 3. Детализация до элементарных логических действий программы 4. Перечислить входные и выходные условия для каждой функции и подфункции 5. Список всех способов диалога с программой при выполнении каждой из функций (клавиатура, мышь) 10 Каждая строка этого списка в конце концов преобразуется в тестовый пример
  • 11.
    Разделы тестового планапо стандартуРазделы тестового плана по стандарту идентификатор введение тестируемые элементы (программные компоненты, подлежащие тестированию) тестируемые функции нетестируемые функции подход к тестированию (кто, виды работ, технологии и средства, критерии, крайние сроки) критерии прохождения тестов документация необходимое оборудование календарный план ответственность … 11
  • 12.
    Test SpecificationTest Specification–– обязательный документобязательный документ  Test Specification – документ, обязательный к исполнению: все, что там написано – д.б. выполнено  Оптимизация Test Specification – одна из основных задач  Вообще набор видов тестирования содержится в Test Plan’е 12
  • 13.
    СтруктураСтруктура Test specificationTestspecification Как у обычного проектного документа:  Заголовок  Авторы  История модификации  Логотипы  Сведения о степени конфиденциальности  Содержание  Введение  Фактическая часть – тестовые примеры (test cases) 13
  • 14.
    ПримерПример Test specificationTestspecification 14 Более подробно о создании тест-кейсов - далее
  • 15.
    Выводы по результатамтестированияВыводы по результатам тестирования  Тестирование пройдено/не пройдено (для билда)  Статистика: Время выполнения В среднем на тестовый пример (возможно доп. разбивка по подгруппам) На каждый билд На последний билд На каждой платформе Процент покрытия функциональности/тестовых примеров по каждому билду По каждой платформе По последнему тестируемому билду ....... 15
  • 16.
    Примеры отчетов (ТереховА.А.)Примеры отчетов (Терехов А.А.) 16 Такие отчеты могут выполнять две основных функции: •фиксировать состояние в данной контрольной точке, т.е. отчет отвечает на вопрос вида "да или нет'' — выполнены необходимые для этой точки условия или нет; •показывать динамику процесса и переход от одной его фазы к другой, т.е. отчет предоставляет информацию для принятия решения о возможности перехода от одного этапа процесса к последующему.

Editor's Notes

  • #4 как продукт – если организации заказывется именно разработка плана; для военных организаций; для тех, кто его будет потом сам модифицировать и поддерживать.
  • #5 Виды деятельности, осуществляемые при составлении плана испытаний Выходным результатом действий исполнителей, осуществляющих планирование тестирования, является документ или набор документов, который должен быть проверен тестовой группой, группой разработчиков и персоналом, осуществляющим управление разработкой и сопровождением программ. В плане проведения испытаний указаны ресурсы, необходимые для тестирования программного продукта, определено, что подлежит тестированию, как должно проводиться тестирование и какие выходы или выходные результаты будут получены по итогам тестирования.
  • #8 отчетов и экранных форм – все экранные формы ввода и вывода данных, все, что выводится в файлы и на печать. по этим данным составляются списки вх. и вых. переменных возможностей и функций – прежде всего те. что очевидны для пользователя: команды меню, кнопки, опции. Это – путеводитель по программе сообщений об ошибках – если нет в документации, можно выдернуть из файлов ресурсов или утилитой поиска текста в бинарнике. Обработка ошибок – хуже всего сделанная часть программы файлов – список всех файлов программы. Отслеживать версии. Оч. часто на дистрибутив записывают не те версии. совместимых программ: сосуществуют; одна читает файлы другой; обмениваются сообщениями; хранят данные в одном и том же формате; один интерфейс перечень материалов – все, что входит в комплект поставки (все, что в коробке)
  • #9 Главная функция таблицы – описательная, матрицы – сбор данных. Заголовки строк и столбцов определяют условия теста, в ячейке - результат Основы всех этих документов постепенно дополняются