Когда стоит закончить автоматизировать?
Download as PPTX, PDF0 likes876 views
Документ рассматривает автоматизацию тестирования и связанные с ней аспекты, такие как декомпозиция проекта, приоритеты, и затраты на автоматизацию и ручную проверку. Приводятся расчеты времени и денежных затрат на каждый тип тестов, а также окупаемость автоматизации. Обсуждаются проблемы, с которыми сталкиваются при автоматизации, и предлагаются рекомендации по улучшению процессов.
Когда стоит закончить автоматизировать?
- 2. Об авторе: - Automation QA в SoftServe - 5 лет опыта - организатор QA Dnepr community Skype: pashidlos Email: [email protected]
- 3. • Проблемы • Декомпозиция проекта • Синхронизация автоматизированного и ручного тестирования • Расчеты (часы/$) • Заключение • Вопросы План
- 4. • Раздельная работа QA • Отсутствует стратегия автоматизации • Приоритеты не определены • Сроки не согласованы Проблемы
- 5. • Провели декомпозицю проекта • Определили критичность с точки зрения системы • Определили лучшие части для автоматизации Что мы сделали:
- 6. Декомпозиция
- 7. Критичность функционала • Critical • Major • Normal
- 8. Лучший функционал для автоматизации • Как быстро можно написать тест? • Сколько времени уходит на ручной прогон? • Код будет использован повторно? • Тест будет стабилен?
- 9. Комбинируем... Система Автоматизация Critical P1 P1 P2 Major P2 P1 P2 P1 P3 Normal P2 P3 P3 P1 P2 P3 АвтоматизацияСистема
- 10. Чек-лист
- 11. Оценка времени для тестов • P1: 12ч • P2: 27ч • P3: 6ч ИТОГО: 45ч
- 12. Оценка времени для ручной проверки • P1: 2ч • P2: 1.5ч • P3: 0.5ч ИТОГО: 4ч
- 13. Реальные затраты при ручной проверке В среднем два прогона тестов за релиз: ИТОГО: 8ч
- 14. Расчеты в часах Итого P1 P2 P3 Автоматизация (ч) 45 12 27 6 Ручная проверка (ч) 8 4 3 1 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 6 3 9 6 Окупаемость автоматизации
- 15. Расчеты в деньгах QA рейт: 10$/ч • P1: 2ч = 20$ • P2: 1.5ч = 15$ • P3: 0.5ч = 5$ ИТОГО: 4ч= 40$ Automation QA рейт: 15$/ч • P1: 12ч = 180$ • P2: 27ч = 405$ • P3: 6ч = 90$ TOTAL: 45ч = 675$
- 16. Расчеты в деньгах Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Окупаемость автоматизации Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9
- 17. График окупаемости А как же поддержка тестов?
- 18. Поддержка +10 - 20 % каждый релиз
- 19. Расчеты с учетом затрат на поддержку Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
- 20. График окупаемости с учетом поддержки
- 21. Расчет автоматизации Р1 тестов Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
- 22. Расчет автоматизации Р1 тестов с учетом поддержки Тесты Стоимость ($) 10% ($) 20% ($) Total 675 67.5 135 P1 180 18 36 P2 405 40.5 90 P3 90 9 18
- 23. График окупаемости Р1 тестов с учетом поддержки P2+P3 нужно проверить вручную!
- 24. Добавляем Р2+Р3 тесты Итого P1 P2 P3 Автоматизация ($) 675 180 405 90 Ручная проверка ($) 80 40 30 10 Реальные цифры по регрессии (в среднем два прогона за релиз) Количество релизов 9 5 14 9 Окупаемость автоматизации
- 26. Пример из жизни Покрытие Затраты на автоматизацию (ч) Тесты (ч) Поддержка (ч) Ручное тестирование (ч) Затраты на релиз (ч) 0% 0 0 96 96 33% 552 526 26 48 74 66% 1104 1051 52 16 68 99% 1,656 1577 79 4 83
- 28. Расчет окупаемости ($) Покрытие Затраты на автоматизацию ($) Тесты ($) Поддержка ($) Ручное тестирование ($) Затраты на релиз ($) 0% 0 0 960 960 33% 8280 7890 390 480 870 66% 16560 15765 780 160 940 99% 24840 23655 1185 40 1225 QA рейт: 10$/ч Automation QA рейт: 15$/ч
- 30. • Автоматизировать сложные для ручной проверки тесты • Уменьшать время на поддержку тестов • Следить за изменением затрат на регрессию Как ускорить окупаемость автоматизации?
- 31. • Текущие затраты на регрессию (ТЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) • Ожидаемые затраты на регрессию (ОЗР) ▪ Ручное тестирование (ч/$) ▪ Поддержка автоматизированных тестов (ч/$) Что отслеживать:
- 32. ТЗР > ОЗР ТЗР = ОЗР ТЗР < ОЗР Summary Ручное тестирование Автоматизация