Развитие процессов тестирования в Badoo за три года или как мы думали, что всё хорошо, а оказалось, что можно лучше
В рамках этого доклада я поведаю:
- Как строилось тестирование в Badoo три года назад и почему мы думали, что это здорово
- С какими проблемами мы встретились и почему стали понимать, что нужно что-то совершенствовать;
- Как мы изменили у улучшили наши процессы за последние три года и как нам это помогло;
- Какие сложности мы всё ещё испытываем и как планируем их решать
Строю доклад примерно как идейное продолжение доклада “Организация автоматизированного тестирования в схеме непрерывной интеграции“ с конференции CodeFest 2013, чуть меньше внимания уделяя каждому отдельному пункту и рассказывая про все изменения в каждом пункте
1. Code Review
Улучшение системы
1.5. Автоматическое тестирование ветки
Тестов стало много, идти стали медленно - впилили облако
Тестов стало ещё больше, снова стали идти медленно - впилили каверидж
2. Тестирование на девеле
Cобственное облако - проще тестировать скрипты - интерфейс вместо правки крон-табов
QAAPI
Более стабильные авто-тесты для девела
User split - меньше прямых правок кода для тестирования
3. Тестирование в шоте
Автоматический запуск селениум-тестов
Правка селениум-тестов всеми тестировщиками
3.5. Автоматическое тестирование релиза
Интерфейс определения причин ошибок в автотестах
4. Тестирование на стейджинге
Система патчей вместо прямых коммитов в билд и мастер
Галочки готовности билда к релизу
5. Тестирование на продакшне
5.5. Мониторинг
Splunk, еррор-логи, ррд-графики
… И многое, многое другое!