Тестирование — только объективная критика
Многих интересует тема тестирования. Михаил Шваркунов, ведущий инженер по качеству ВКонтакте, выступил на лектории «ВКонтакте на практике» с докладом на тему «Тестирование — только объективная критика» и рассказал, как оно организовано в VK, подробно описал путь продукта от технического задания до пользователей.
Цель тестирования
После небольшой дискуссии с залом было выяснено, что цель тестирования — понять, в каком статусе находится продукт.
Этапы разработки
После определения цели тестирования стоит обсудить этапы разработки продукта:
- анализ требований;
- дизайн;
- разработка;
- тестирование;
- релиз — поддержка.
Самое начальное тестирование начинается с «анализа требований». Этот этап обычно называется «тестирование документаций».
Тестирования не обходится одним функциональным тестированием: следует изучить насколько соответствует дизайну, есть ли дыры в безопасности?
Какими качествами должен обладать настоящий тестировщик?
- ?????
- обладать добротой;
- быть умным;
- все самые хорошие качества, что есть;
- ?????
После небольшой дискуссии участники лектория предложили варианты: внимательность, системность, дотошность и другие. Но какой правильный на самом деле — никто не знает.
Первый зарегистрированный баг
Как оказалось у Грейс Хоппер перестал запускаться её Harvard Mark II. После поиска причин оказалось, что мотылёк попал между реле. Тогда был проведён «debugging» (избавление от жука). В журнале был вклеен этот мотылёк на скотч, и в отчёте написано «First actual case of bug being found» («Первое фактическое обнаружение бага»).
Команда VK QA
Core QA — это высокопрофессиональные специалисты, которые работают не один год и обладают экспертизой по всей области сайта.
Сейчас практикуется система, благодаря которой в каждой команде есть человек, который знает статус той или иной задачи. Если возникают трудности, то команда Core QA приходит на помощь.
Для простоты тестирования с командой из 30 человек было решено использовать «майнд-карты» и «чеклисты».
Что такое «майнд-карты», можно узнать на примере тестировании карандаша.
Для наглядной сущности и удобства также помогют чеклисты. Они связаны и с автоматическим тестированием.
Но как же выглядит автоматическое тестирование? На примере команды Web рассмотрим.
Для простоты на последнем внутреннем хакантоне был создан бот, который присылает в чат всю необходимую информацию о проведённом тесте. После продакшена кода запускается система мониторинга.
Мониторинг во время релиза:
- JS-ошибки;
- время загрузки страниц;
- grafana;
- watchdogs;
- проверка тематических групп;
- обращения в поддержку.
Несколько слайдов технологий автоматического тестирования в различных продуктах:
Тестирование каждого продукта не обходится без тестирования безопасности. Но всё же бывает такое, что некоторые уязвимости выходят в свет. Для этого Команда VK предлагает обращаться на платформу Hackerone. За обнаружение уязвимости будет выплачено денежное вознаграждение.
VK Testers
В программе бета-тестирования VK Testers каждый может принять участие в тестировании различных продуктов. Достаточно написать сообщение сообществу программы и пройти тестирование.
За каждый «хороший репорт» будут выданы специальные баллы. За них можно купить различную технику, одежду и т. д.
Полную версию выступления смотрите в записи трансляции:
The Brown Room — независимое интернет-издание про социальные сети и современные технологии.
Автор: Артём Алексеевич
Корректор: Арсений Метелёв
Скриншоты слайдов и статистика: Михаил Шваркунов / VK Education / VK