Ако една констатация не е възпроизводима, тя не е завършена

Най-полезният въпрос към потенциална фирма за тестване не е за инструментите или сертификатите ѝ. Той е: „Може ли да видя анонимизиран отчет?“ А това, което трябва да търсите в този отчет, е дали разработчик, който не е присъствал на разговора, би могъл да възпроизведе всяка констатация само от страницата. Ако не — отчетът не е завършен.

Защо възпроизводимостта е същината

Констатацията съществува, за да бъде поправена. Поправянето означава инженер да я разбере, да я потвърди, да промени код или конфигурация и да провери, че промяната е проработила. Всяка от тези стъпки зависи от това дали проблемът може да бъде възпроизведен. Отчет, който казва „присъства SQL инжекция, критичност High“ и спира дотам, е предал на инженера загадка, не поправка.

Устройството на една възпроизводима констатация

• Точно местоположение. Конкретната крайна точка, параметър, заявка или екран — не „приложението“.
• Предварителни условия. Каква роля, какво състояние, какви данни трябва да съществуват предварително.
• Стъпки. Действителните заявки или действия, по ред, които задействат проблема — готови за копиране.
• Доказателство. Двойката заявка/отговор или снимката на екрана, която доказва, че се е случило.
• Въздействие. Какво означава за бизнеса, на разбираем език.
• Поправка. Конкретно отстраняване, в идеалния случай с примерен код или конфигурация.

Какво ви казва това за фирмата

Възпроизводимото отчитане е трудно за имитиране. То означава, че тестерът действително е разбрал проблема достатъчно добре, за да го обясни на друг — което означава, че действително го е използвал, вместо да копира едноредовото описание на скенер. Неясните отчети често са признак, че никой не е проверил констатацията ръчно.

Затова и правим повторен тест. Ако не можем сами да възпроизведем една констатация, след като сте я поправили, не можем честно да ви кажем, че е затворена. Възпроизводимостта минава през целия ангажимент, от първата констатация до писмото за приключване.

Резюмето за ръководството също е част от това

Възпроизводимостта не е само за инженери. Ръководството трябва да „възпроизведе“ решението за риска — да разбере какво е заложено достатъчно добре, за да приоритизира и осигури средства за поправката — а не може да го направи от маса от технически подробности. Добрият отчет носи кратко резюме за ръководството, което заявява общия риск, малкото на брой теми зад констатациите и двете-три неща, които да бъдат поправени първо, на разбираем език. Ако първите две страници не позволяват на ръководител без техническа подготовка да действа, отчетът не е завършен и за него.

Констатациите като данни, не само като текст

Наистина полезният отчет предава констатациите си и като данни — експорт в CSV или JSON, който влиза директно във вашата система за проследяване на задачи. Възпроизводимостта и проследимостта вървят заедно: констатация, която екипът ви не може да внесе, е констатация, която тихо се изплъзва между отчета и списъка със задачи. Резултатът, който предаваме не е документът; това са поправките, които се случват заради него.