Тревожни сигнали в едно предложение за тест за проникване

Предложението показва както обещанията на доставчика, така и конкретните ангажименти, които поема. Проверете какво е определено за обхвата, екипа, доказателствата и повторния тест. Признаците по-долу са повод за уточняващи въпроси: отговорите помагат да оцените дали предложението съответства на нуждите ви.

Оферта без разговор за обхвата

Изпратили сте запитване от два реда и сте получили остойностено предложение на следващата сутрин. Никой не е попитал колко роли има приложението ви, дали обслужва множество клиентски организации или дали съществува използваема тестова среда.

Защо има значение. Усилието следва структурата на тестваното, не заглавното му описание. Оферта, произведена без това разбиране, е догадка, а догадка, която се окаже ниска, се поема чрез намаляване на дълбочината. Няма да видите това да се случва; ще видите отчет с правдоподобен брой констатации.

Понякога невинно. Ако сте предоставили задълбочен документ за обхвата, диаграма и матрица на ролите, бързата оферта показва компетентност. Ясно обозначен индикативен диапазон, предложен рано, за да можете да определите бюджет, също е полезен — при условие че обозначението го има.

Попитайте. „Какво допуснахте за нашата среда, за да произведете това число, и кои допускания биха променили цената, ако са погрешни?“ Доставчик, който е помислил за това, изброява допусканията с охота. Такъв, който не може да назове нито едно, не ги е направил съзнателно.

Усилие, което не може да покрие заявения обхват

Предложението изброява няколко приложения, API, облачна среда и вътрешна мрежа, после разпределя усилие, което би било напрегнато за едно от тях. Аритметика, не мнение.

Защо има значение. Подценяването на обхвата е най-честият начин един тест да разочарова, без някой да е излъгал. Методологията може да е действителна и тестерите добри; просто не е имало време да бъде обходена матрица на оторизацията през шест роли, да бъде научен механизъм за определяне на цени и да бъде изброена мрежа. Пристига извадка, представена като оценка, а отчетът рядко казва кои части са били извадка.

Понякога невинно. Десет крайни точки зад един шлюз с един модел на оторизация наистина струват по-малко от две несвързани приложения. Пестелива стойност може да е добре преценена — проверката е дали доставчикът може да обясни групирането.

Попитайте. „Как е разпределено усилието през обхвата и какво няма да имате време да направите?“ Втората половина е полезната. Всеки ограничен във времето ангажимент има граница; доставчик, който заявява своята, е планирал, а такъв, който настоява, че няма такава, продава измислица.

„Автоматизирано и ръчно тестване“ — израз, който върши твърде много работа в едно изречение

Изразът сам по себе си не показва дълбочината на теста. Предложението трябва да обяснява как се използват инструментите за широко покритие и как тестерите проверяват бизнес логиката, оторизацията, веригите от слабости и реалното въздействие. Само прегледът на резултатите от скенер не доказва, че е извършен такъв анализ.

Защо има значение. Скенерите намират известни уязвими версии, липсващи заглавки, неправилни конфигурации и инжектиране в очевидни параметри. Те не намират нарушена оторизация на ниво обект между двама клиенти, работен процес, който може да бъде възпроизведен, за да бъде приложена отстъпка два пъти, или последователност за нулиране на парола, която дава чужд акаунт. Това изисква някой да разбере за какво служи приложението и после да наруши това намерение.

Понякога невинно. Автоматизацията принадлежи на всяка добра методология — никой не изброява голяма среда на ръка, а тестер, който отказва инструменти, харчи парите ви напразно. Въпросът е само кои констатации откъде идват.

Попитайте. „Кои класове констатации очаквате от инструменти и кои от ръчно тестване? Дайте ми един пример от ръчната половина, който никой скенер не би произвел.“ Това разделя двата лагера незабавно, защото вторият лагер няма пример, който да даде.

Непосочена методология

Предложението трябва да каже какво тестването систематично покрива, с позоваване на призната рамка, подходяща за целта — стандарт за уеб приложения, ръководство за мобилни, бенчмарк за облак — в идеалния случай съотнесени към вашия обхват.

Защо има значение. Методологията е начинът, по който един тест става повторяем, а покритието — проверимо. Без нея ангажиментът отразява каквото този тестер случайно е помислил, което варира според човека, според деня и според колко време е останало. Тя прави и този отчет несравним с миналогодишния.

Понякога невинно. Рамките задават минималното покритие, а не неговия предел. Старшите тестери рутинно отиват отвъд публикуваната методология, а работата, водена от цели, законно се организира около целите вместо около покритието — целите тогава трябва да бъдат заявени със същата точност.

Попитайте. „Кои раздели от методологията се прилагат към нашия обхват и кои не?“ Човек, който работи по дадена рамка, отговаря на нейния език. Сравнете отговора с това, което доставчикът публикува за собствената си методология на тестване, тъй като публичното описание е по-трудно за импровизиране.

Няма примерен отчет

Отчетът е продуктът; всичко останало е логистика. Доставчик, който няма да ви покаже заличен или демонстрационен отчет, ви моли да купите единственото нещо, което не можете да огледате предварително.

Защо има значение. Примерният отчет ви казва за десет минути това, което предложението никога няма: дали констатациите носят стъпки за възпроизвеждане или само описания; дали доказателството е действителен материал от заявка и отговор или снимка на екран от панел на скенер; дали съветите за отстраняване са специфични за вашата технология; и дали разделът за покритието признава какво не е било достигнато.

Понякога невинно. Клиентските отчети са конфиденциални и колебанието относно действителен отчет е правилно. Доставчикът вместо това трябва да разполага със специално изготвен или задълбочено заличен пример; PXL публикува примерен отчет точно по тази причина.

Попитайте. „Може ли да видя пълен примерен отчет, включително страниците с подробности, а не само резюмето?“ После прочетете една констатация от начало до край и попитайте дали собственият ви инженер би могъл да действа по нея без среща.

Няма повторен тест или повторният тест струва допълнително

Условията за повторния тест или са в предложението, или не са. Ако не са, по подразбиране се приема, че плащате отново, за да научите дали поправките ви са проработили.

Защо има значение. Констатацията е затворена, когато човек, който разбира атаката, потвърди, че тя вече не работи, а не когато разработчик го каже. Поправките се провалят често: филтърът покрива един параметър, но не и съседния му, проверката за оторизация достига крайната точка, но не и пакетния ѝ вариант, кръпката попада на един от три екземпляра. Тест без проверка ви оставя с убеждения за собствените си системи.

Понякога невинно. Изключването на повторния тест може да е честната структура — ако отстраняването ще продължи година, отделно определено по обхват връщане превъзхожда кратък прозорец, който никой не използва. Тревожният признак е мълчанието, не изключването.

Попитайте. „Включен ли е повторен тест; за кои констатации; колко преминавания; в какъв прозорец; и тества ли заобикаляне на поправката или само първоначалния проблем?“ Последната част има най-голямо значение, тъй като припряната кръпка често създава почти идентичен втори маршрут.

Обещани констатации без стъпки за възпроизвеждане

„Подробни описания на всяка уязвимост с оценки на риска и препоръки“ описва документ. „Възпроизвеждане стъпка по стъпка, с доказателствата, нужни за независимо повтаряне“ описва завършен продукт.

Защо има значение. Констатация, която екипът ви не може да възпроизведе, се превръща в спор, а не в задача. Разработчиците основателно отказват да променят код по твърдение, а без стъпки спорът често завършва с понижаване на оценката от изтощение. Стъпките ви защитават и при повторния тест, и пред одитор — единственото доказателство, че нещо е било демонстрирано, а не изведено от банер с версия.

Понякога невинно. Някои констатации се съпротивляват на свеждане до стъпки: слабост в проектирането, архитектурно наблюдение, състояние на състезание (race condition), което се възпроизвежда непостоянно. Те принадлежат на отчета с ясно заявена несигурност. Тревожна е липсата на стъпки при обикновените механични констатации.

Попитайте. „Ще включва ли всяка използваема констатация стъпки за възпроизвеждане и първични доказателства, и може ли това да е договорно задължение?“ Ако да, запишете го в заданието за работа, където струва нещо.

Обхват, който изброява активи, но не и роли

Обхватът назовава приложения, имена на хостове и пътища на API и не казва нищо за потребителски роли, клиентски организации или тестови акаунти — най-надеждният признак за предложение, написано от човек, който не е тествал приложение отскоро.

Защо има значение. Контролът на достъпа не е функция, която проверявате веднъж; той е матрица, която обхождате. За всяка чувствителна операция тестерът трябва да установи кои роли могат да я извършват и да я опита с всяка роля, която не може — след което, за всяка роля, да опита да достигне данни, принадлежащи на друг екземпляр на същата роля: друг потребител, друг екип, друга клиентска организация. Два различни теста и мястото, където живеят сериозните констатации в повечето бизнес приложения.

Понякога невинно. Външна оценка на инфраструктурата без удостоверяване няма роли, нито пък преглед на публична маркетингова среда. За всичко с вход пропускът е съществен.

Попитайте. „Колко акаунта и клиентски организации са ви нужни, с какви роли и какво трябва да има в тях?“ Доставчик, който възнамерява да тества оторизацията, има точен, леко изискващ отговор, включително различими въведени данни. Такъв, който казва „администраторски вход е достатъчен“, вече ви е казал плана си.

„Нашият екип от експерти“ — и нищо по-конкретно

Купувате внимание и преценка, а предложение, което описва тестерите само в събирателни, ласкави думи, укрива основната променлива.

Защо има значение. Разликата между компетентен старши тестер и младши, работещ по контролен списък, е по-голяма от всеки друг фактор, и е невидима в предложението и едва видима в отчета. Вниманието на продажбите се съсредоточава върху представянето, докато изпълнението се обезпечава с когото се окаже свободен тази седмица. Никой не е нужно да ви заблуждава; предложението просто никога не е поело обвързване, което да бъде нарушено.

Понякога невинно. Доставчиците основателно избягват да назовават конкретни хора месеци напред, а екипите със смесено ниво са добра структура — младшите вършат отлична работа под преглед и така професията се възпроизвежда. Онова, което искате обвързано, е стандартът, прегледът и отговорният водещ, не имената.

Попитайте. „Кой извършва тази работа, на какво ниво, с какъв опит с нашата технология — и кой отговаря за качеството на отчета?“ После: „Възлага ли се някоя част на подизпълнител?“ Специализираното подизпълнение често е правилно, но научете за него сега, а не от бележка под линия.

Шаблонен текст, който споменава погрешна технология или друг клиент

Предложението описва тестване на вашата Kubernetes среда, когато използвате виртуални машини, посочва мобилно приложение, което не притежавате, или все още носи името на друга организация в горен колонтитул, долен колонтитул или свойство на файла.

Защо има значение. Два проблема. Никой не е прочел документа, преди да го изпрати, и същата грижа ще достигне вашия отчет. По-лошо, име на друг клиент във вашето предложение означава, че вашето име ще се появи в чуждо — а фирма, която разкрива самоличността на клиенти чрез небрежна работа с документи, държи отчет, описващ как да бъдете компрометирани.

Понякога невинно. Шаблоните са разумни, а разделите за методологията трябва да бъдат използвани отново, а не пренаписвани. Проблемът е шаблонен текст, който противоречи на вашата среда, което подсказва, че и разделът за обхвата не е бил написан за вас.

Попитайте. Посочете го: „това споменава технология, която не използваме — кои части бяха написани за нас?“ После попитайте как се съхраняват и предават клиентските отчети и сравнете отговора с това, което доставчикът публикува за собствените си практики по сигурността.

Твърдения за съответствие, които доставчикът не може да прави

Казва се, че ангажиментът ви прави съответстващи, удовлетворява одитор или отмята регулаторно поле направо. Езикът за съответствието е най-свободен в предложенията, защото там купувачите са най-разтревожени.

Защо има значение. Тестът произвежда доказателство, че даден контрол е бил оценен. Дали това доказателство удовлетворява една рамка, зависи от обхвата, от оценителя и от вашата по-широка контролна среда. Никой доставчик не може да обещае изход от одит, който не контролира, а провалът излиза наяве късно: одитът пристига, обхватът не покрива това, което стандартът е изисквал, и работата се прави отново.

Понякога невинно. Много доставчици разбират конкретни рамки добре и определят обхвата точно спрямо тях, което е ценно. „Този обхват покрива изискването за тестване в клауза X, и ето как отчетът се съотнася към нея“ е законно твърдение. „Това ще ви направи съответстващи“ е друго изречение.

Попитайте. „Кое конкретно изискване доказва това и какво още изисква рамката, което този ангажимент не покрива?“ Последната част е проверката — доставчик, който познава стандарта, с охота ще каже къде свършва работата му.

Срок за отчета, който предполага липса на преглед

Тестването завършва в петък; окончателният отчет е обещан за понеделник. Това е добре дошло — но си заслужава да се разгледа.

Защо има значение. Отчет, изпратен без преглед от колега, излиза с непроверени от друг специалист заключения на един тестер. Прегледът е мястото, където критичността се коригира, липсваща стъпка за възпроизвеждане бива уловена, а втори четец пита дали констатацията е доказана или само предполагана. Това отнема време, а срок без резерв обикновено го е премахнал. Обратната крайност също е тревожен признак: отчет шест седмици по-късно е написан от изстиващи бележки, а седмицата след тестването е когато най-много ви трябва.

Понякога невинно. Добрите екипи пишат, докато тестват, затова кратък срок може да отразява дисциплина. Незабавното предаване на междинни констатации, последвано от прегледан окончателен отчет, е добра практика, а не припряност.

Попитайте. „Кой преглежда отчета, преди да достигне до мен, и какво проверява този преглед? Ще получа ли междинни констатации по време на тестването?“ Доставчик с действителен процес описва стъпки и назовани роли. Такъв без процес описва грижа.

Контролният списък за преглед

Минете през този списък с отвореното предложение. Всяка точка е отговорима от документа или с един въпрос.

1. Определяне на обхват. Кои допускания произведоха тази цена и кои биха я променили?
2. Усилие. Как е разпределено през обхвата и за какво няма да има време?
3. Автоматизация. Кои констатации идват от инструменти, кои от ръчна работа — плюс един пример, който никой скенер не би произвел?
4. Методология. Кои раздели от назована рамка се прилагат тук и кои не?
5. Примерен отчет. Може ли да видя пълен, включително страниците с подробности — и би ли могъл инженерът ми да действа по една констатация без помощ?
6. Повторен тест. Включен ли е? За кои констатации, колко преминавания, какъв прозорец, тестват ли се заобикаляния?
7. Доказателства. Стъпки за възпроизвеждане и първични доказателства за всяка използваема констатация, договорно?
8. Роли. Колко акаунта и клиентски организации, с какви роли, с какви данни в тях?
9. Хора. Кой тества, на какво ниво и кой отговаря за качеството на отчета?
10. Подизпълнение. Възлага ли се някоя част на подизпълнител, на кого, при какви условия за данните?
11. Шаблонен текст. Кои части бяха написани за нас? Чие име е в свойствата?
12. Съответствие. Кое изискване доказва това и какво още изисква рамката?
13. Срок. Кой преглежда отчета, какво проверява прегледът и има ли междинни констатации?
14. Данни. Къде ще се съхранява отчетът ни, за колко време и кой може да го чете?

Два модела си заслужава да се запомнят. Всички полезни въпроси търсят ясна граница — какво не е покрито, за какво няма време, къде спира методологията, какво рамката все още изисква. Способните доставчици отговарят на тях спокойно; останалите посягат към успокоение. И отговорите принадлежат на заданието за работа, не на бележките ви от разговора: предложението е маркетинг, договорът е това, което сте купили. Прочитането на публичното описание на услугата на доставчика наред с предложението му и отбелязването къде двете се разминават е евтина последна проверка.