Тестване за проникване в AI / LLM
Тестове за проникване в AI приложения и LLM агенти
Проверяваме административния достъп, изолацията между клиенти, RAG данните и правата на агентите. Получавате възпроизводими доказателства, приоритетни корекции и повторен тест.
Договаряме функционалностите, акаунтите и средите в обхвата преди теста. Можем да подпишем NDA, преди да споделите чувствителни подробности.
Казус: административен слой на AI без проверка за администратор →
Проследете границите на достъпа в AI.
Картографираме потребителя, административната среда и системите, до които AI функционалността има достъп.
Започнете от слоя за управление, а не от чатбота
AI функционалността в бизнес приложение включва административни услуги за конфигуриране на промпти, създаване и обучение на модели, зареждане на данни и достъп до хранилища и бизнес системи. Проверяваме правата за тези услуги, защото неправомерният административен достъп може да има по-широки последствия от манипулирането на отговор в една сесия. Започваме от този слой, както обясняваме в публикацията за административния слой на AI.
Тестваме чрез заявки с акаунт на обикновен потребител. Скриването на административен екран в браузъра не доказва, че сървърът отказва достъп: при наши тестове такива услуги са допускали привилегировани операции за запис. Проверяваме и пряко и непряко инжектиране на промпти, като оценяваме реалния достъп до данни и действия.
Какво тестваме
- Административен слой на AI: промпти, модели и зареждане на данни
- Данни за достъп до хранилища и свързани бизнес системи
- Изолация на разговорите, документите и генерираните файлове между клиентски организации
- Правомощия на агентите и проверки на достъпа до инструменти
- Пряко и непряко инжектиране на промпти
- Обработка и съхранение на данни и защита на крайните точки
Защо има значение
Защо рискът не започва от инжектирането на промпти
AI функционалността в бизнес приложение е разпределена система със собствен административен слой. Той съхранява конфигурацията на промптите, управлява моделите и обучението им, задейства процесите за зареждане на бизнес данни и пази данните за достъп до хранилища и свързани системи. Когато доставчикът активира функционалността без отделен преглед на архитектурата, организацията може да приеме този модел на права, без да го оцени. Така административните операции могат да останат достъпни за неподходящи роли дълго след пускането в продукционна среда.
Разликата в последствията е съществена. Инжектирането на промпти влияе върху отговора в дадена сесия в рамките на правата, с които разполага моделът. Достъпът за запис в административния слой може да позволи промяна на данните за достъп, инструкциите за всички потребители и източниците или местата за съхранение на информация. При наши тестове административни AI услуги допускаха привилегировани операции от обикновен потребител, защото проверката за администраторски права беше само в браузъра. Друга услуга на същата платформа отказваше достъп на този потребител: проверката съществуваше, но не беше приложена към AI услугите. В подобни случаи решението е последователна проверка на правата в административния слой, а не отделна поправка за всяка крайна точка.
Как протича
Обхват и акаунти
Договаряме AI функционалностите в обхвата и тестовите акаунти с минимални права.
Описание на компонентите
Описваме крайните точки в клиентския пакет, слоя за оркестрация и асистента.
Проверка на правата
Повтаряме операциите с токен на обикновен потребител. След това проверяваме правомощията на агента и инжектирането на промпти.
Доклад и повторен тест
Предоставяме план за отстраняване, подреден по риск. След поправките проверяваме отново съответните операции.
Защо PXLSec
Какво отличава нашето тестване на AI
Първо се тества административният слой
Описваме административните операции: промяна на конфигурацията на промптите, управление на модели, зареждане на данни и достъп до тайните на автоматизираните процеси. Повтаряме всяка операция с токен на обикновен бизнес потребител, за да проверим какви права действително изисква сървърът.
Оторизация и изолация между клиентските организации
Създаваме съдържание с два потребителски акаунта и проверяваме дали единият може да достъпва разговорите, документите, векторните представяния и генерираните файлове на другия. Тестваме извличане, метаданни, експортиране и изтриване поотделно, защото проверките за собственост може да се различават между операциите.
Границата на агента и инструментите
За агенти, които извършват действия, проверяваме какви инструменти могат да извикват от името на потребителя. Тестваме дали прочетеното съдържание може да ги насочи към неправомерно действие и дали самият инструмент проверява правата на потребителя, вместо да се доверява само на слоя за оркестрация.
Инжектирането се оценява по това, докъде стига
Тестваме пряко и непряко инжектиране на промпти и оценяваме резултата според реалното въздействие: извикани инструменти, достъп до тайни или данни на друга клиентска организация. Неправомерният запис в хранилище за промпти също е самостоятелен дефект в контрола на достъпа, дори още да няма компонент, който използва този запис.
Какво получавате
Ясни резултати, договорени в предложението, без изненади в края на ангажимента.
- Резюме за ръководствотоРисковете за бизнеса, обяснени ясно за ръководството и управителния съвет.
- Технически докладВсяка констатация с критичност, доказателства и стъпки за възпроизвеждане.
- План за отстраняванеКонкретни действия, подредени по риск и готови за изпълнение от разработчиците.
- Писмо с резултатите от повторния тестПроверяваме поправките и писмено потвърждаваме кои проблеми са отстранени.
Кога ви е нужно
Кога е полезен тестът за сигурност на AI
Тестването показва как системата работи на практика, когато проектната документация не е достатъчна.
Преди AI функцията да стигне до клиентите
Преди пускането на генеративна функционалност искате да проверите кой има достъп до конфигурацията на промптите, тайните и управлението на моделите.
AI, включен от доставчика на платформата
Функционалността е активирана от доставчика и използва предварително зададени роли. Нужен е преглед какви административни и потребителски операции позволяват тези роли.
Агенти, които действат, а не само отговарят
Асистентът може да извиква вътрешни услуги, да чете записи или да записва данни от името на потребителя. Искате да проверите на практика границите на тези правомощия.
Управление и увереност за клиентите
Ръководството, застраховател или потенциален корпоративен клиент задава конкретни въпроси за AI функционалността. Нужни са независими технически доказателства за програмата ви за управление на AI.
Методология и стандарти
Методологии и източници, на които стъпваме
- OWASP Top 10 for LLM Applications
- OWASP Agentic Security Initiative
- MITRE ATLAS
- NIST AI Risk Management Framework
- OWASP API Security Top 10
- OWASP WSTG
- Контекстът на ISO/IEC 42001 и Регламента на ЕС за ИИ
Често задавани въпроси
Често задавани въпроси
Това просто тестване за инжектиране на промпти ли е?
Не. Инжектирането на промпти е част от теста. Започваме с административния слой: кой може да променя промптите, да достъпва данните за вход в хранилища и бизнес системи, да задейства зареждане на данни и да управлява модели. Проверяваме дали сървърът налага нужните права. След това оценяваме инжектирането на промпти според реалното му въздействие.
Нашата AI функция дойде с платформата, вместо да е разработена вътрешно. Влиза ли в обхвата?
Да. При активирана от доставчика функционалност ролите може да предоставят права за цяла услуга, вместо за конкретна операция. Така обикновен бизнес потребител може да получи и административен достъп. Проверяваме реалните права във вашата клиентска организация и предоставяме доказателства, включително отговорите на отделните операции, които можете да изпратите на доставчика.
Какъв достъп и тестови акаунти са ви нужни?
За предпочитане са два обикновени акаунта с еднаква роля в една клиентска организация, административен акаунт за сравнение и втора клиентска организация, ако е включена в обхвата. Така проверяваме изолацията между потребители и организации. Акаунтите с минимални права са особено важни за проверка на административните операции. Полезна е и наличната документация за крайните точки, оркестрацията и инструментите.
Ще наруши ли тестването работата на AI функцията или ще промени данните ни?
Предварително договаряме обхвата, правилата за тестване и графика. Операции, които използват значителни ресурси или променят състоянието — зареждане на данни, стартиране на обучение или промяна на продукционни промпти — се изпълняват само с изрично разрешение. Предпочитаме да доказваме пропуските върху записи, създадени за теста. Можем да работим и в тестова среда, ако тя възпроизвежда същия модел на права.
Това сертифицира ли ни по Регламента на ЕС за ИИ, ISO/IEC 42001 или рамката на NIST за управление на риска при ИИ?
Не. Провеждаме техническо тестване и не издаваме сертификати или атестации по тези рамки. Констатациите и доказателствата могат да подпомогнат хората, които отговарят за управлението, одита или оценката на съответствието ви. Приложимите изисквания и приемането на доказателствата се определят в съответния процес.
Какво получаваме накрая?
Получавате резюме за ръководството, технически доклад с критичност, доказателства и точни заявки за възпроизвеждане на всяка констатация, както и приоритизиран план за отстраняване. За проблеми в административния слой често е нужна последователна проверка на правата в цялата услуга. След поправките провеждаме повторен тест и писмено потвърждаваме кои проблеми са отстранени.
Свързани услуги
Нека обсъдим обхвата на теста.
Кажете ни какво искате да защитите. Опитен специалист ще ви помогне да определите обхвата и следващите стъпки. Обикновено отговаряме в рамките на един работен ден.
Поверителност от първия разговор
Можем да подпишем вашето NDA, преди да споделите чувствителни детайли. За запитването ви се прилага политиката ни за поверителност.
Как защитаваме информацията ви · Политика за поверителност