PXLSecurity LTD., София, България Офанзивна сигурност от 2014[email protected]

Разберете AI тестването

Къде се използва AI?
Какво трябва
да се тества?

AI инструмент за тестване и приложение с AI функционалности са различни неща. Първото описва как се извършва тестът. Второто определя какво трябва да бъде оценено. Обхватът ви трябва да изяснява и двете.

Начин на изпълнение.
Обект на проверката.

И двете могат да включват AI. Отговарят на различни въпроси при избора на услуга.

Как се извършва тестът

Тестване с помощта на AI

AI се използва за изследване на софтуер. Обектът може да е обикновено уеб приложение без AI функционалности. Възможностите зависят от инструментите, контролите и участващите хора.

  • Кои роли и процеси може да провери?
  • Как се потвърждават и преглеждат констатациите?
  • Как се прилагат границите и ограниченията на действията?

Какво се оценява

Тестове за AI сигурност

Обектът съдържа AI функционалности. Проверяват се приложението, потоците от данни, правата и действията на агентите, наред с приложимите атаки чрез инжектиране на промпти.

  • Кой може да променя промпти, модели и зареждане на данни?
  • Може ли потребител да достигне чужди данни?
  • Какво може да извършва агент от името на потребител?

От AI функционалност до договорен обхват

Посочете компонентите, акаунтите и операциите. Чат интерфейсът сам по себе си не описва системата зад него.

  1. Картографирайте компонентите

    Промпти, модели, извличане и зареждане на данни, свързани инструменти.

  2. Проверете правата

    Обикновени потребители, административни роли и граници между организации.

  3. Докажете и проверете

    Документирайте въздействието, предложете поправки и проверете отстраняването.

Административна функция.
Липсваща проверка на правата.

Публикуваният ни казус описва привилегировани AI операции, приети от обикновен потребител с вход в системата. Оценката установи една липсваща проверка на правата в административните услуги.

Разгледайте примерен доклад

Уточнете обхвата

Това само тестване на инжектиране на промпти ли е?

Не. Pixel оценява административните права, изолацията между организации, потоците от данни и правомощията на агентите, наред с приложимите атаки чрез инжектиране. Договореният обхват определя компонентите и операциите.

Успешното заобикаляне на ограниченията на модел доказва ли сериозна уязвимост?

Оценете последствието в системата. Нарушение на политика за съдържание, разкриване на данни и неразрешено действие чрез инструмент са различни резултати. Констатациите изискват доказателства и критичност според демонстрираното въздействие.

Това удостоверява ли съответствието на нашия AI?

Не. Pixel предоставя техническо тестване на сигурността, а не правни съвети, сертификация или оценка на съответствието. Констатациите могат да подпомогнат управлението, но сами по себе си не доказват съответствие.

PXLSec

Опишете до какво
може да достигне AI.

Споделете функционалностите, потребителските роли и свързаните системи. Опитен тестер ще помогне да уточните оценката.

Уточнете тест за AI сигурност Избирате начин на изпълнение? Сравнете автоматизираното тестване и специалистите.