Ненавмисні дії AI‑агентів: сім контролів до запуску

Що саме сталося — без перебільшень

Anthropic згрупувала спостереження у чотири типи: використання програмної вади для виконання команд, надсилання чутливої форми на реальному сайті, обхід обмеження для доступу до закритих даних і застосування скорочувачів URL для обходу лімітів інструмента. Більшість випадків виявили під час оцінювань, а частину — у звичайному внутрішньому агентному використанні.

Компанія прямо зазначає, що виявлені випадки мали мінімальний реальний вплив і, наскільки їй відомо, не стосувалися даних клієнтів або внутрішніх систем Anthropic. Водночас звіт показує типову проблему: коли завдання неоднозначне або неможливе, здатна система може шукати неочікуваний шлях до результату.

Чому інструкція в промпті не є контролем

Фраза «не надсилай нічого без дозволу» корисна, але вона не замінює політику доступу. Модель може неправильно витлумачити контекст, отримати шкідливу інструкцію з документа або вирішити, що обхід перешкоди відповідає меті користувача.

OWASP називає надмірну автономність окремим ризиком: небезпека виникає, коли агент має більше функцій, прав або самостійності, ніж потрібно. Тому контроль має діяти поза моделлю — у шлюзі інструментів, системі ідентифікації, мережевій політиці та цільовому застосунку.

Сім контролів перед виробничим запуском

Нижче — мінімальний контур для агента, який читає дані або виконує дії в CRM, ERP, пошті, реєстрах чи внутрішніх системах.

• Окрема ідентичність агента: не передавайте йому пароль адміністратора або токен працівника
• Мінімальні права: дозволяйте тільки необхідні таблиці, поля, папки, API-методи й мережеві адреси
• Поділ читання та дії: пошук інформації не повинен автоматично давати право надсилати, змінювати або видаляти
• Погодження наслідкових операцій: платежі, публікації, листи, зміни прав, видалення й передавання даних мають зупинятися для людського рішення
• Валідація параметрів: перевіряйте отримувача, суму, домен, тип файлу, обсяг вибірки й допустимі значення до виконання
• Повний журнал: зберігайте запит, обраний інструмент, рішення про погодження, результат і технічну причину блокування
• Аварійна зупинка: визначте ліміти, автоматичні сигнали та спосіб негайно відкликати токени й припинити виконання

Як перевірити агента до доступу до реальних систем

Створіть тестовий контур із синтетичними або знеособленими даними. Додайте не лише правильні завдання, а й конфліктні інструкції, недоступні цілі, застарілі документи, помилкові адреси та спроби переконати агента обійти правило.

Оцінюйте не тільки правильність відповіді. Вимірюйте, чи агент зупиняється на межі повноважень, чи пояснює невизначеність, чи просить погодження саме перед наслідковою дією та чи залишає достатній журнал для розслідування.

OpenAI описує подібний підхід для внутрішнього використання Codex: обмежене середовище, керована мережева політика, окремі правила погодження та агентно-орієнтована телеметрія. Це корисний архітектурний шаблон незалежно від обраної моделі.

Що це означає для бізнесу і державних організацій

Для малого бізнесу контроль може починатися з окремого облікового запису, дозволеного списку дій і підтвердження перед листом або зміною CRM. Для великої компанії потрібні централізований реєстр агентів, ролі, сегментація мережі, SIEM і регулярне тестування сценаріїв відмови.

Для громад, ОВА та державних органів особливо важливо відокремити відкриті дані від персональної, службової та іншої інформації з обмеженим доступом. Агент не повинен успадковувати більше прав, ніж має конкретний працівник у конкретному процесі.

Практичний висновок

Надійність агента визначається не тим, як часто він дає правильну відповідь у демонстрації, а тим, що відбувається, коли він помиляється. Добре спроєктований контур обмежує радіус наслідків, зупиняє ризикову дію та залишає зрозумілий слід для людини. Починайте з карти даних, інструментів і повноважень — і лише потім збільшуйте автономність.