Контроль залежить від наслідків
Якщо дію легко скасувати й вона не впливає на права, гроші або безпеку, агент може працювати з ширшими межами. Для незворотних або чутливих рішень потрібна попередня перевірка.
Рівень контролю визначають за наслідком помилки, а не за впевненістю постачальника у моделі.
Три корисні моделі
Людина може перевіряти кожен результат, лише винятки або вибірку. Суцільна перевірка потрібна на старті чи для високого ризику. Перевірка винятків працює, коли система вміє надійно виявляти невизначеність. Вибірковий контроль відстежує повільну деградацію.
- Попереднє підтвердження дії
- Ескалація невизначених випадків
- Вибірковий аудит результатів
- Право негайної зупинки
Контроль має давати дані для покращення
Виправлення користувача потрібно перетворювати на структурований сигнал: що було не так, яке джерело пропущене та яке правило порушене. Простий негативний рейтинг майже нічого не пояснює.
Добре спроєктований human-in-the-loop одночасно захищає процес і створює набір даних для наступного циклу вдосконалення.