Размести подтверждение человеком там, где ИИ-агент выходит в реальный мир
Проектируй ИИ-агентов с участием человека: гейты подтверждения по риску, наглядные доказательства, редактируемые черновики, таймауты, эскалация и решения с возможностью аудита.
Дизайн с участием человека должен ставить гейт на переход от анализа к последствиям. Запрашивай подтверждение непосредственно перед отправкой сообщения клиенту, платежом, публикацией, удалением, заказом, изменением прав доступа или другой значимой записью и показывай доказательства и точное предлагаемое действие.
Выбирай гейты по значимости последствий
Не прерывай каждый шаг чтения или форматирования. Ставь гейты на действия, исходя из обратимости, аудитории, финансового влияния, юридических последствий, неоднозначности и уверенности в исходном состоянии данных. Человек должен принимать решение в последний безопасный момент перед выполнением.
Делай подтверждение осознанным
Кнопка «Подтвердить» без контекста превращается в пустой ритуал. Показывай исходные доказательства, точный адресат, предлагаемые данные, затрагиваемые записи, ожидаемые побочные эффекты и альтернативы. Разрешай проверяющему редактировать черновик, когда это безопаснее, чем перезапускать весь прогон целиком.
- Варианты: подтвердить, отклонить или отредактировать
- Поведение при таймауте и эскалации
- Личность проверяющего и отметка времени
- Неизменяемая ссылка на предложенное действие и доказательства
- Никакого молчаливого продолжения после истечения срока подтверждения
Измеряй эффективность гейта
Отслеживай причины отклонений, объём правок, время до решения, повторные запросы и исправления после подтверждения. Высокий процент отклонений или большой объём правок значит, что агенту или контексту на предыдущем шаге нужна доработка. Низкий процент отклонений не доказывает пользу гейта, если проверяющие просто штампуют неясные запросы не глядя.
Часто задаваемые вопросы
Какие действия агента должны требовать подтверждения человеком?
Сильные кандидаты: сообщения клиентам, публикации, платежи, сделки, удаления, изменения прав доступа, передача чувствительных данных и другие значимые или трудно обратимые записи.
Делает ли подтверждение человеком агента безопасным?
Оно снижает риск, но само по себе недостаточно. Права доступа, проверка данных, наглядные доказательства, обучение проверяющих и изоляция всё равно важны.
Можно ли редактировать подтверждение?
Для действий с черновиками редактируемое подтверждение часто лучше бинарного выбора. Нужно фиксировать и итоговые выполненные данные, и правки проверяющего.
