Движок против фреймворка
Эта страница измеряет Python-фреймворк агентов, раннер, который оркестрирует шаги конвейера, диспетчеризует вызовы инструментов с ограниченной областью доступа, управляет RAG-поиском, блокирует запись через подтверждение человеком и оборачивает вызовы модели. Для внутреннего Rust-движка (запись в кэш состояния за 310 нс, полный конвейер за 14 мкс) см. задержки движка.
Что даёт тебе раннер
// управление, а не только скоростьЗадержки ниже доказывают, что раннер лёгкий. Это гарантии, которые делают его безопасным для агентов, работающих с реальными клиентами. Десять из них измерены на этой странице; остальные встроены в архитектуру платформы.
01
Инструменты с ограниченной областью действияКоманда агентов видит только те инструменты, которые ты ей разрешил. Неразрешённые инструменты никогда не попадают в схему модели, поэтому разрешения и есть примитив диспетчеризации, а не запоздалая мысль.
0.6 µs02
Запись с подтверждением человекаКаждая запись проходит шлюз контроля (реактивный наблюдатель состояния, ограничение на запись за цикл, квота на тенанта, ограничение стоимости), а затем ждёт подтверждения оператора. Чтение свободно, запись под контролем.
0.3 µs03
RAG на уровне рабочего процессаКаждый рабочий процесс получает собственное изолированное векторное хранилище с гибридным поиском, поэтому документы одного клиента никогда не попадают в контекст другого.
0.28 ms04
Подключи свою модель20+ провайдеров за одной обёрткой (Anthropic, OpenAI, Gemini, Mistral, DeepSeek, Qwen, а также локальные Ollama и LM Studio), единый интерфейс для всех.
1.6 µs05
Учёт стоимости и токеновКаждый вызов модели оценивается по таблице стоимости для каждой модели и суммируется в накопленный итог в USD, чтобы ты мог выставлять счета клиентам и ограничивать расходы на тенанта.
0.4 µs06
Полная наблюдаемостьСпан OpenTelemetry для каждого вызова инструмента, вызова модели и запуска конвейера, содержащий стоимость, токены, задержку и причины ошибок. Управляй агентами, которых ты реально видишь.
0.3 µs07
Статическая сборка контекстаСистемный промпт, разрешённые документы знаний и схемы инструментов упаковываются в блок контекста при каждом обращении к модели, отдельно от скользящей истории.
1.4 µs08
Межзапусковая память команды агентовРабочая память команды агентов сохраняется между запусками и восстанавливается при следующем, поэтому долгоживущие агенты сохраняют контекст между сессиями.
53 µs09
Команды агентовМногоперсонажные команды агентов (макро, технический, риск, исполнение) передают контекст от персоны к персоне, с вето по риску и реактивными сайдкарами, которые могут прервать цепочку на полпути.
1.2 µs10
Защита от инъекции в промптВсё, что агент читает из ненадёжного источника (извлечённые документы, результаты инструментов, загруженные веб-страницы), проверяется на наличие инъекций в промпт, джейлбрейк и паттерны утечки данных до того, как модель может на это среагировать. Каждый паттерн имеет оценку серьёзности, и итоговый балл определяет исход: безопасный текст проходит насквозь; слегка подозрительный текст всё равно передаётся, но изолируется как данные, которым модель не должна следовать, и событие логируется; явно вредоносный сигнал, например попытка утечки секрета или захват формата диалога, отбрасывается до того, как модель его увидит. Строгость порогового значения настраивается для каждого развёртывания.
17 µs11
Изоляция учётных данныхЗашифрованные хранилища для каждого пользователя. Агенты действуют через краткосрочные тикеты и никогда не касаются сырых API-ключей, поэтому секреты клиента остаются в его области доступа.
AES-25612
Мультитенантность по архитектуреРоли с ограниченной областью доступа на уровне проекта и изоляция состояния для каждого конвейера. Команда агентов одного тенанта не может читать, останавливать или тратить ресурсы другого. Запускай множество клиентов на одной платформе.
RBAC