Melaya — Build AI agents for any job. Self-directed agentic platform for research, ops, reporting, and trading you run yourself, with your own exchange account and your approval on every order.

// 05 · Balangkas ng ahente

Gaano kabilis ang runner ng daloy ng proseso?

Gastos sa pagpapadala ng kasangkapan, pagkaantala ng pagkuha mula sa RAG, gastos ng balot ng pagtawag sa modelo, distribusyon ng buo-biyahe sa pag-apruba ng tao, at hakbang-sa-hakbang ng orkestrasyon ng daloy ng proseso. Maaaring ulitin mula sa sariwang kopya sa pamamagitan ng pytest benches/, parehong paraan ng bench ng makina.

Makina kumpara sa balangkas

Sinusukat ng pahinang ito ang balangkas na pangahentehan ng Python, ang tagapatakbo na nag-oorkestra ng mga hakbang ng daloy ng proseso, nagpapadala ng mga nakatakdang tawag sa kasangkapan, namamahala ng pagkuha mula sa RAG, naghahari ng mga pagsulat sa pamamagitan ng pag-apruba ng tao, at nagbabalot ng mga tawag sa modelo. Para sa in-house na makina ng kalakalan na nakasulat sa Rust (mga pagsulat sa state-cache sa 310 ns, buong daloy ng proseso sa 14 µs), tingnan ang latency ng makina.

Ano ang ibinibigay ng tagapatakbo sa iyo

// pamamahala, hindi lamang bilis

Pinapatunayan ng pagkaantala sa ibaba na matipid ang tagapatakbo. Ito ang mga garantiya na nagpapadali sa pagpapatakbo ng mga ahente para sa totoong mga kliyente. Sampung sukatan sa pahinang ito; ang natitira ay kung paano itinayo ang plataporma.

01
Mga kasangkapang may saklaw at pamamahalaAng pangkat ng mga ahente ay nakakakita lamang ng mga kasangkapang ibinibigay mo sa kanila. Ang mga hindi pinahintulutang kasangkapan ay hindi kailanman pumapasok sa eskema ng modelo, kaya ang mga pahintulot ang pangunahing paraan ng pagpapadala, hindi isang karagdagan.
0.6 µs
02
Mga pagsulat na may pag-apruba ng taoBawat pagsulat ay dumadaan sa pintuan ng pagpapatupad (isang reaktibong estado ng tagabantay, isang limitasyon sa pagsulat bawat iklo, quota bawat nangungupahan, limitasyon sa gastos), pagkatapos ay naghihintay ng pahintulot ng tagapagpatakbo. Ang pagbabasa ay malaya; ang pagsulat ay may hadlang.
0.3 µs
03
RAG bawat daloy ng trabahoAng bawat daloy ng trabaho ay may sariling hiwalay na tindahan ng vector na may hybrid retrieval, kaya ang mga dokumento ng isang kliyente ay hindi kumakawala sa konteksto ng isa pa.
0.28 ms
04
Dalhin ang sariling modelo20+ na tagabigay sa likod ng isang balot (Anthropic, OpenAI, Gemini, Mistral, DeepSeek, Qwen, kasama ang lokal na Ollama at LM Studio), isang pare-parehong hugis sa lahat.
1.6 µs
05
Pagbibilang ng gastos at tokenAng bawat tawag sa modelo ay pinaghahalaga laban sa talahanayan bawat modelo at pinagsama-sama sa kabuuang halaga sa USD, kaya mabibigyan mo ng bayad ang mga kliyente at maaaring limitahan ang gastos bawat nangungupahan.
0.4 µs
06
Ganap na kakayahang makitaIsang span ng OpenTelemetry bawat tawag sa kasangkapan, pagpatawag sa modelo, at pagpapatakbo ng daloy ng proseso, na nagdadala ng gastos, mga token, pagkaantala, at mga dahilan ng pagkakamali. Patakbuhin ang mga ahenteng talagang makikita mo.
0.3 µs
07
Pagbuo ng kontekstong pananatiliAng prompt ng sistema, mga ibinigay na dokumento ng kaalaman, at mga eskema ng kasangkapan ay naka-pack sa bloke ng konteksto na ipinapadala ng bawat iklo sa modelo, napanatiling hiwalay mula sa gumugulong na kasaysayan.
1.4 µs
08
Memorya ng pangkat sa maraming takboAng gumaganang memorya ng pangkat ng mga ahente ay nananatili sa pagitan ng mga takbo at naibabalik sa susunod, kaya ang mga ahenteng tumatagal ay nagpapanatili ng konteksto nila sa pagitan ng mga sesyon.
53 µs
09
Mga pangkat ng mga ahenteMga pangkat na may maraming persona (macro, teknikal, panganib, pagpapatupad) na nagbibigay ng konteksto mula persona hanggang persona, na may beto sa panganib at mga reaktibong kasamahan na maaaring ihinto ang kadena sa gitna ng takbo.
1.2 µs
10
Depensa laban sa pagsasaksak ng promptAnumang binabasa ng ahente mula sa mapagkalingang pinagmulan (mga nakuhang dokumento, mga resulta ng kasangkapan, mga nakuhang pahina sa web) ay sinusuri para sa mga pattern ng pagsasaksak ng prompt, jailbreak, at pagnanakaw ng datos bago kumilos ang modelo. Bawat pattern ay may marka ng kalubhaan, at ang kabuuan ang nagpapasya ng resulta: ang ligtas na teksto ay pumapasa; ang bahagyang kahina-hinalang teksto ay pumapasa pa rin ngunit nakapundok bilang datos na hindi dapat sundin ng modelo, at ang pangyayari ay naitala; ang malinaw na mapanganib na senyales, tulad ng pagtatangkang magtagas ng sikreto o mag-agaw ng format ng pag-uusap, ay itinatanggal bago pa makita ng modelo. Kung gaano kahigpit ang limitasyong iyon ay maaaring baguhin bawat deployment.
17 µs
11
Paghihiwalay ng mga kredensyalMga naka-enkriptong vault bawat gumagamit. Kumikilos ang mga ahente sa pamamagitan ng mga panandaliang tiket at hindi direktang hinahawakan ang mga hilaw na susi ng API, kaya ang mga sikreto ng kliyente ay nananatiling nakatali sa kliyenteng iyon.
AES-256
12
Multi-tenant ayon sa disenyoMga papel na may saklaw sa proyekto at paghihiwalay ng estado bawat daloy ng proseso. Hindi maaaring magbasa, huminto, o gumastos ng isang nangungupahan laban sa isa pa. Patakbuhin ang maraming kliyente sa isang plataporma.
RBAC
Sumali sa komunidad