// GAMIT · DATA & ANALYTICS

Gawing awtomatiko ang mga pipeline ng pampublikong datos gamit ang mga ahenteng AIna pinapatunayan ang bawat pull bago ito ilabas.

Nakatira ang mga numero ng Census, BLS, at CDC sa limang agency portal na may limang magkakaibang query language, at karamihan sa mga koponan ay kinokopya pa rin ang mga ito sa isang spreadsheet nang manu-mano sa bawat reporting cycle. Ini-iskedyul ng research_team crew ng Melaya ang pull, nagta-tanong ang DataScientist nang direkta sa mga API ng ahensiya, at dumadaan ang bawat extraction sa validation ng JSON at CSV bago ito mapunta sa isang shared na database. Idinaragdag ng MarketAnalyst ang pagbasa ng market sa ibabaw nito, at dinadala ng cross-run memory pasulong kung ano ang natagpuan ng pull noong nakaraang linggo, kaya hindi na kailangang buuin ulit mula sa wala ang parehong ulat.

01
// Ano ang sira ngayon

Ang mga manual na daloy ng trabaho ay mas mahal kaysa sa ahente.

Tatlong sakit na nararamdaman ng bawat koponan ng pagbebenta at BD linggu-linggo. Ang bawat isa ay kung ano talaga ang reklamo ng iyong mga kinatawan, hindi kung ano ang tatawagin ng isang pahina ng tampok.

  1. 01

    Kinukuha ang mga numero ng Census, BLS, at CDC papunta sa isang spreadsheet nang manu-mano sa bawat reporting cycle, isang agency portal sa isang pagkakataon.

  2. 02

    Muling isinusulat ang parehong SoQL, series-ID, o heograpiyang query tuwing nag-a-refresh ang isang pampublikong dataset.

  3. 03

    Pinapatunayan ang magulong CSV at JSON export mula sa mga ahensiya ng gobyerno bago ito mapagkatiwalaan ng anumang downstream.

  4. 04

    Inikukumpara ang mga dataset ng trade, employment, at macro na nakatira sa limang ahensiya na may limang magkakaibang query language.

  5. 05

    Bumubuo ng isahang chart o export sa halip na isang pipeline na tatakbo sa parehong paraan sa susunod na buwan.

02
// Mga daloy ng proseso na maaari mong buuin

Mga daloy ng trabaho ng ahente: bumuo, pagpatibayan, i-replay.

Ang bawat daloy ng proseso sa ibaba ay isang hugis na wire-wired mo sa canvas gamit ang pangkat at mga kasangkapan sa ibaba. Hindi isang tampok na ipinapadala namin para sa iyo, isang pattern na iyong kino-configure.

P01

Pagkuha ng pampublikong economic indicator

Ini-iskedyul ng DataScientist ang pagkuha ng Census ACS5 demographics kasabay ng employment at CPI series ng BLS, at inilalagay ang resulta sa isang shared na database sa halip na isang lokal na folder ng download. Idinaragdag ng MarketAnalyst ang pagbasa ng market sa ibabaw ng parehong mga numero.

P02

Pagbabantay ng signal sa public health

Nagta-tanong ang DataScientist sa mga dataset ng CDC na suportado ng Socrata, tulad ng lingguhang aktibidad ng trangkaso o rate ng namatay sa overdose bawat estado, ayon sa iskedyul, at pino-profile ang output bago ito makarating sa isang dashboard. Walang kailangang API key para sa CDC; ang libreng Socrata app token ay nagtataas lang ng rate limit.

P03

Cross-reference ng trade at energy-macro

Pinagsasama ng DataScientist ang trade-flow data ng UN Comtrade kasama ang macro series ng FRED at benchmark na presyo ng langis at gas ng EIA tungo sa isang cross-agency na dataset, sa halip na tatlong hiwalay na export na pinagdikit nang manu-mano.

P04

Patunayan bago ilabas

Dumadaan ang bawat extraction sa validation ng JSON at CSV at isang mabilis na statistical profile bago ito mapunta sa database, kaya hindi kailanman tahimik na sinisira ng isang malformed na export ng ahensiya ang downstream na ulat.

P05

Naka-iskedyul na ulat, walang manu-manong re-run

Tumatakbo ang parehong pipeline sa isang cron trigger sa loob ng Melaya Agents, binubuod ng MarketAnalyst kung ano ang nagbago mula noong huling run, at binabasa ng isang human analyst ang output sa Melaya Assistant sa halip na muling patakbuhin ang limang hiwalay na query ng ahensiya nang manu-mano. Dinadala ng cross-run memory pasulong ang natagpuan ng pull noong nakaraang linggo.

03
// Ang pangkat ng maraming ahente

Pangkat ng analyst para sa pampublikong data

Mga tunay na persona mula sa research_team na pangkat. Ang bawat isa ay may kasamang na-tune na system prompt at isang default na listahan ng mga pinahintulutang kasangkapan. Palitan ang mga modelo bawat persona sa canvas.

Data Scientist

DataScientist

Nagmumungkahi ng mga bagong feature kasama ang formula, pinagmulan ng data, decay half life, pseudo code, at disenyo ng statistical test na maaaring i-implement ng isang engineer sa mismong araw.

Market Analyst

MarketAnalyst

Bumubuo ng market structure brief gamit ang funding rate, open interest, on-chain flow, at malinaw na hatol na bullish, bearish, o neutral na regime kasama ang pinangalanang panganib.

04
// Mga kasangkapang may saklaw

Mga listahan ng pinahintulutang kasangkapan: ang mga aksyon na iyong ibinibigay lamang.

Ang bawat kasangkapan sa ibaba ay isang tunay na nakabahaging kasangkapan mula sa bundle ng Melaya. Mag-allowlist bawat ahente; ilagay ang pag-apruba ng tao sa mga pagsusulat; bawiin ang alinman sa kanila sa isang klik.

01shared/tools/census_tools/

Kunin ang ACS5 demographics at mga tantya ng populasyon. Ang libreng Census API key ay nag-a-unlock ng buong pang-araw-araw na quota; ang mga anonymous na tawag ay nakakulong sa 500 bawat araw bawat IP.

census_acs5census_population_estimates
02shared/tools/bls_tools/

Mag-tanong ng isa o maraming series ng BLS employment at CPI ayon sa series id. Gumagana nang walang key sa binawasang limitasyon.

bls_seriesbls_series_multi
03shared/tools/cdc_tools/

Maghanap at mag-tanong sa mga dataset ng CDC public health na suportado ng Socrata, tulad ng lingguhang aktibidad ng trangkaso o rate ng namatay sa overdose bawat estado. Walang kailangang credential para sa standard na volume.

cdc_search_datasetscdc_query_datasetcdc_dataset_metadata
04shared/tools/comtrade_tools/

Kinukuha ang datos ng daloy ng kalakalan mula sa UN Comtrade ayon sa kapareha at produkto.

comtrade_tradecomtrade_top_partners
05shared/tools/fred_tools/

Tinutumbas ang konteksto ng ekonomiya laban sa mga serye ng FRED.

fred_series_observations
06shared/tools/eia_tools/

Kinukuha ang presyong panukat ng langis at gas mula sa EIA.

eia_serieseia_wti_brent_spot
07shared/tools/data_utils/

Patunayan ang bawat extraction gamit ang JSON at CSV linting at isang statistical profile bago ito mapunta sa downstream, kaya hindi kailanman tahimik na sisirain ng isang malformed na export ng ahensiya ang isang ulat.

json_validatecsv_lintdf_describe
08shared/tools/database/

Ilagay ang napatunayang pull sa isang shared na talahanayan sa halip na isang lokal na folder ng download. Naka-saklaw bawat ahente ang sql_query at sql_schema.

sql_querysql_schemasql_export_csv
09shared/tools/core/

Patakbuhin ang pipeline sa isang cron trigger at i-post ang buod sa Slack kapag binuod na ng MarketAnalyst kung ano ang nagbago.

slack_post_text
05
// Tatlong antas ng kaalaman

Nababasa ng pangkat ang ibinibigay mo.

Ang bawat daloy ng proseso ay may kasamang tatlong antas ng access sa kaalaman. Paghaluin at itugma bawat ahente sa canvas. Walang nakabahaging vector space sa ibang nangungupahan, walang sorpresang pagbabasa, walang malabong pagkuha.

L1

Static na konteksto

includeContext

Mga dokumento bawat daloy ng proseso na idinaragdag sa input ng mga tiyak na ahente sa bawat takbo. Ang brief ng ICP, playbook, listahan ng presyo, o corpus ng mga nagwaging email. Anumang kailangang naroroon bago mag-isip ang ahente. Pinipili mo kung aling mga persona ang makakatanggap ng kung aling mga dokumento.

L2

Kasangkapan ng RAG retrieval

rag_retrieve

Isang kasangkapan na may saklaw na ibinibigay bawat ahente. Kapag nagpasya ang ahente na kailangan nito ng higit na lalim, ine-query nito ang vector store ng daloy ng trabaho nang on demand. Parehong base ng kaalaman gaya ng Static na konteksto, na ina-access lamang kapag humingi ang modelo.

L3

Cross-run na alaala

pipeline_memory

Estado sa antas ng daloy ng proseso na nagdadala mula sa isang takbo patungo sa susunod. Ang pananaliksik kahapon ay nasa saklaw para sa follow-up ngayon. Naaalala ng pangkat kung ano na ang na-prospect nito, kung ano ang naaprubahan, kung ano ang naipadala. Ang audit log ang pangalawang antas na base ng kaalaman.

07
// FAQ

Mga tanong tungkol sa ahenteng AI na tinatanong namin linggu-linggo.

May dedikadong pangkat ba para sa pagkuha ng datos ng Census, BLS, o CDC?

Wala pang pinangalanang pangkat na iyon. Ang research_team crew ng Melaya, partikular ang mga persona ng DataScientist at MarketAnalyst, ang kumokontrol sa mga pull na ito ngayon; hindi pa inilabas ang dedikadong data_team crew.

Kaya bang patunayan ng mga ahente ang magulong CSV o JSON export mula sa mga ahensiya ng gobyerno bago ko ito pagkatiwalaan?

Oo. Dumadaan ang bawat pull sa csv_lint, json_validate, at df_describe bago ito mapunta sa kahit saang downstream, kaya nahuhuli ang isang malformed na field bago ito sumira ng isang ulat.

Gaano kasariwa ang datos ng Census na kaya kunin ng mga ahente ng Melaya?

Ang ACS 5-year endpoint ay nag-de-default sa pinakabagong inilabas na vintage; available din ang 2020/2010 Decennial at taunang Population Estimates. Ang libreng Census API key ay nag-a-unlock ng buong pang-araw-araw na quota (ang mga anonymous na tawag ay nakakulong sa 500/araw bawat IP).

Kaya ko bang pagsamahin ang datos ng BLS employment kasama ang datos ng CDC health sa isang ulat?

Oo. Pareho itong hiwalay na tawag ng kasangkapan (bls_series, cdc_query_dataset) na maaaring tawagin ng isang pipeline nang sunud-sunod at ilagay sa isang shared na talahanayan.

Kailangan ba ng API key ang mga pull na ito ng pampublikong data?

Depende sa ahensiya. Mas maganda ang Census gamit ang libreng key (mas mataas na quota), gumagana ang BLS nang walang key sa binawasang limitasyon, at hindi kailangan ng CDC ng anumang credential para sa standard na volume.

Kaya ba itong patakbuhin ayon sa iskedyul para hindi ko na kunin ulit ang datos nang manu-mano?

Oo. Tumatakbo ang pipeline sa isang cron trigger, webhook, o app event sa loob ng Melaya Agents, naitatala at nasusuri ang bawat run.

Bumuo ng mga daloy ng proseso na mga koponan sa data at analytics sa Melaya.

Ang antas na Sandbox ay libre at walang kard. Sumali sa listahan ng paghihintay at magpapadala kami ng email sa iyo sa sandaling magbukas ang isang slot.

← Bumalik sa lahat ng gamit
Sumali sa komunidad
// Mga Cookie
Gumagamit ang Melaya ng maliit na hanay ng mga first-party cookie na mahigpit na kinakailangan upang mapatunayan ka, mapanatili ang iyong session, at maprotektahan ang platform mula sa pang-aabuso. Hindi kami gumagamit ng mga advertising cookie, cross-site tracker, o third-party analytics bilang default. Ang buong listahan ng cookies ay nasa aming Patakaran sa Pribadong Impormasyon.