在AI數(shù)據(jù)分析領(lǐng)域，“準(zhǔn)確”二字向來(lái)知易行難。為避免Data Agent成為效果不可控的“黑盒”，數(shù)云 Data Agent 從立項(xiàng)之初就設(shè)定了一個(gè)極具挑戰(zhàn)性的目標(biāo)：建立一套能對(duì)標(biāo)學(xué)術(shù)界前沿、貼合零售業(yè)務(wù)實(shí)際的全鏈路量化評(píng)測(cè)體系。如在該體系的數(shù)據(jù)集設(shè)計(jì)理念與評(píng)測(cè)難度的設(shè)定上，數(shù)云就深度借鑒了被譽(yù)為“全球最難NL2SQL試金石”之一的BIRD-SQL。

BIRD-SQL 覆蓋金融、電力、醫(yī)療等37個(gè)真實(shí)行業(yè)場(chǎng)景，以模糊指令和超大規(guī)模數(shù)據(jù)庫(kù)等特點(diǎn)著稱，數(shù)云 Data Agent以此為嚴(yán)苛標(biāo)尺，構(gòu)建了一個(gè)適配消費(fèi)品零售領(lǐng)域的專(zhuān)屬評(píng)測(cè)數(shù)據(jù)集，通過(guò)全鏈路的指標(biāo)管控和量化追蹤，持續(xù)打磨產(chǎn)品核心能力。目前，數(shù)云 Data Agent的北極星指標(biāo)——執(zhí)行準(zhǔn)確率（EX）已穩(wěn)定在90%以上，這也意味著在消費(fèi)品零售垂域的同類(lèi)型產(chǎn)品中，數(shù)云 Data Agent已具備硬核的技術(shù)與能力優(yōu)勢(shì)。

下面就讓我們走近這個(gè)全鏈路評(píng)測(cè)體系，探秘?cái)?shù)云 Data Agent 的精準(zhǔn)分析能力是怎樣煉成的。

方案全覽

全鏈路量化評(píng)測(cè)體系，筑牢精準(zhǔn)分析根基

實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，可量化才有抓手。在測(cè)試集設(shè)計(jì)上，數(shù)云 Data Agent 全流程評(píng)測(cè)體系比照 BIRD-SQL 標(biāo)準(zhǔn)，追求 Agent 在真實(shí)行業(yè)場(chǎng)景的應(yīng)用落地，為此深度融合了消費(fèi)品零售行業(yè)的業(yè)務(wù)實(shí)踐，緊扣消費(fèi)品零售行業(yè)的消費(fèi)者運(yùn)營(yíng)場(chǎng)景，全面覆蓋帕累托分析、變動(dòng)因子分析、指標(biāo)樹(shù)拆解、漏斗分析等典型業(yè)務(wù)需求。

同時(shí)，結(jié)合“自動(dòng)化評(píng)測(cè)+人工專(zhuān)家評(píng)審”，引入“真實(shí)業(yè)務(wù)數(shù)據(jù)盲測(cè)”，著重訓(xùn)練并驗(yàn)證數(shù)云 Data Agent?在企業(yè)現(xiàn)實(shí)、復(fù)雜的業(yè)務(wù)數(shù)據(jù)庫(kù)中分析應(yīng)用的準(zhǔn)確性和可靠性。

技術(shù)解讀

全流程多維管控，讓分析步步貼合業(yè)務(wù)價(jià)值

亮點(diǎn)1：聽(tīng)得懂“大白話”，摸得清模糊需求

面對(duì)業(yè)務(wù)員的口語(yǔ)化提問(wèn)時(shí)，數(shù)云 Data Agent 會(huì)先通過(guò)意圖識(shí)別模型解析業(yè)務(wù)訴求，以“意圖識(shí)別準(zhǔn)確率、宏平均F1”雙重指標(biāo)為準(zhǔn)繩，重點(diǎn)區(qū)分“事實(shí)檢索意圖”和“評(píng)價(jià)型分析意圖”等，確保第一步“不聽(tīng)岔”，讓后續(xù)指標(biāo)選擇、邏輯均遵循業(yè)務(wù)導(dǎo)向，避免因初始意圖誤判導(dǎo)致全流程無(wú)效運(yùn)作。

當(dāng)用戶提問(wèn)出現(xiàn)信息缺失、口徑模糊等情況時(shí)，數(shù)云 Data Agent 還會(huì)自動(dòng)開(kāi)啟交互式澄清機(jī)制補(bǔ)全關(guān)鍵參數(shù)。如當(dāng)用戶提問(wèn)“本月新客運(yùn)營(yíng)情況”，數(shù)云 Data Agent 會(huì)主動(dòng)追問(wèn)“需要按獲客渠道/新客等級(jí)拆分，還是看新客首購(gòu)率、復(fù)購(gòu)率等核心指標(biāo)？”，從而確保報(bào)表數(shù)據(jù)的統(tǒng)計(jì)范圍、口徑精準(zhǔn)無(wú)誤。

除了更關(guān)注澄清選項(xiàng)與用戶真實(shí)需求匹配情況的“澄清選項(xiàng)命中率”外，數(shù)云 Data Agent還在該階段設(shè)置了“澄清觸發(fā)準(zhǔn)確率”指標(biāo)，用于平衡分析準(zhǔn)確性與用戶體驗(yàn)，避免因過(guò)度謹(jǐn)慎而發(fā)起非必要的交互，提升用戶使用感受。

亮點(diǎn)2：算得準(zhǔn)無(wú)偏差，精準(zhǔn)貼合業(yè)務(wù)邏輯

解決了“聽(tīng)得懂”的問(wèn)題，數(shù)云Data Agent的下一步修煉是“算得準(zhǔn)”，也就是追求數(shù)據(jù)分析與零售業(yè)務(wù)邏輯精準(zhǔn)對(duì)齊。

首先，通過(guò)指標(biāo)映射引擎匹配對(duì)應(yīng)業(yè)務(wù)指標(biāo)與數(shù)據(jù)維度，以“指標(biāo)對(duì)齊準(zhǔn)確率、維度完備性評(píng)分”為硬性指標(biāo)，保障分析視角的全面性，通過(guò)“指標(biāo)冗余懲罰項(xiàng)”剔除無(wú)關(guān)、重復(fù)數(shù)據(jù)，降低數(shù)據(jù)噪音；

其次，由決策引擎選擇最優(yōu)分析路徑與計(jì)算策略，以“路由準(zhǔn)確率”為準(zhǔn)繩，保證數(shù)據(jù)口徑的全局一致性；

下一步，將分析路徑轉(zhuǎn)化為具體計(jì)算邏輯與參數(shù)配置，筑牢數(shù)據(jù)計(jì)算的嚴(yán)謹(jǐn)性，從根源上避免指標(biāo)錯(cuò)配、邏輯漏洞，讓分析結(jié)果貼合業(yè)務(wù)實(shí)際。

亮點(diǎn)3：雙核心結(jié)果指標(biāo)，保障結(jié)果穩(wěn)健可靠

數(shù)云 Data Agent 的評(píng)測(cè)體系，既關(guān)注全流程等過(guò)程指標(biāo)把控，更以兩大結(jié)果指標(biāo)形成最終校驗(yàn)標(biāo)準(zhǔn)，讓評(píng)測(cè)回歸業(yè)務(wù)價(jià)值本質(zhì)，讓數(shù)云 Data Agent輸出的每份分析報(bào)表都經(jīng)得起業(yè)務(wù)實(shí)踐的檢驗(yàn)：

#執(zhí)行準(zhǔn)確率：作為唯一北極星指標(biāo)，以業(yè)務(wù)為導(dǎo)向，聚焦系統(tǒng)最終解決業(yè)務(wù)問(wèn)題的服務(wù)能力；

#測(cè)試集準(zhǔn)確率：強(qiáng)調(diào)最終結(jié)果的穩(wěn)健性，通過(guò)大量測(cè)試案例驗(yàn)證，有效避免因數(shù)據(jù)偶合導(dǎo)致的結(jié)果正確。

客戶價(jià)值

深度適配零售場(chǎng)景，讓數(shù)據(jù)轉(zhuǎn)化為決策動(dòng)能

以上，僅是針對(duì)“數(shù)據(jù)查詢/分析”這一子項(xiàng)搭建的評(píng)估體系雛形。在此基礎(chǔ)上，數(shù)云 Data Agent 深度融合消費(fèi)者數(shù)字化運(yùn)營(yíng)的業(yè)務(wù)實(shí)踐的交付經(jīng)驗(yàn)，使 AI 應(yīng)用充分貼合消費(fèi)品零售行業(yè)的業(yè)務(wù)特性，分析結(jié)果更具實(shí)用性與可解釋性。

例如，在問(wèn)題理解階段，數(shù)云Data Agent充分考慮到消費(fèi)者運(yùn)營(yíng)場(chǎng)景中評(píng)價(jià)標(biāo)準(zhǔn)的業(yè)務(wù)個(gè)性化、場(chǎng)景化、動(dòng)態(tài)化特點(diǎn)，增設(shè)了可配置的評(píng)價(jià)標(biāo)準(zhǔn)，支持品牌及零售企業(yè)結(jié)合所處行業(yè)特性與自身業(yè)務(wù)實(shí)際個(gè)性化配置，從合理性角度確保后續(xù)分析結(jié)論的可用性；同時(shí)增設(shè)業(yè)務(wù)決策貢獻(xiàn)率和評(píng)價(jià)結(jié)論準(zhǔn)確率兩個(gè)指標(biāo)，量化判斷該能力落地的實(shí)際價(jià)值。

又如，在用戶提問(wèn)被判定為評(píng)價(jià)型意圖（Evaluation Intent）后，數(shù)云 Data Agent并非直接進(jìn)入查詢生成階段，而是引入了二階意圖分流機(jī)制，進(jìn)一步約束分析視角。基于數(shù)云在消費(fèi)者運(yùn)營(yíng)領(lǐng)域的長(zhǎng)期實(shí)踐，數(shù)云 Data Agent 確立了以“規(guī)模、增長(zhǎng)、效率、風(fēng)險(xiǎn)、質(zhì)量”為最小單位的評(píng)價(jià)維度集合，其所兼具的完備性和最小性能覆蓋大多數(shù)業(yè)務(wù)判斷所需信息空間，有效收斂分析框架，避免冗余擴(kuò)張，從而確保后續(xù)分析結(jié)果在業(yè)務(wù)上的可解釋性與可用性。

數(shù)云Data Agent以全鏈路量化評(píng)測(cè)體系煉就90%+的精準(zhǔn)分析能力，成為消費(fèi)品零售企業(yè)數(shù)據(jù)驅(qū)動(dòng)決策的核心利器，從“聽(tīng)懂需求”到“算準(zhǔn)數(shù)據(jù)”，從“貼合業(yè)務(wù)”到“靠譜支持”，全方位解決數(shù)據(jù)Agent落地的行業(yè)痛點(diǎn)，助力零售企業(yè)實(shí)現(xiàn)更高效的數(shù)智化轉(zhuǎn)型，讓數(shù)據(jù)真正成為企業(yè)增長(zhǎng)的核心動(dòng)能。

掃碼，了解更多數(shù)云Data Agent信息，解鎖零售數(shù)據(jù)精準(zhǔn)查詢/分析能力，就在數(shù)云Data Agent ~