免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開(kāi)APP
userphoto
未登錄

開(kāi)通VIP,暢享免費(fèi)電子書(shū)等14項(xiàng)超值服

開(kāi)通VIP
AI BI:結(jié)合大語(yǔ)言模型實(shí)現(xiàn)對(duì)話式的智能報(bào)表系統(tǒng)

歡迎來(lái)到AI產(chǎn)品經(jīng)理從0到1研習(xí)之旅。

在之前的文章中,我們研習(xí)了AI大模型在電商購(gòu)物和在線會(huì)議、網(wǎng)盤(pán)工具幾種不同場(chǎng)景的產(chǎn)品實(shí)際應(yīng)用情況:

電商:Shopify、淘寶問(wèn)問(wèn)

工具:騰訊會(huì)議、百度網(wǎng)盤(pán)

(點(diǎn)擊可查看對(duì)應(yīng)文章)

本文將繼續(xù)這個(gè)系列,研習(xí)我本人非常感興趣的:AI大模型在BI(商業(yè)智能)領(lǐng)域的實(shí)踐應(yīng)用。

預(yù)警:文章內(nèi)容較長(zhǎng)!全文1.2萬(wàn)字:

  1. 引言:BI是什么、AI大語(yǔ)言模型結(jié)合BI有什么優(yōu)勢(shì)

  2. AI+BI的不同模式:主要關(guān)注在數(shù)據(jù)查詢分析&可視化呈現(xiàn)環(huán)節(jié)

  3. AI+BI的實(shí)施挑戰(zhàn)

  4. 產(chǎn)品實(shí)踐:包括網(wǎng)易、百度、京東、騰訊以及觀遠(yuǎn)數(shù)據(jù)、神策數(shù)據(jù)在AI+BI上的不同嘗試

  5. 百度Sugar BI 智能問(wèn)數(shù)上手初體驗(yàn)

  6. 思考與延伸

01

引言

BI(Business Intelligence,商業(yè)智能)是指利用軟件工具和系統(tǒng)來(lái)分析組織內(nèi)外可獲得的原始數(shù)據(jù),以支持更快、更精確的決策過(guò)程。BI產(chǎn)品已經(jīng)是比較成熟的應(yīng)用,例如Tableau、帆軟FineBI、微軟PowerBI、永洪BI、觀遠(yuǎn)數(shù)據(jù)、思邁特Smartbi、阿里云Quick BI等,部分小伙伴應(yīng)該有所耳聞或使用過(guò)。

BI工具通常包括數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、報(bào)告、在線分析處理(OLAP)等功能,幫助企業(yè)理解市場(chǎng)趨勢(shì)、評(píng)估業(yè)務(wù)流程的效率,并識(shí)別新的增長(zhǎng)機(jī)會(huì)。

圖:阿里云Quick BI產(chǎn)品架構(gòu)


隨著人工智能技術(shù)的不斷進(jìn)步,AI+BI成為了一個(gè)新興領(lǐng)域,它指的是將人工智能,尤其是機(jī)器學(xué)習(xí)和自然語(yǔ)言處理技術(shù),集成到商業(yè)智能系統(tǒng)中,以自動(dòng)化和增強(qiáng)數(shù)據(jù)分析和決策過(guò)程。

特別地,結(jié)合AIGC技術(shù),可以支持用戶通過(guò)對(duì)話來(lái)完成數(shù)據(jù)探索、報(bào)表制作等工作,進(jìn)一步提升數(shù)據(jù)分析效率,重構(gòu) BI 產(chǎn)品的人機(jī)交互方式。

就我目前所在公司的業(yè)務(wù)情況,AI+BI也是我認(rèn)為有落地場(chǎng)景和價(jià)值的一個(gè)方向(當(dāng)然從可用資源和投入產(chǎn)出比的角度來(lái)看,在我司還不適合推進(jìn)),因此對(duì)這個(gè)領(lǐng)域多有關(guān)注,是以有本文。

需要強(qiáng)調(diào)的是,本文接下來(lái)所提到的AI,特指以大語(yǔ)言模型(LLMs)為基礎(chǔ)的自然語(yǔ)言能力——即對(duì)話式的系統(tǒng)交互支持(畢竟在BI領(lǐng)域還有其他的AI技術(shù)可以使用,例如機(jī)器學(xué)習(xí)可用于銷(xiāo)售預(yù)測(cè))。

從產(chǎn)品經(jīng)理的角度看,大模型結(jié)合數(shù)據(jù)分析進(jìn)行應(yīng)用具有以下優(yōu)勢(shì):
  • 自然語(yǔ)言處理與理解:大模型的強(qiáng)大自然語(yǔ)言處理能力使用戶能夠用自己熟悉的語(yǔ)言來(lái)查詢和分析數(shù)據(jù),這大大降低了數(shù)據(jù)分析的學(xué)習(xí)曲線,使非技術(shù)用戶也能輕松上手。此外,大模型能夠處理和分析非結(jié)構(gòu)化數(shù)據(jù),如客戶評(píng)價(jià)和媒體內(nèi)容,從而提取出有價(jià)值的信息和洞察,為企業(yè)提供全面的數(shù)據(jù)視角。
  • 智能推理與預(yù)測(cè):大模型不僅能夠處理當(dāng)前的數(shù)據(jù),還能夠基于現(xiàn)有數(shù)據(jù)進(jìn)行推理和預(yù)測(cè)。這意味著它可以幫助用戶識(shí)別數(shù)據(jù)中的異常點(diǎn)、趨勢(shì)以及潛在的問(wèn)題和機(jī)會(huì),從而為決策提供支持。這種能力對(duì)于企業(yè)來(lái)說(shuō)極其寶貴,因?yàn)樗梢詭椭髽I(yè)預(yù)測(cè)市場(chǎng)變化,提前做好準(zhǔn)備。
  • 代碼生成與自動(dòng)化:大模型還能夠通過(guò)自然語(yǔ)言指令生成Python、R等編程語(yǔ)言的代碼,這極大地降低了技術(shù)門(mén)檻,使得即使是沒(méi)有編程背景的用戶也能夠完成復(fù)雜的數(shù)據(jù)分析任務(wù)。這種自動(dòng)化的代碼生成功能,不僅提高了數(shù)據(jù)分析的效率,也拓寬了數(shù)據(jù)分析的應(yīng)用范圍。
  • 新的交互形式:大模型引入了基于語(yǔ)言的交互方式,這種交互方式更加直觀和自然,用戶無(wú)需學(xué)習(xí)復(fù)雜的軟件操作,只需通過(guò)自然語(yǔ)言表達(dá)自己的查詢需求。這種交互方式不僅提升了用戶體驗(yàn),也使得數(shù)據(jù)分析工具能夠更好地融入用戶的工作流程中。
作為產(chǎn)品經(jīng)理,理解這些優(yōu)勢(shì)不僅有助于我們更好地利用大模型技術(shù)來(lái)優(yōu)化現(xiàn)有產(chǎn)品,也為我們提供了新產(chǎn)品開(kāi)發(fā)的靈感。我們可以探索如何將這些優(yōu)勢(shì)整合到BI產(chǎn)品中,以滿足用戶的具體需求。

接下來(lái)就請(qǐng)隨我一起探索一番。

02

AI+BI的不同模式

LLM在BI產(chǎn)品領(lǐng)域,適合作為現(xiàn)有數(shù)據(jù)分析手段的有效補(bǔ)充,特別是在即席數(shù)據(jù)查詢、傳統(tǒng)BI工具能力提升、簡(jiǎn)單數(shù)據(jù)挖掘與洞察等方面。

就目前來(lái)看,在自然語(yǔ)言的對(duì)話式BI數(shù)據(jù)分析有3種可行的實(shí)現(xiàn)模式:

  • text-to-API:即根據(jù)用戶輸入的自然語(yǔ)言,進(jìn)行意圖理解,并匹配調(diào)用對(duì)應(yīng)的API;

  • text-to-SQL:即根據(jù)用戶輸入的自然語(yǔ)言,進(jìn)行意圖理解,直接生成SQL語(yǔ)句對(duì)關(guān)系型數(shù)據(jù)庫(kù)(如MySQL)執(zhí)行查詢;

  • text-to-Code:即根據(jù)用戶輸入的自然語(yǔ)言,結(jié)合大模型自己對(duì)相關(guān)數(shù)據(jù)的“理解”,直接生成代碼并執(zhí)行分析(可以理解為ChatGPT中的代碼解釋器Code Interpreter)。

當(dāng)然這些模式并不全面。比如說(shuō)還有text-to-JSON等。


每種模式都有其適用場(chǎng)景和限制,作為AI產(chǎn)品經(jīng)理,選擇最合適的模式需要綜合考慮您的具體需求、現(xiàn)有的技術(shù)棧、以及預(yù)期的用戶體驗(yàn)。

根據(jù)我對(duì)大語(yǔ)言模型(LLMs)和BI系統(tǒng)的粗淺了解,個(gè)人的一點(diǎn)看法:
  • text-to-API這種模式相對(duì)容易實(shí)現(xiàn),可以快速為現(xiàn)有的BI工具增加自然語(yǔ)言查詢的能力,但它的靈活性和擴(kuò)展性受限于底層BI工具的API。因此,如果API功能較為有限,可能會(huì)限制這種模式的應(yīng)用場(chǎng)景和深度。它適用于企業(yè)已經(jīng)部署了具有豐富API支持的BI工具,并希望快速實(shí)現(xiàn)自然語(yǔ)言查詢功能時(shí)。通過(guò)這種模式可以與現(xiàn)有系統(tǒng)緊密集成,且滿足對(duì)實(shí)時(shí)性要求較高的場(chǎng)景。
  • text-to-SQL是一種較為通用和強(qiáng)大的模式,可以直接利用數(shù)據(jù)庫(kù)的強(qiáng)大查詢能力。然而,它對(duì)大語(yǔ)言模型轉(zhuǎn)換自然語(yǔ)言到精確的SQL語(yǔ)句的能力有較高要求,可能需要進(jìn)行較多的定制和優(yōu)化,特別是在處理復(fù)雜查詢時(shí)。此外,SQL查詢的性能優(yōu)化也是一個(gè)需要考慮的重要因素。適用于基于標(biāo)準(zhǔn)SQL數(shù)據(jù)庫(kù)的數(shù)據(jù)分析,特別是在數(shù)據(jù)結(jié)構(gòu)清晰、查詢需求標(biāo)準(zhǔn)化的環(huán)境中。對(duì)于希望利用現(xiàn)有數(shù)據(jù)庫(kù)能力,而不依賴特定BI工具的企業(yè)來(lái)說(shuō),這是一個(gè)較好的選擇。
  • text-to-Code模式提供了最大的靈活性和功能強(qiáng)大的數(shù)據(jù)處理能力,因?yàn)樗梢灾苯永萌鏟ython這樣的編程語(yǔ)言及其生態(tài)系統(tǒng)。這種模式尤其適合數(shù)據(jù)科學(xué)和復(fù)雜數(shù)據(jù)分析任務(wù)。然而,它也帶來(lái)了較高的實(shí)現(xiàn)復(fù)雜度和對(duì)執(zhí)行環(huán)境的要求,可能需要更多的安全和性能方面的考慮。它應(yīng)該適用于當(dāng)數(shù)據(jù)分析需求高度復(fù)雜和定制化,需要利用數(shù)據(jù)科學(xué)庫(kù)進(jìn)行深入分析時(shí),以及對(duì)數(shù)據(jù)安全性和隱私有較高要求的場(chǎng)景,因?yàn)榭梢栽诒镜鼗蚴芸氐沫h(huán)境中執(zhí)行生成的代碼。

簡(jiǎn)言之,如果一個(gè)組織已經(jīng)有成熟的BI工具和APIs,那么text-to-API可能是一個(gè)較為直接的選擇。對(duì)于需要高度靈活性和定制化分析的場(chǎng)景,text-to-Code可能提供了更多的可能性。而text-to-SQL則在很多標(biāo)準(zhǔn)化的數(shù)據(jù)庫(kù)查詢場(chǎng)景中提供了一種高效且通用的解決方案。

當(dāng)然啦,在LLMs已經(jīng)提取到對(duì)應(yīng)的分析數(shù)據(jù)后,我們還需要進(jìn)一步支持對(duì)話式的BI數(shù)據(jù)呈現(xiàn),理論上來(lái)說(shuō)也存在3種模式:
  • 自然語(yǔ)言文本報(bào)告:主要依賴于LLM的NLG能力,即將數(shù)據(jù)點(diǎn)和分析結(jié)果轉(zhuǎn)化為易于理解的文本報(bào)告;
  • 動(dòng)態(tài)可視化模板報(bào)告:需要LLM理解用戶的自然語(yǔ)言查詢(NLU),并根據(jù)查詢的內(nèi)容和意圖選擇或生成合適的可視化模板對(duì)數(shù)據(jù)點(diǎn)和分析結(jié)果進(jìn)行合理的呈現(xiàn);
  • 交互式數(shù)據(jù)探索助手:這種模式對(duì)LLM的能力要求最高,不僅需要深入理解用戶的自然語(yǔ)言查詢,還要能夠?qū)崟r(shí)處理數(shù)據(jù)、生成可視化,并且在交互過(guò)程中不斷調(diào)整和優(yōu)化輸出結(jié)果。這要求LLM不僅要具備強(qiáng)大的NLU和NLG能力,還需要具備一定的邏輯推理和動(dòng)態(tài)交互能力。

這3種模式對(duì)比如下:

需要強(qiáng)調(diào)的是,這些模式并不是互斥的,在某些情況下可以結(jié)合使用效果更佳(當(dāng)然對(duì)于實(shí)現(xiàn)的復(fù)雜性要求也提高了)。選擇哪種模式應(yīng)根據(jù)我們的實(shí)際業(yè)務(wù)需求、目標(biāo)用戶群體的特點(diǎn)、以及所擁有&可投入的技術(shù)資源和能力來(lái)決定。

03

AI+BI的實(shí)施挑戰(zhàn)

雖然將LLM與BI系統(tǒng)結(jié)合可以極大地提升數(shù)據(jù)分析和報(bào)告的智能化程度,對(duì)用戶體驗(yàn)有著不言而喻的好處。但是,就當(dāng)前的技術(shù)進(jìn)展和結(jié)合情況來(lái)看,可能會(huì)遇到以下挑戰(zhàn):

 數(shù)據(jù)理解的準(zhǔn)確性

由于LLM主要通過(guò)訓(xùn)練數(shù)據(jù)學(xué)習(xí),如果訓(xùn)練數(shù)據(jù)不包含足夠的行業(yè)特定知識(shí)或上下文信息,模型可能難以準(zhǔn)確理解復(fù)雜的業(yè)務(wù)數(shù)據(jù)。因此,LLM可能在理解復(fù)雜數(shù)據(jù)集、特定行業(yè)術(shù)語(yǔ)或上下文中的細(xì)微差別方面存在挑戰(zhàn)。這可能導(dǎo)致數(shù)據(jù)分析結(jié)果的誤解或錯(cuò)誤解釋。

 幻覺(jué)問(wèn)題(Hallucination)

LLM在生成文本時(shí)可能會(huì)產(chǎn)生“幻覺(jué)”,即創(chuàng)造出與實(shí)際數(shù)據(jù)不符的信息。在BI報(bào)告中,這可能導(dǎo)致不準(zhǔn)確或虛假的數(shù)據(jù)洞察和結(jié)論。因?yàn)長(zhǎng)LM在生成文本時(shí),可能會(huì)基于其訓(xùn)練數(shù)據(jù)中的模式進(jìn)行推斷,而這些模式不一定總是反映實(shí)際情況。

 數(shù)據(jù)隱私和安全性

使用LLM處理敏感或私密數(shù)據(jù)時(shí),需要確保數(shù)據(jù)不被非法訪問(wèn)或泄露。LLM的云基礎(chǔ)設(shè)施和API調(diào)用可能成為數(shù)據(jù)安全的薄弱環(huán)節(jié),尤其是在處理敏感信息時(shí)。

 模型的通用性與定制化需求

雖然LLM具有強(qiáng)大的通用性,但在特定行業(yè)或復(fù)雜的數(shù)據(jù)分析任務(wù)中可能難以滿足所有定制化需求。原因在于LLM的訓(xùn)練是基于廣泛的數(shù)據(jù)集進(jìn)行的,可能無(wú)法完全覆蓋某些特定領(lǐng)域或復(fù)雜場(chǎng)景的細(xì)節(jié)和特性。

 用戶交互體驗(yàn)

我們需要確保LLM能夠提供自然、流暢的交互體驗(yàn),同時(shí)能準(zhǔn)確理解用戶的查詢意圖和需求,這可能存在挑戰(zhàn)。因?yàn)?/span>不同用戶的查詢方式和習(xí)慣多樣性,對(duì)應(yīng)地表現(xiàn)為自然語(yǔ)言理解的復(fù)雜性,可能會(huì)影響交互的準(zhǔn)確性和用戶滿意度。

 實(shí)時(shí)性和性能

在需要快速響應(yīng)的BI應(yīng)用中,確保LLM提供的解決方案能夠滿足性能和實(shí)時(shí)性要求可能是一個(gè)挑戰(zhàn)。原因在于大型模型可能需要顯著的計(jì)算資源和處理時(shí)間,特別是在處理大型數(shù)據(jù)集或復(fù)雜查詢時(shí)。(不過(guò)就我個(gè)人目前的體驗(yàn)而言,這個(gè)問(wèn)題不大,反而是BI系統(tǒng)本身可能存在這個(gè)瓶頸需要解決)

在不斷地妥協(xié)之后,我們感覺(jué)在 AI 應(yīng)用落地中存在一個(gè)不可能三角,效率-準(zhǔn)確-智能的不可能三角。希望能夠快速且準(zhǔn)確地解決問(wèn)題,就會(huì)對(duì)復(fù)雜問(wèn)題束手無(wú)策;需要準(zhǔn)確地解決復(fù)雜問(wèn)題,就會(huì)需要漫長(zhǎng)的時(shí)間來(lái)思考、拆解、處理;希望能夠快速地解決復(fù)雜問(wèn)題,就會(huì)無(wú)可避免地面臨幻覺(jué)的產(chǎn)生。

騰訊技術(shù)工程團(tuán)隊(duì),benze

04

(部分)產(chǎn)品實(shí)踐

 網(wǎng)易有數(shù)ChatBI

網(wǎng)易數(shù)帆團(tuán)隊(duì)于2023年推出了基于網(wǎng)易自研大模型的對(duì)話式數(shù)據(jù)智能助手——有數(shù)ChatBI,它融合了前沿的AIGC技術(shù),通過(guò)自然語(yǔ)言理解與專業(yè)數(shù)據(jù)分析能力,用戶只需通過(guò)日常對(duì)話的方式即可獲得可信的數(shù)據(jù),極大降低數(shù)據(jù)消費(fèi)門(mén)檻。


圖:網(wǎng)易數(shù)帆的產(chǎn)品全景圖

網(wǎng)易有數(shù)ChatBI在結(jié)合大模型技術(shù)進(jìn)行數(shù)據(jù)分析時(shí),面對(duì)當(dāng)前技術(shù)無(wú)法實(shí)現(xiàn)100%準(zhǔn)確性的挑戰(zhàn),采取了一系列創(chuàng)新措施來(lái)提高產(chǎn)品的可信度和實(shí)用性,使之適用于生產(chǎn)環(huán)境。
(1)檢索增強(qiáng)技術(shù)
網(wǎng)易有數(shù)ChatBI通過(guò)引入檢索增強(qiáng)技術(shù),改善了大模型對(duì)數(shù)據(jù)表的理解能力。傳統(tǒng)的基于LLM的NL2SQL方案僅將建表語(yǔ)句作為上下文注入,限制了模型對(duì)數(shù)據(jù)表的全面認(rèn)知。通過(guò)將更多相關(guān)的表格元數(shù)據(jù)融入prompt,大模型能夠獲得更寬廣的“視野”,提升其自適應(yīng)能力,從而減少選錯(cuò)字段或字段值格式不匹配的問(wèn)題。

(2)個(gè)性化知識(shí)配置
為了適應(yīng)特定業(yè)務(wù)領(lǐng)域的定制化需求,網(wǎng)易有數(shù)ChatBI支持個(gè)性化知識(shí)配置功能。這允許客戶根據(jù)自己的業(yè)務(wù)特點(diǎn)和行業(yè)術(shù)語(yǔ)進(jìn)行個(gè)性化設(shè)置,如將特定的行業(yè)“黑話”映射為模型可以理解的詞匯,從而提高大模型在處理定制化問(wèn)題上的準(zhǔn)確性和適應(yīng)性。

(3)模型自學(xué)習(xí)機(jī)制
網(wǎng)易有數(shù)ChatBI采用了模型自學(xué)習(xí)機(jī)制,模仿ChatGPT等LLM通過(guò)對(duì)話形式進(jìn)行自我修正的特性。管理員可以指正模型的錯(cuò)誤,使其記錄并在下次遇到類似問(wèn)題時(shí)參考修正過(guò)的內(nèi)容生成正確的SQL。這種機(jī)制使得ChatBI隨著使用而變得更加智能,提升了用戶體驗(yàn)和產(chǎn)品的整體性能。
從AI+BI產(chǎn)品經(jīng)理的角度看,網(wǎng)易有數(shù)ChatBI通過(guò)上述技術(shù)創(chuàng)新,解決了大模型在數(shù)據(jù)分析領(lǐng)域應(yīng)用的一些核心問(wèn)題,如準(zhǔn)確性、定制化需求適應(yīng)性及自學(xué)習(xí)能力,使其成為一款可靠且高效的數(shù)據(jù)分析工具。回顧我們前面所提到的“模式”,我認(rèn)為它主要使用了【text-to-SQL+交互式數(shù)據(jù)探索助手】。
在網(wǎng)易內(nèi)部,有數(shù)ChatBI在網(wǎng)易云音樂(lè)等業(yè)務(wù)落地,已經(jīng)覆蓋了產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)、財(cái)務(wù)等非技術(shù)人員。而借助網(wǎng)易內(nèi)部的成功落地,有數(shù)ChatBI產(chǎn)品發(fā)布后,也吸引了甄云科技等外部客戶的使用。

 京東ChatBI

京東數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)推出的ChatBI產(chǎn)品是一個(gè)基于GPT大模型的“AI數(shù)據(jù)分析師”,旨在通過(guò)對(duì)話方式簡(jiǎn)化BI工作,目前還只是一個(gè)內(nèi)部產(chǎn)品。

圖:京東chatBI實(shí)現(xiàn)的基本結(jié)構(gòu)圖

它結(jié)合了大語(yǔ)言模型、公/私域知識(shí)庫(kù)和數(shù)據(jù)分析應(yīng)用擴(kuò)展,通過(guò)自然語(yǔ)言的交互形式,降低了使用門(mén)檻,并通過(guò)沉淀的業(yè)務(wù)知識(shí)和數(shù)據(jù)資產(chǎn)提供準(zhǔn)確的分析結(jié)果,針對(duì)的主要用戶痛點(diǎn)包括數(shù)據(jù)理解、獲取和分析的復(fù)雜性。

(1)知識(shí)庫(kù)的構(gòu)建與應(yīng)用

在ChatBI項(xiàng)目中,京東團(tuán)隊(duì)采用了Langchain來(lái)開(kāi)發(fā)大語(yǔ)言模型,形成了一個(gè)包含兩大類資產(chǎn)的綜合性知識(shí)庫(kù)。首先是數(shù)據(jù)中臺(tái)資產(chǎn),涵蓋元數(shù)據(jù)、指標(biāo)SQL以及產(chǎn)品指南等,為模型提供了豐富的數(shù)據(jù)支持。其次是業(yè)務(wù)資產(chǎn)部分,包括專門(mén)針對(duì)特定業(yè)務(wù)場(chǎng)景構(gòu)建的模型和累積的業(yè)務(wù)知識(shí)。這部分尤其關(guān)注于分析師的分析思路,這些通常難以標(biāo)準(zhǔn)化和復(fù)用。通過(guò)大語(yǔ)言模型,它現(xiàn)在能夠?qū)⒎治鰩煹膶I(yè)思路轉(zhuǎn)化為可供機(jī)器學(xué)習(xí)和自動(dòng)化使用的形式,極大地提升了業(yè)務(wù)分析的效率和廣度。

(2)核心技術(shù)能力

在用戶與ChatBI的互動(dòng)過(guò)程中,系統(tǒng)首先通過(guò)意圖識(shí)別來(lái)理解用戶的查詢目的,是希望獲得特定知識(shí)、進(jìn)行數(shù)據(jù)分析,還是簡(jiǎn)單的對(duì)話交流。接著,通過(guò)實(shí)體識(shí)別技術(shù),我們能夠從用戶的提問(wèn)中提取出關(guān)鍵信息,如時(shí)間、指標(biāo)和維度等,并結(jié)合用戶的背景信息如權(quán)限和部門(mén)來(lái)進(jìn)行更準(zhǔn)確的解析。對(duì)于知識(shí)查詢類問(wèn)題,系統(tǒng)會(huì)與知識(shí)庫(kù)進(jìn)行交互,通過(guò)優(yōu)化算法提高回答的效率。而在數(shù)據(jù)分析場(chǎng)景下,ChatBI會(huì)調(diào)用相應(yīng)的接口,將問(wèn)題傳遞給大模型進(jìn)行深入分析,并最終生成直觀的可視化結(jié)果。回顧我們前面所提到的“模式”,這里使用的是【text-to-API】,至于自然語(yǔ)言文本報(bào)告、動(dòng)態(tài)可視化模板報(bào)告、交互式數(shù)據(jù)探索助手則看起來(lái)都有使用到。

(3)提升工作效率的應(yīng)用實(shí)例

ChatBI的引入顯著提升了工作效率。以往,用戶在遇到數(shù)據(jù)問(wèn)題時(shí)可能需要跨平臺(tái)搜索指標(biāo)定義,涉及繁瑣的數(shù)據(jù)分析流程,耗時(shí)數(shù)小時(shí)甚至數(shù)天。而現(xiàn)在,用戶僅需通過(guò)與ChatBI的自然語(yǔ)言對(duì)話,即可迅速獲得問(wèn)題的解答和可視化分析結(jié)果。這種以對(duì)話形式進(jìn)行的高效數(shù)據(jù)交互和分析,極大地簡(jiǎn)化了數(shù)據(jù)分析流程,讓決策支持更加迅速和精準(zhǔn)。


 百度SugarBI

SugarBI是百度智能云推出的敏捷BI和數(shù)據(jù)可視化平臺(tái),解決報(bào)表和大屏的數(shù)據(jù)BI分析和可視化問(wèn)題,通過(guò)不斷將AI能力融合進(jìn)自身產(chǎn)品中,推出「文心問(wèn)數(shù)Sugar Bot」功能,大幅度提升用戶的數(shù)據(jù)分析效率。

圖:百度SugarBI中所融入的智能化功能

根據(jù)官方介紹,SugarBI基于百度AI能力,提供自動(dòng)分析、AI問(wèn)答、波動(dòng)分析等智能化功能,其優(yōu)勢(shì)在于:
  • AI問(wèn)答:數(shù)據(jù)可視化Sugar BI接入了百度自然語(yǔ)言處理(NLP)技術(shù),通過(guò)對(duì)用戶輸入問(wèn)題的理解,直接展現(xiàn)Sugar BI智能推薦的合適的可視化形式,根據(jù)拖入控制面板的數(shù)據(jù)字段為您自動(dòng)推薦圖表
  • 自動(dòng)分析:您準(zhǔn)備數(shù)據(jù),我生成報(bào)表。數(shù)據(jù)可視化Sugar BI 省去拖拽創(chuàng)建報(bào)表的過(guò)程,系統(tǒng)在幾秒鐘內(nèi),將明細(xì)數(shù)據(jù)自動(dòng)制作成交互式報(bào)表,讓您對(duì)數(shù)據(jù)進(jìn)行快速?gòu)氐椎闹悄芊治?/span>
    對(duì)應(yīng)地,智能問(wèn)數(shù)適用的場(chǎng)景分別是:
  • 場(chǎng)景1——智能問(wèn)數(shù)頁(yè)面,常用于業(yè)務(wù)最新情況的數(shù)據(jù)洞察。用戶可以在相應(yīng)頁(yè)面以問(wèn)答的交互形式,向Sugar BI 提出業(yè)務(wù)問(wèn)題,Sugar BI 將以圖表的形式返回答案及業(yè)務(wù)結(jié)論。


  • 場(chǎng)景2——輔助用戶在報(bào)表/大屏的編輯頁(yè)面進(jìn)行頁(yè)面編輯。用戶可以通過(guò)問(wèn)答交互得到想要的圖表類型后,直接「采用圖表」將其一鍵固定至報(bào)表/大屏中,Sugar BI 會(huì)自動(dòng)幫您進(jìn)行圖表的數(shù)據(jù)配置。這也是一種新的報(bào)表/大屏制作方式,同時(shí)也為編輯者提供了更豐富的制作靈感。

基于 NL-to-JSON 等能力,文心問(wèn)數(shù) Sugar Bot 幫助用戶基于對(duì)話來(lái)直接完成數(shù)據(jù)探索,并完成一部分報(bào)表制作功能。同時(shí),該團(tuán)隊(duì)還在進(jìn)一步研發(fā)意圖理解、指令拆解、圖像生成等 AIGC 能力,基于對(duì)話直接滿足用戶對(duì)報(bào)表、大屏的生成需求,其愿景是實(shí)現(xiàn)大部分內(nèi)容的直接生成,也就是 NL-to-X 。這樣,可以通過(guò)生成式 AI 直接滿足更多用戶業(yè)務(wù)目標(biāo),逐步實(shí)現(xiàn)業(yè)務(wù)與技術(shù)重構(gòu)。

(1)AI問(wèn)數(shù)

在SugarBI平臺(tái)上,用戶有多種方式表達(dá)對(duì)數(shù)據(jù)的需求,包括通過(guò)報(bào)表、大屏以及探索頁(yè)等多端入口。用戶可以采用語(yǔ)音、自然語(yǔ)言輸入或是直觀的字段拖拽等多種交互形式來(lái)提出問(wèn)題。對(duì)于語(yǔ)音輸入,SugarBI利用ASR技術(shù)將語(yǔ)音轉(zhuǎn)換為文本,進(jìn)一步通過(guò)NLP技術(shù)轉(zhuǎn)化為具體的數(shù)據(jù)查詢需求,展現(xiàn)了平臺(tái)對(duì)用戶需求表達(dá)方式的全面適應(yīng)性。
SugarBI的核心之一是其表格問(wèn)答模型,該模型能夠理解用戶的自然語(yǔ)言查詢,并將其轉(zhuǎn)化為對(duì)數(shù)據(jù)的具體需求。這一過(guò)程得益于SugarBI背后的數(shù)據(jù)模型,它將數(shù)據(jù)寬表的結(jié)構(gòu)(Schema)及同義詞等配置進(jìn)行了高效抽象,以便進(jìn)行深入的模型訓(xùn)練和部署。這種智能化處理不僅提高了數(shù)據(jù)查詢的準(zhǔn)確性,也為用戶提供了更加直觀和靈活的數(shù)據(jù)分析體驗(yàn)。

用戶的查詢需求經(jīng)過(guò)智能處理后,SugarBI會(huì)自動(dòng)轉(zhuǎn)換成圖表配置,并生成相應(yīng)的SQL語(yǔ)句進(jìn)行數(shù)據(jù)查詢。這一過(guò)程展示了從需求捕捉到數(shù)據(jù)檢索的無(wú)縫鏈接,極大地提升了數(shù)據(jù)處理的效率。拉取到的數(shù)據(jù)根據(jù)其特征,將被SugarBI的智能圖表功能自動(dòng)匹配到最合適的圖表類型,從而生成直觀且信息豐富的數(shù)據(jù)可視化結(jié)果。(text-to-SQL+動(dòng)態(tài)可視化模板報(bào)告模式)

圖:SugarBI AI問(wèn)答的整體技術(shù)架構(gòu)

(2)自動(dòng)分析

數(shù)據(jù)預(yù)處理與分析準(zhǔn)備:SugarBI在啟動(dòng)自動(dòng)分析前,首先確定分析的數(shù)據(jù)范圍,即選定特定的數(shù)據(jù)字段集合。然后,SugarBI會(huì)詳細(xì)審查這些字段的配置和數(shù)據(jù)細(xì)節(jié),確保分析的準(zhǔn)確性。值得注意的是,SugarBI在這一階段會(huì)遵循設(shè)定的用戶權(quán)限規(guī)則,確保數(shù)據(jù)訪問(wèn)的合規(guī)性(例如對(duì)于表格分析來(lái)說(shuō),表格會(huì)根據(jù)報(bào)表所設(shè)置的用戶權(quán)限進(jìn)行權(quán)限和數(shù)據(jù)的過(guò)濾,防止發(fā)生越權(quán))。

分析模型的運(yùn)作:收集完必要的信息后,SugarBI會(huì)將這些數(shù)據(jù)輸入自動(dòng)分析模型。這個(gè)模型是基于SugarBI內(nèi)部大量報(bào)表數(shù)據(jù)經(jīng)過(guò)訓(xùn)練得來(lái)的,因此具有較強(qiáng)的分析能力。模型會(huì)輸出兩類關(guān)鍵信息:一是數(shù)據(jù)過(guò)濾條件的優(yōu)先級(jí)排名,二是圖表展示字段組合的推薦排名。

圖表生成與優(yōu)化:根據(jù)模型的推薦,SugarBI會(huì)自動(dòng)生成相應(yīng)的數(shù)據(jù)過(guò)濾條件和圖表展示字段組合。這一過(guò)程中,智能圖表功能會(huì)被用來(lái)推薦最合適的圖表類型,以最直觀地展示數(shù)據(jù)。生成的圖表和過(guò)濾條件將被相互關(guān)聯(lián),提供給用戶靈活的數(shù)據(jù)探索能力,如下鉆和篩選等。

報(bào)表的自動(dòng)排版:最后,SugarBI會(huì)對(duì)選定的過(guò)濾條件和圖表進(jìn)行自動(dòng)排版,形成最終的報(bào)表。這意味著從數(shù)據(jù)選擇到報(bào)表生成的整個(gè)分析流程,都由SugarBI的自動(dòng)分析功能智能完成,極大地提升了分析效率和用戶體驗(yàn)。

圖:SugarBI 自助分析的整體技術(shù)架構(gòu)

騰訊DataBrain chatBI

騰訊的DataBrain團(tuán)隊(duì)在GPT4發(fā)布之后,嘗試結(jié)合其能力構(gòu)建了一個(gè)服務(wù)于 DataBrain 系統(tǒng)的統(tǒng)一語(yǔ)言智能助手Demo——chatBI,能夠讓用戶在統(tǒng)一的語(yǔ)言交互界面完成數(shù)據(jù)分析的全過(guò)程。和京東的chatBI一樣,該產(chǎn)品目前僅供內(nèi)部使用。

經(jīng)過(guò)多輪嘗試,目前了解到其Demo版本是參考了AutoGPT這樣的智能體設(shè)計(jì)思路(把 Prompt 和具體可執(zhí)行的 Prompt 做了魔改,把 Prompt 中的資源、限制、可執(zhí)行指令做處理,就能夠讓 AutoGPT 以數(shù)據(jù)分析的形狀開(kāi)始跑動(dòng)):

整個(gè)流程由用戶提問(wèn)開(kāi)始,GPT 接收到提問(wèn)后,將任務(wù)完成拆解成選表、讀取數(shù)據(jù)信息、拼接 SQL、生成圖表、完成分析等。
SQL 的生成能力是調(diào)用的之前 DataLab 的 SQL 接口,能夠基于需要指標(biāo)、維度、篩選來(lái)給出符合具體場(chǎng)景的 SQL。類似的生成圖表、簡(jiǎn)單數(shù)據(jù)分析的能力均是通過(guò) Command 的方式來(lái)確保輸入輸出的可解釋性和透明性。
不過(guò)其團(tuán)隊(duì)也表示,目前的ChatBI 版本還有很大的提升空間,存在速度慢、可解決的數(shù)據(jù)問(wèn)題很初級(jí)、復(fù)雜指標(biāo)計(jì)算失敗、圖表不夠豐富等問(wèn)題。

 觀遠(yuǎn)數(shù)據(jù)BI Copilot

BI Copilot 是觀遠(yuǎn)BI利用大語(yǔ)言模型的能力構(gòu)建的最新模塊,接入了微軟Azure OpenAI 商用服務(wù)權(quán)限(大家理解為就是ChatGPT背后的技術(shù)即可):

Chat2Answer利用知識(shí)庫(kù)構(gòu)建,可以幫助業(yè)務(wù)用戶理解數(shù)據(jù)的含義,并提供智能解讀。當(dāng)用戶提出數(shù)據(jù)相關(guān)的問(wèn)題時(shí),Chat2Answer會(huì)解釋數(shù)據(jù)背后的原因,并給出針對(duì)性的建議和可操作的方案。

這個(gè)功能早期的時(shí)候叫“chat2SQL”(也就是我們前面提到的text-to-SQL模式)通過(guò)自然語(yǔ)言交互協(xié)助生成 SQL 查詢語(yǔ)句。以實(shí)際工作流程為例:

1. 接收用戶的自然語(yǔ)言查詢請(qǐng)求,例如“每個(gè)品牌的退款額是多少”;2. 將用戶的查詢請(qǐng)求轉(zhuǎn)化為機(jī)器可理解的 SQL,例如“SELECT `商品名稱`, SUM(`退款金額`) AS `退款額` FROM input1 GROUP BY `商品名稱`”,將生成的 SQL 查詢語(yǔ)句返回給用戶;3. 進(jìn)一步交互式的追問(wèn),例如“再加上渠道維度”;4. 再次轉(zhuǎn)換為 SQL,例如“SELECT `商品名稱`, `渠道`, SUM(`退款金額`) AS `退款額` FROM input1 GROUP BY `商品名稱`, `渠道`”,并返回給用戶。

用戶在遇到問(wèn)題時(shí)可以直接向Chat2Help尋求幫助。當(dāng)遇到報(bào)錯(cuò)或問(wèn)題時(shí),只需將報(bào)錯(cuò)信息復(fù)制粘貼到對(duì)話框中與Chat2Help進(jìn)行問(wèn)答,它將直接告訴用戶報(bào)錯(cuò)的含義,并指導(dǎo)一步步排除報(bào)錯(cuò)、提供解決方案。

神策數(shù)據(jù)Copilot

神策數(shù)據(jù)的產(chǎn)品主要是CDP(客戶數(shù)據(jù)平臺(tái))領(lǐng)域的,和我們前面所提及的“BI”不是一個(gè)概念。不過(guò)在研習(xí)過(guò)程中發(fā)現(xiàn)它也利用大模型技術(shù)推出了神策分析 Copilot(另外還支持用于運(yùn)營(yíng)Copilot),同樣支持自然語(yǔ)言的交互,自助式地進(jìn)行數(shù)據(jù)分析與查詢,因此還是納入本文中。

從目前的Demo介紹來(lái)看,其支持的一些場(chǎng)景如下:

(1)智能分析:應(yīng)用大模型技術(shù)理解用戶問(wèn)題,自動(dòng)配置分析模型

以事件分析場(chǎng)景為例,在輸入框中用自然語(yǔ)言輸入要獲取的數(shù)據(jù)指標(biāo),比如最近7天搜索點(diǎn)擊的用戶數(shù),GPT 模型將自然語(yǔ)言轉(zhuǎn)化為請(qǐng)求查詢JSON 并發(fā)起查詢,并進(jìn)行圖形化展示。

在這里,神策團(tuán)隊(duì)采用了text-to-json而不是 text-to-SQL的模式,其考慮有二:一方面更容易理解,便于業(yè)務(wù)人員判斷查詢;另一方面更容易進(jìn)行人為干預(yù),比如生成的査詢 JSON 不對(duì),想換種計(jì)算方式或查詢條件看看指標(biāo)怎么樣,可快速調(diào)整。

其實(shí)現(xiàn)過(guò)程大致為:

  • 首先,把schema(簡(jiǎn)單理解為是關(guān)于數(shù)據(jù)如何存儲(chǔ)、數(shù)據(jù)之間的關(guān)系以及數(shù)據(jù)應(yīng)該如何解釋的信息)傳給GPT,讓GPT理解數(shù)據(jù)的schema以及任務(wù)。考慮到存在長(zhǎng)度限制,需要優(yōu)化設(shè)計(jì),從報(bào)表的上千個(gè)字段中篩選出進(jìn)入到 prompt的字段、以縮短prompt。

  • 其次,篩選出來(lái)的 schema 會(huì)有很多的字段,字段多了也會(huì)影響 GPT 的正確率和精準(zhǔn)度,因此需要跟 GPT 進(jìn)行交互,讓它挑選出哪些字段與需求有關(guān)。

  • 最后,通過(guò) GPT進(jìn)行 JSON 的生成。對(duì)于復(fù)雜的查詢,可以先讓它生成一個(gè)結(jié)構(gòu),在這個(gè)結(jié)構(gòu)下再把內(nèi)容填充進(jìn)去。

值得一提的是,神策分析 Copilot 具備可理解、可信任、可干預(yù)的特點(diǎn),能有效規(guī)避大模型固有的幻覺(jué)問(wèn)題。在生成分析結(jié)果的同時(shí),Copilot 將展示分析模型和指標(biāo)的應(yīng)用來(lái)源,便于用戶理解、校驗(yàn)分析邏輯和指標(biāo)用法,以確保用戶選擇正確的指標(biāo)。若分析結(jié)果不符合預(yù)期,用戶可以手動(dòng)調(diào)整幫助系統(tǒng)持續(xù)學(xué)習(xí)、優(yōu)化結(jié)果(即顯式反饋)。

(2)指標(biāo)搜索:自然語(yǔ)言查詢例行指標(biāo)


應(yīng)用大模型技術(shù)構(gòu)建指標(biāo)搜索能力,幫助業(yè)務(wù)人員快速定位到當(dāng)下關(guān)注的指標(biāo)和經(jīng)營(yíng)概覽,或深入探索特定業(yè)務(wù)的相關(guān)指標(biāo)。支持用戶口語(yǔ)化輸入,業(yè)務(wù)人員無(wú)需輸入專業(yè)術(shù)語(yǔ)或確切的指標(biāo)名稱,也能獲得相關(guān)的數(shù)據(jù)指標(biāo)。

例如在零售行業(yè)中,若用戶想知道近期的商品銷(xiāo)售數(shù)據(jù),直接對(duì)Copilot 提問(wèn)“賣(mài)得最好的商品”,它便會(huì)推送“當(dāng)天 Top 商品”“熱門(mén)訪問(wèn)商品”“商品銷(xiāo)售數(shù)量”等指標(biāo)查詢結(jié)果,無(wú)需依賴分析師進(jìn)行查詢。

(3)數(shù)據(jù)門(mén)戶融合:數(shù)倉(cāng)對(duì)話插件

神策分析Copilot 也可以接入企業(yè)數(shù)倉(cāng),例如在某保險(xiǎn)公司的實(shí)際應(yīng)用中,它就作為一個(gè)智能問(wèn)答組件融合至企業(yè)自身的數(shù)據(jù)門(mén)戶,用戶點(diǎn)擊“智能問(wèn)答”即可開(kāi)啟直接對(duì)話,對(duì)數(shù)倉(cāng)數(shù)據(jù)進(jìn)行自助式分析和查詢、生成數(shù)據(jù)結(jié)果和報(bào)表。

當(dāng)然啦,除了這些產(chǎn)品,其實(shí)還有很多其他的AI+BI實(shí)踐,但時(shí)間和精力有限,我們就不繼續(xù)拓展了。

就我本人所掌握的情況來(lái)看,包括但不限于以上提及的經(jīng)過(guò)大模型加持的AI+BI產(chǎn)品,大多都還處于Demo、內(nèi)部測(cè)試或小范圍試用的階段,部分進(jìn)行了推廣但基本上都尚未大規(guī)模商用。

相信隨著用戶反饋+持續(xù)優(yōu)化完善,再加上大模型能力的進(jìn)化,更加成熟、穩(wěn)定、可用的新版本產(chǎn)品將在今年內(nèi)到來(lái)。

05

SugarBI問(wèn)數(shù)上手初體驗(yàn)

上面所提到的產(chǎn)品大多沒(méi)有機(jī)會(huì)上手(例如內(nèi)部產(chǎn)品或仍在測(cè)試階段)體驗(yàn),但總算在2月初申請(qǐng)到了百度SugarBI文心問(wèn)數(shù)的體驗(yàn)權(quán)限。

參照官方指引,基于示例數(shù)據(jù),我進(jìn)行了簡(jiǎn)單的探索:

(1)數(shù)據(jù)模型準(zhǔn)備

在數(shù)據(jù)模型的設(shè)置頁(yè)面,可以選擇對(duì)應(yīng)的數(shù)據(jù)表并建立關(guān)系:

在編輯頁(yè)面可以將字段名稱設(shè)置為可讀性較高的中文別名:

對(duì)于原子指標(biāo)(度量),我們可以設(shè)置AI問(wèn)答的同義詞(也就是幫助大模型理解專業(yè)術(shù)語(yǔ),可能用戶會(huì)有不同的問(wèn)法)作為其“知識(shí)庫(kù)”:

我們也可以新建度量(指標(biāo)加工),這就是常規(guī)的BI功能了:

對(duì)于AI問(wèn)答功能,需要開(kāi)啟并等待模型訓(xùn)練完成才能使用(不過(guò)我沒(méi)有權(quán)限):

我們還可以配置AI問(wèn)答的推薦問(wèn)題,這個(gè)如果在ChatGPT中自定義過(guò)自己的GPTs的小伙伴應(yīng)該很熟悉:

然后我們就可以通過(guò)智能問(wèn)數(shù)Sugar Bot和系統(tǒng)進(jìn)行交互了:

當(dāng)我點(diǎn)擊上圖中的“需要結(jié)論”時(shí),系統(tǒng)會(huì)自動(dòng)總結(jié)如下:

并且還能發(fā)現(xiàn)數(shù)據(jù)的不合理之處(確實(shí)如此):

整體上來(lái)說(shuō)還是蠻有意思的,確實(shí)是一種全新的體驗(yàn)、并且是已經(jīng)實(shí)際落地到現(xiàn)有產(chǎn)品中了。感興趣的小伙伴可以自行申請(qǐng)?bào)w驗(yàn)。

值得注意的是,SugarBI有以下限制:

  • 用戶提出的問(wèn)題字?jǐn)?shù)限制為 300 字(空格也算做有效字符)——我想這主要是出于性能與成本控制的考慮。通過(guò)限制用戶輸入的字?jǐn)?shù),可以有效控制后端大模型處理請(qǐng)求的復(fù)雜度和資源消耗,同時(shí)鼓勵(lì)用戶提出更精煉、更具針對(duì)性的問(wèn)題,提高處理速度和響應(yīng)質(zhì)量。因?yàn)槌擞脩糨斎氲膯?wèn)題,如觀遠(yuǎn)數(shù)據(jù)所說(shuō)還需要給大模型傳數(shù)據(jù)schema,因此壓縮總的Prompt是必要的。
  • 當(dāng)生成的圖表不符合預(yù)期時(shí),可以點(diǎn)擊「重生生成」但最多可以點(diǎn)擊三次——為什么是3次?這個(gè)設(shè)計(jì)可能是為了防止用戶無(wú)限制地重新生成結(jié)果,從而導(dǎo)致資源浪費(fèi)和系統(tǒng)壓力。限制重生次數(shù)可以鼓勵(lì)用戶更加仔細(xì)地考慮和優(yōu)化他們的查詢,同時(shí)也是一種計(jì)算資源的管理策略。此外,這也可能是基于用戶行為的統(tǒng)計(jì)分析,認(rèn)為三次重試足以覆蓋大多數(shù)情況下的需求調(diào)整。
  • 如果在大屏/報(bào)表編輯頁(yè)面中關(guān)閉智能問(wèn)數(shù)頁(yè)面,Sugar BI將會(huì)清空之前會(huì)話的全部?jī)?nèi)容——這一限制可能是出于數(shù)據(jù)安全和隱私保護(hù)的考慮。自動(dòng)清空會(huì)話內(nèi)容可以防止敏感數(shù)據(jù)殘留在系統(tǒng)中,尤其是在多用戶環(huán)境下。此外,這也有助于保持系統(tǒng)的高效運(yùn)行,避免不必要的數(shù)據(jù)積累影響性能。

06

思考與延伸

在前面的研習(xí)內(nèi)容中,我們主要關(guān)注支持自然語(yǔ)言交互模式下的BI數(shù)據(jù)查詢、分析和可視化呈現(xiàn)。實(shí)際上,從問(wèn)題定義、數(shù)據(jù)接入、處理、可視化展示、交互分析到?jīng)Q策行動(dòng)的BI數(shù)據(jù)分析全鏈路中,AI大語(yǔ)言模型都有結(jié)合的機(jī)會(huì)。


在前面的研習(xí)內(nèi)容中,我們主要關(guān)注支持自然語(yǔ)言交互模式下的BI數(shù)據(jù)查詢、分析和可視化呈現(xiàn)。實(shí)際上,在從問(wèn)題定義、數(shù)據(jù)接入、處理、可視化展示、交互分析到?jīng)Q策行動(dòng)的BI數(shù)據(jù)分析全鏈路中,AI大語(yǔ)言模型都有結(jié)合的機(jī)會(huì)。讓我們從產(chǎn)品經(jīng)理的視角來(lái)粗略地考慮:

(1)問(wèn)題定義:明確業(yè)務(wù)問(wèn)題和目標(biāo)。

  • 問(wèn)題: 確定分析的焦點(diǎn),如提升銷(xiāo)售額、優(yōu)化庫(kù)存等。
  • AI賦能: 使用AI模型生成初步的數(shù)據(jù)分析和決策計(jì)劃草案,再人工校對(duì)修改,以確保方向和目標(biāo)的準(zhǔn)確性。


(2)數(shù)據(jù)接入:確定和接入數(shù)據(jù)源。

  • 問(wèn)題: 如何高效處理和分析非結(jié)構(gòu)化數(shù)據(jù)。
  • AI賦能: 利用AI技術(shù)直接分析非結(jié)構(gòu)化數(shù)據(jù),減少傳統(tǒng)的數(shù)據(jù)清洗步驟,加快從數(shù)據(jù)到洞察的過(guò)程。


(3)數(shù)據(jù)處理:數(shù)據(jù)的清洗、轉(zhuǎn)換和加載(ETL)。

  • 問(wèn)題: 簡(jiǎn)化ETL開(kāi)發(fā)過(guò)程,提高數(shù)據(jù)處理效率。
  • AI賦能: 通過(guò)自然語(yǔ)言交互生成ETL任務(wù)和代碼,輔助數(shù)據(jù)處理,實(shí)現(xiàn)多輪交互式構(gòu)建,提升數(shù)據(jù)處理的靈活性和準(zhǔn)確性。


(4)可視化展現(xiàn):將數(shù)據(jù)轉(zhuǎn)化為易于理解的視覺(jué)形式。

  • 問(wèn)題: 快速響應(yīng)業(yè)務(wù)問(wèn)題,提供直觀的數(shù)據(jù)結(jié)果和結(jié)論。
  • AI賦能: 自動(dòng)根據(jù)問(wèn)題生成SQL、JSON,利用AI生成文字結(jié)論、可視化圖表和行動(dòng)建議,實(shí)現(xiàn)問(wèn)答式BI。


(5)交互分析:深入分析數(shù)據(jù),生成深度分析報(bào)告。

  • 問(wèn)題: 如何自動(dòng)化深度分析報(bào)告的生成,提供可信的業(yè)務(wù)分析。
  • AI賦能: 基于BI系統(tǒng)能力,結(jié)合企業(yè)內(nèi)部數(shù)據(jù)源和AI生成的數(shù)據(jù)指標(biāo),自動(dòng)識(shí)別異常原因并用自然語(yǔ)言展示,減少認(rèn)知偏差(例如波動(dòng)分析、異常分析和預(yù)警)。


(6)決策行動(dòng):基于分析結(jié)果,提供決策支持。

  • 問(wèn)題: 如何基于數(shù)據(jù)分析提供具體的未來(lái)行動(dòng)建議。
  • AI賦能: 提供輔助性預(yù)測(cè)和基于歷史數(shù)據(jù)的推薦建議,支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策過(guò)程。

支付寶團(tuán)隊(duì)在基于螞蟻集團(tuán)基礎(chǔ)大模型開(kāi)發(fā)研制數(shù)據(jù)分析智能助理 Deepinsight copilot的過(guò)程中,比較系統(tǒng)化地梳理了結(jié)合大模型的數(shù)據(jù)分析智能助理功能需求,劃分了不同的智能化等級(jí),非常值得我們參考和學(xué)習(xí):

注:

  • CoT即思維鏈(Chain-of-thought),模仿了一個(gè)逐步思考的過(guò)程來(lái)得出答案。

  • TOT即Tree-of-thoughts,CoT通常只有一條解決問(wèn)題的路徑,ToT等于是CoT的一個(gè)拓展,把一條reasoning路徑拓展至多條reasong paths,這樣模型可以綜合多條reasoning path的結(jié)果得到最終的結(jié)論。

  • ReAct:即Reason和Action,Reason生成分析步驟,Action生成工具調(diào)用請(qǐng)求。是目前最常見(jiàn)和通用的增強(qiáng)式語(yǔ)言模型(Augmented LM)范式,它啟發(fā)于傳統(tǒng)強(qiáng)化學(xué)習(xí),通過(guò)提示詞構(gòu)造“想法”(Thought),“行動(dòng)”(Action),“觀察”(Observation)的思維鏈, 逐步啟發(fā)大語(yǔ)言模型根據(jù)當(dāng)前工具的輸出產(chǎn)生觀察,從而進(jìn)一步產(chǎn)生下次推理。這種范式被廣泛應(yīng)用在近期爆火的 Auto-GPT 和 LangChain 等項(xiàng)目中。

  • ReWOO 即Reasoning WithOut Observation,通過(guò)模塊化解耦(Decouple)大語(yǔ)言模型的“預(yù)見(jiàn)性推理”(Foreseeable Reasoning) 和工具的執(zhí)行,從而實(shí)現(xiàn)在HotpotQA等任務(wù)上數(shù)倍的詞元效率(Token Efficiency), 并且提高了模型表現(xiàn)以及復(fù)雜環(huán)境下的魯棒性。在ReAct中, 指令微調(diào)不可避免的會(huì)導(dǎo)致小模型“背住”訓(xùn)練集中的工具輸出。然而,ReWOO由于將顯式的工具輸出跟模型的推理步驟分離, 可以因此借由指令微調(diào)使其學(xué)會(huì)具有泛化性的“預(yù)見(jiàn)性推理”能力。

  • DAL我沒(méi)有查到,我估計(jì)應(yīng)該是DSL,即將自然語(yǔ)言轉(zhuǎn)化為特定領(lǐng)域的語(yǔ)言(Domain-Specific Language),也就是我們前面提到的text-to-code。

  • KG即知識(shí)圖譜,在上一篇文章中正好進(jìn)行了比較深入的研習(xí)。

AI+BI的融合為商業(yè)智能領(lǐng)域帶來(lái)了前所未有的機(jī)遇,通過(guò)大語(yǔ)言模型的應(yīng)用,可以極大地提升數(shù)據(jù)分析的效率、深度和準(zhǔn)確性,同時(shí)改善用戶體驗(yàn)。

作為AI產(chǎn)品經(jīng)理,理解并把握AI技術(shù)在BI產(chǎn)品中的應(yīng)用,不僅需要技術(shù)和業(yè)務(wù)的深入理解,還需要持續(xù)的創(chuàng)新和優(yōu)化。通過(guò)有效地結(jié)合AI和BI,我們可以更好地解鎖數(shù)據(jù)的潛力,支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策,推動(dòng)企業(yè)的智能化轉(zhuǎn)型。


以上,就是關(guān)于AI大語(yǔ)言模型在BI領(lǐng)域的應(yīng)用研習(xí)分享。

本期到此結(jié)束。

再見(jiàn)


本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊舉報(bào)
打開(kāi)APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
通用與垂直大模型之戰(zhàn):大模型驅(qū)動(dòng)的商業(yè)智能變革之路
增強(qiáng)分析到底是什么,它是BI的未來(lái)嗎?
構(gòu)建Data Agent:探討企業(yè)應(yīng)用中基于大模型的交互式數(shù)據(jù)分析及方案【上】
一家 380 億美元的數(shù)據(jù)巨頭,要掀起企業(yè)「AI 化」革命
現(xiàn)代數(shù)據(jù)棧中的消費(fèi)層
BI AI 有沒(méi)有前途?
更多類似文章 >>
生活服務(wù)
分享 收藏 導(dǎo)長(zhǎng)圖 關(guān)注 下載文章
綁定賬號(hào)成功
后續(xù)可登錄賬號(hào)暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點(diǎn)擊這里聯(lián)系客服!

聯(lián)系客服