引言
本文精選知識(shí)圖譜峰會(huì)圓桌會(huì)議議題及知識(shí)圖譜領(lǐng)域?qū)＜矣埠擞^點(diǎn)，一起探討大模型對(duì)知識(shí)圖譜的影響及發(fā)展趨勢(shì)。
精彩議題：
Q1：對(duì)昨天晚上發(fā)布的 GPT4 的見(jiàn)解，例如它的發(fā)布可能會(huì)對(duì)未來(lái)產(chǎn)生什么樣的影響？
Q2：大模型未來(lái)是不是可以融合所有的 AI 能力，像圖像識(shí)別、文字識(shí)別、語(yǔ)音識(shí)別、NLP 等等？
Q3：有了這種大模型以后，知識(shí)圖譜還有意義嗎？
Q4：大模型的問(wèn)題是回答缺乏事實(shí)的驗(yàn)證，知識(shí)圖譜是不是可以來(lái)幫助解決問(wèn)題？就像當(dāng)年有一些搜索引擎也用了這種知識(shí)鏈接的方式去輔助搜索或者做引證。
Q5：知識(shí)圖譜在大模型中如何去使用？比如說(shuō)輔助它做訓(xùn)練、做微調(diào)，還是說(shuō)在做推理階段做 prompt，還是說(shuō)做一些其他的工作？關(guān)于知識(shí)圖譜具體在大模型中間使用的一些細(xì)節(jié)，想請(qǐng)老師們來(lái)展開(kāi)地講一下，比如說(shuō)像三元組是不是可以去融入里面做訓(xùn)練等？
Q6：在大模型的這種能力下面，以前的一些任務(wù)，比如說(shuō)像實(shí)體識(shí)別、關(guān)系抽取、事件抽取這些任務(wù)是不是還有必要去做一些了解？
Q7：（對(duì)王士進(jìn)院長(zhǎng)）國(guó)內(nèi)在大模型這一塊發(fā)展的情況大概是怎么樣的？在科大訊飛，您的實(shí)驗(yàn)室，或者說(shuō)您公司在這一塊有什么樣的布局？包括大模型方面，也包括知識(shí)圖譜方面的一些項(xiàng)目，或一些計(jì)劃。
Q8：在 GPT 發(fā)展迅速的大背景下，請(qǐng)各位專(zhuān)家用一分鐘的時(shí)間給直播間的小伙伴在工作上面或者學(xué)習(xí)方面提一些建議。
硬核觀點(diǎn)：
1. GPT4 是不太一樣的，首先其本身增加了多模態(tài)，更重要的是它開(kāi)始去嘗試解決非常復(fù)雜或困難的、人類(lèi)參與很多的任務(wù)，例如律師資格考試、奧林匹克競(jìng)賽等。
2. 通用人工智能可以分成第一是有感知智能，第二是有認(rèn)知智能，第三會(huì)有決策智能，OpenAI 在做的 GPT 系列，它是站在認(rèn)知智能角度往兩邊擴(kuò)。
3. 知識(shí)圖譜是有意義的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)目前無(wú)法解決或者非常難以解決事實(shí)性準(zhǔn)確的問(wèn)題。要提供確定的事實(shí)性的東西，一定需要有準(zhǔn)確的知識(shí)庫(kù)。在這種情況下，知識(shí)圖譜還是很有存在意義的。
4. 大模型訓(xùn)練語(yǔ)料里最為致命的一點(diǎn)是專(zhuān)業(yè)知識(shí)在大語(yǔ)料里邊占比非常少的，很難在訓(xùn)練里面把專(zhuān)業(yè)知識(shí)給學(xué)習(xí)出來(lái)，所以在一個(gè)具體的應(yīng)用領(lǐng)域還是需要知識(shí)圖譜。
5. 并不需要過(guò)分的將很多的事實(shí)性知識(shí)去放在模型里面，可以將事實(shí)知識(shí)放在本身的外部庫(kù)里，然后通過(guò)一個(gè)類(lèi)似于向量數(shù)據(jù)庫(kù)，或者說(shuō)是向量的近鄰檢索的 reader 的方式去做搭配，最后作為一個(gè)整體仍然具有一樣的能力，對(duì)于時(shí)效性和驗(yàn)真性的部分就完全通過(guò)外部的數(shù)據(jù)庫(kù)系統(tǒng)去考慮。
6. 本質(zhì)上大模型進(jìn)來(lái)以后，并不是把知識(shí)圖譜消滅了，而是發(fā)揮知識(shí)圖譜和大模型這兩種技術(shù)的優(yōu)勢(shì)，使得我們?cè)谛枰煽刂R(shí)或可控邏輯的時(shí)候，知識(shí)圖譜會(huì)發(fā)揮更大作用；需要更自由的交互任務(wù)理解和生成時(shí)，大模型發(fā)揮更好的作用。
7. 對(duì)于大模型不太建議去使用知識(shí)注入的方法，而是用知識(shí)引導(dǎo)的方式。
8. AI 不是說(shuō)一個(gè)算法或一個(gè)模型就能搞定，它需要有非常好的技術(shù)底座，就是深度學(xué)習(xí)的訓(xùn)練和推理的平臺(tái)。
DataFun社區(qū)｜出品
數(shù)據(jù)智能專(zhuān)家訪談 第15期｜來(lái)源
▼
01.
Q1：對(duì)昨天晚上發(fā)布的 GPT4 的見(jiàn)解，例如它的發(fā)布可能會(huì)對(duì)未來(lái)產(chǎn)生什么樣的影響？
王昊奮：
GPT4 的發(fā)布帶來(lái)了一些與 ChatGPT 的發(fā)布不一樣的震撼。
ChatGPT 帶來(lái)的震撼，是因?yàn)槠鋵⒂脩?hù)對(duì)話知識(shí)問(wèn)答相關(guān)的任務(wù)解決的很好，它有非常強(qiáng)大的理解能力，有非常流暢對(duì)話能力和上下文的刻畫(huà)能力。
但從輸入、輸出和交互手段方面來(lái)說(shuō)，GPT4 是不太一樣的，首先其本身增加了多模態(tài)，另外更重要的是它開(kāi)始去嘗試解決非常復(fù)雜或困難的、人類(lèi)參與很多的任務(wù)，例如律師資格考試、奧林匹克競(jìng)賽等。
（1）我們會(huì)發(fā)現(xiàn)它將原來(lái)基于特定任務(wù)的模型變成了一個(gè)統(tǒng)一的、基于提示的、任務(wù)無(wú)關(guān)的模型。其可以去解決很多人類(lèi)水平困難的問(wèn)題。這類(lèi)模型一定是具有很強(qiáng)的推理能力。
（2）GPT4 的 context 會(huì)更加的長(zhǎng)。其提供了兩個(gè)版本，一個(gè)是 8K 版本，一個(gè)是 32K 版本。32K 如果轉(zhuǎn)換成詞，差不多會(huì)有 2 萬(wàn)五千多個(gè)詞，所以在它本身的演示過(guò)程當(dāng)中，就可以發(fā)錄很長(zhǎng)的知識(shí)密集型的文檔，例如代碼的規(guī)范，稅收的相關(guān)政策，或規(guī)定等內(nèi)容。
（3）在它演示的例子當(dāng)中，不僅是自然圖片，還有很多圖表或者圖示，這些東西使得智能文檔處理的相關(guān)任務(wù)可以被更好地解決。
GPT4 的出現(xiàn)就使得我們需要去思考是不是真的是會(huì)帶來(lái)社會(huì)的變革。
當(dāng)然它本身的演示很短，同時(shí)它的技術(shù)文檔里也沒(méi)有提供任何的技術(shù)細(xì)節(jié)，但是從點(diǎn)滴的內(nèi)容來(lái)看，是另一個(gè)層面上的提升，而層面的提升就會(huì)讓人產(chǎn)生諸如我們?nèi)祟?lèi)還可以去干什么的思考。
王士進(jìn)：
ChatGPT 的發(fā)布，對(duì)大家來(lái)說(shuō)可能更多的是驚訝和震驚，因?yàn)樗鞘状螐奈谋荆瑥恼Z(yǔ)言上面實(shí)現(xiàn)智慧的涌現(xiàn)。特別對(duì)于我們自然語(yǔ)言的從業(yè)者，更是一個(gè)非常明顯的感知。因?yàn)槲覀冊(cè)瓉?lái)對(duì)于專(zhuān)有系統(tǒng)做了很多優(yōu)化，甚至很多時(shí)候是在一個(gè)垂直領(lǐng)域里面，通過(guò)數(shù)據(jù)的 tuning，training，去持續(xù)地優(yōu)化。所以當(dāng)我們第一次見(jiàn)到這種在多任務(wù)上去持續(xù)地理解、推理、進(jìn)行多輪對(duì)話，從而去實(shí)現(xiàn)包括內(nèi)容生成這樣的系統(tǒng)，確實(shí)是給人非常深刻的印象。
當(dāng) GPT4 出現(xiàn)時(shí)，既是驚訝，又覺(jué)得是在情理之中。驚訝是因?yàn)檎娴暮軓?qiáng)。情理之中是說(shuō)，原來(lái)在討論 ChatGPT 時(shí)，就已經(jīng)覺(jué)得他下一步動(dòng)態(tài)一定是融入多模態(tài)的能力。因?yàn)閷?duì)他來(lái)說(shuō)，從語(yǔ)言文字到 vector 和從語(yǔ)音、從圖像到 vector 的邏輯是非常像的。
同時(shí)從 ChatGPT 到 GPT4，中間一定有大量的用戶(hù)的請(qǐng)求，用戶(hù)的 query，包括用戶(hù)很多數(shù)據(jù)的迭代，使得它在很多的能力上面有了非常大的提升。從這兩個(gè)方面，使得我們對(duì)于無(wú)論是未來(lái)的 AIGC 方向，還是未來(lái)的其他行業(yè)都有更多期待。
但是從另外一個(gè)點(diǎn)來(lái)說(shuō)，從 ChatGPT 到 GPT4 背后的技術(shù)沒(méi)有被開(kāi)源，所以還是需要我們行業(yè)里面同仁去一邊研發(fā)，一邊實(shí)驗(yàn)，一邊更多的交流。就比如說(shuō) ChatGPT 出來(lái)以后，我們會(huì)看到在行業(yè)里面有非常多的學(xué)術(shù)界和工業(yè)界的學(xué)者專(zhuān)家們，對(duì)它很多的模塊做出持續(xù)的一些分析和研討，使得很多人在去走這條路的時(shí)候，會(huì)少走很多彎路。所以現(xiàn)在 GPT4 出來(lái)以后，我也希望包括工業(yè)界和學(xué)界里面大家有更多的思考、探討和經(jīng)驗(yàn)的一些介紹，使得我們?cè)诩夹g(shù)上面去持續(xù)研發(fā)和追趕的時(shí)候，大家能夠共同集中我們的智力，少走一些彎路。
王文廣：
從 ChatGPT 出來(lái)以后我就一直在思考一個(gè)事情，就是通用人工智能可能會(huì)比我們所想象中的更快到來(lái)。
（1）從 GPT3 到 GPT4 進(jìn)步得非?？?。GPT3 在美國(guó)的律師資格考試和醫(yī)藥領(lǐng)域的資格考試中都是處于及格線附近最后 10% 的水平。但 GPT4 已經(jīng)增長(zhǎng)到前 10% 了，相當(dāng)于從班級(jí)里邊的后進(jìn)生變成了優(yōu)等生了，進(jìn)步是非?？斓模宜菑娜说慕嵌热ピu(píng)估的。特別是像這種律師資格考試，醫(yī)生資格考試，不是 OpenAI 想出來(lái)的，而是專(zhuān)業(yè)人士幫他去評(píng)估。GPT4 的報(bào)告里面也提到一點(diǎn)，它聘請(qǐng)了大概有 50 個(gè)領(lǐng)域的專(zhuān)家?guī)椭ジ倪M(jìn)。目前已經(jīng)有估計(jì) 1 億多人在給 GPT 提供各種問(wèn)題，所以它知道哪些地方不足所以可以非?？斓厝ジ倪M(jìn)。同時(shí)這點(diǎn)對(duì)于未來(lái)的追趕者是非常不利的。
（2）在多模態(tài)的輸入這塊的進(jìn)步很快，這次主要體現(xiàn)在可以支持圖像輸入。在早上看到了論文之后，我第一個(gè)想法就是截止到目前很多以前做的各種技術(shù)，一旦 GPT 成本降下來(lái)之后就沒(méi)有太大價(jià)值了。這點(diǎn)雖然是在我預(yù)料之中的，因?yàn)槲仪耙魂囘€發(fā)朋友圈說(shuō)未來(lái)所有做 AI 的沒(méi)有必要再區(qū)分視覺(jué)，語(yǔ)音跟語(yǔ)言，但沒(méi)想到就是 GPT4 這么快就實(shí)現(xiàn)了我想要的視覺(jué)和語(yǔ)言的融合。估計(jì)下一步它也會(huì)把語(yǔ)音給合成進(jìn)來(lái)。因?yàn)閷?duì)于人來(lái)說(shuō)不管是輸入一個(gè)視覺(jué)還是語(yǔ)音還是語(yǔ)言，對(duì)人類(lèi)的認(rèn)知來(lái)說(shuō)就是一樣的。例如，蘋(píng)果就是一個(gè)蘋(píng)果，無(wú)論是從視覺(jué)，聽(tīng)覺(jué)，嗅覺(jué)和味覺(jué)感知到的。這點(diǎn)也慢慢地會(huì)被 GPT4 感知。所以它越來(lái)越像人了，以前不像人的技術(shù)不太需要了，因?yàn)槿瞬恍枰T如 OCR（文字識(shí)別）這種中間任務(wù)。
（3）AI 什么時(shí)候會(huì)有獨(dú)立人格以及自我意識(shí)。目前 AI 是沒(méi)有自我人格，所以它在回答問(wèn)題的時(shí)候，你可以讓它扮演各種各樣的角色，但一旦它有了自我意識(shí)的時(shí)候，比如說(shuō) ChatGPT，它就認(rèn)為自己就是 ChatGPT，不再去扮演別的角色的時(shí)候，可能就真正地成為一個(gè)像人一樣的智能體了，這可能會(huì)更遙遠(yuǎn)一些。但多模態(tài)的融合--不再區(qū)分語(yǔ)音、視覺(jué)還是音頻之類(lèi)的，應(yīng)該會(huì)很快就出現(xiàn)。
劉銘：
我這里簡(jiǎn)單說(shuō)兩點(diǎn)：
第一點(diǎn)是 GPT4 的出現(xiàn)是一個(gè)驚艷，但是沒(méi)有當(dāng)時(shí) ChatGPT 出現(xiàn)帶給大家的驚艷更大。因?yàn)?ChatGPT 的出現(xiàn)證明了模型是有兩個(gè)能力。第一個(gè)能力是它在多個(gè)任務(wù)上都可以做得很好，也就是說(shuō)跨任務(wù)的能力很強(qiáng)。第二個(gè)能力是他對(duì)于這種對(duì)話的理解能力是很強(qiáng)的。而且理解完之后回復(fù)的擬人性和長(zhǎng)文本的邏輯的一致性，他都做得很好。所以就證明了大模型具有通用的 AI 的能力。是一個(gè)非常大的驚艷，因?yàn)橹笆菦](méi)有任何一個(gè)模型能做到這一點(diǎn)的。
而 GPT4 的出現(xiàn)，雖然它也很驚艷，但是這些驚艷是我們能夠預(yù)計(jì)到的。例如它對(duì)于長(zhǎng)文本的處理能力，包括它性能的提升，是通過(guò)迭代數(shù)據(jù)，包括擴(kuò)大模型等方法就可以提升的能力。
當(dāng)然從實(shí)際的角度來(lái)說(shuō)，提升也是非常困難的。我們并不能認(rèn)為 GPT4 能力的提升就很簡(jiǎn)單，因?yàn)槲覀児I(yè)界或者學(xué)術(shù)界從業(yè)人員也都知道，模型的結(jié)果從 60% 提到百分之九十相對(duì)來(lái)說(shuō)難度是比較小的。但是從 90% 之上提升一個(gè)點(diǎn)，都是非常難的一件事。所以 GPT4 在多個(gè)任務(wù)上都有這種能力的提升，也是一個(gè)非常大的突破。
第二點(diǎn)就是 GPT4 具有了可以處理圖片的特性，當(dāng)然也是能夠預(yù)計(jì)到的，因?yàn)閷?duì)于多模態(tài)的處理，Transformer 已經(jīng)可以把多模態(tài)的生圖文用一種底層的架構(gòu)統(tǒng)一起來(lái)。所以 GPT4，在 ChatGPT 基礎(chǔ)上，能夠做多模態(tài)的任務(wù)，也是大家能夠預(yù)料到的，當(dāng)然后續(xù)等它的真正能夠接口訪問(wèn)的時(shí)候，也可以去測(cè)試一下，就是說(shuō)它對(duì)于這種圖像的理解，尤其是對(duì)于這種圖像的推理，具體能做到多好。我還是挺期待的。
▼
02.
Q2：大模型未來(lái)是不是可以融合所有的 AI 能力，像圖像識(shí)別、文字識(shí)別、語(yǔ)音識(shí)別、NLP 等等？
胡芳槐：
問(wèn)題剛剛各位老師已經(jīng)都有涉及了。例如 GPT4 已經(jīng)在往多模態(tài)、多語(yǔ)言的趨勢(shì)發(fā)展了。所以對(duì)于機(jī)器來(lái)說(shuō)，以后的處理方向大概率是多模態(tài)融合統(tǒng)一處理。就和王文廣老師說(shuō)的一樣，以后發(fā)展的趨勢(shì)就是可能越來(lái)越像人。
王昊奮：
這個(gè)問(wèn)題我稍微再補(bǔ)充一下，我們不要忘記 OpenAI 公司它的愿景是探索走向通用人工智能的路徑。
通用人工智能可以分成第一是有感知智能，第二是有認(rèn)知智能，第三會(huì)有決策智能，OpenAI 在做的 GPT 系列，它是站在認(rèn)知智能角度往兩邊擴(kuò)。而谷歌提出的 paLM-E，在往決策智能方向發(fā)展，例如對(duì)機(jī)器人這種本身的物理事件有更多的交流，而 GPT 是跟圖像去做更多結(jié)合。
但是強(qiáng)調(diào)一點(diǎn)，我更看好它使用的一些非自然圖像的圖表，或者說(shuō)人構(gòu)建出來(lái)的圖表，用來(lái)在更困難任務(wù)當(dāng)中。文字肯定是一個(gè)更自然表達(dá)，且知識(shí)密度很高的東西。當(dāng) OpenAI 文字的紅利都弄完之后，應(yīng)繼續(xù)弄哪個(gè)呢？顯然跟微軟結(jié)合之后，會(huì)有 Office：大家平時(shí)寫(xiě)的文檔中肯定是圖文并茂，圖文并茂的過(guò)程當(dāng)中，就需要將圖片、它本身的能力、很多東西去進(jìn)行集成。
我們之前在做的時(shí)候，會(huì)把任務(wù)分得非常細(xì)，也是因?yàn)榧夹g(shù)能力的不足，導(dǎo)致定義了很多中間態(tài)的任務(wù)。但從現(xiàn)在來(lái)看并不需要了，假如現(xiàn)在出去介紹自己，我們?cè)谧膸孜痪涂梢灾徽f(shuō)我們是做 AI 的且不需要再去說(shuō)其他的東西了。因?yàn)楫?dāng)你說(shuō)是做其他細(xì)分任務(wù)時(shí)，第一別人可能把你當(dāng)一個(gè)異類(lèi)，第二這類(lèi)東西處理的方法都差不多。
至少在現(xiàn)在 Transformer 已經(jīng)變成是最基本的模型，視覺(jué)、語(yǔ)音和語(yǔ)言等，甚至?xí)r序數(shù)據(jù)或者時(shí)空數(shù)據(jù)的處理，也都是基于 Transformer 或者其變種的情況。這件事情自然就會(huì)變成，大家會(huì)去關(guān)心更統(tǒng)一的方式，這是 AI 本身的一個(gè)進(jìn)步。
▼
03.
Q3：有了這種大模型以后，知識(shí)圖譜還有意義嗎？
王文廣：
分兩個(gè)層面：
一個(gè)層面是知識(shí)圖譜是有意義的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)目前無(wú)法解決或者非常難以解決事實(shí)性準(zhǔn)確的問(wèn)題。目前因?yàn)?GPT4 這種胡編亂造的情況還是很?chē)?yán)重的，遠(yuǎn)遠(yuǎn)達(dá)不到完美解決的階段。舉個(gè) NewBing 例子，NewBing 的后臺(tái)集成了 GPT4，其目的是為了優(yōu)化搜索引擎。當(dāng)搜索一個(gè)問(wèn)題時(shí)，他會(huì)提供其知識(shí)來(lái)源的鏈接，但是有時(shí)他也會(huì)答錯(cuò)，因?yàn)樗阉鞒鰜?lái)的內(nèi)容的引用鏈接本身就是錯(cuò)的，因?yàn)榫W(wǎng)上信息很多就是錯(cuò)的，搜出來(lái)它是跟話題相關(guān)，但不代表它就是一個(gè)事實(shí)。
我看今天有人截圖，搜索的是潘金蓮倒拔垂楊柳，它也會(huì)給你提供一個(gè)引用鏈接，但鏈接是來(lái)自于 BiliBili，而 Bilibili 的來(lái)源是 GPT3 給它胡編的東西，這樣它就成為一個(gè)循環(huán)，GPT 上編了一個(gè)東西，叫潘金蓮倒拔垂楊柳，up 主發(fā)布在網(wǎng)上，然后 NewBing 拿來(lái)做證據(jù)引用。但它本身就是有問(wèn)題的。所以要提供確定的事實(shí)性的東西，一定需要有準(zhǔn)確的知識(shí)庫(kù)。在這種情況下，知識(shí)圖譜還是很有存在意義的。
目前 OpenAI 沒(méi)有融入知識(shí)圖譜，但是谷歌可能就會(huì)用知識(shí)圖譜。我現(xiàn)在非常期待谷歌出來(lái)的一個(gè)內(nèi)容，包括谷歌的 LaMDA，論文本身也在使用三元組為它提供事實(shí)依據(jù)，大家可以去看 LaMDA 模型的論文，還有那個(gè) Deepmind 也有類(lèi)似的模型，論文也非常類(lèi)似，使用知識(shí)圖譜給它提供事實(shí)依據(jù)。因?yàn)橹挥兄R(shí)圖譜或者類(lèi)似的知識(shí)庫(kù)或者知識(shí)引擎，類(lèi)似于 WolframAlpha，它能夠?yàn)槟Ｐ吞峁?zhǔn)確的或者確信的這種知識(shí)，只有這樣模型才不會(huì)去亂編結(jié)論。
第二個(gè)層面在于真正落地到很多工業(yè)應(yīng)用的時(shí)候，也是需要有專(zhuān)業(yè)領(lǐng)域知識(shí)的支撐，大模型訓(xùn)練語(yǔ)料里最為致命的一點(diǎn)是專(zhuān)業(yè)知識(shí)在大語(yǔ)料里邊它占比非常少的，很難在訓(xùn)練里面把專(zhuān)業(yè)知識(shí)給學(xué)習(xí)出來(lái)，所以在一個(gè)具體的應(yīng)用領(lǐng)域的它還是需要知識(shí)，至少短期內(nèi)還是需要的。
王士進(jìn)：
無(wú)論是 ChatGPT 也好，還是 GPT4.0 也好，它本質(zhì)上是一套大的概率系統(tǒng)，我們會(huì)發(fā)現(xiàn)它把所有的內(nèi)容、所有的知識(shí)都編碼在它整個(gè)的網(wǎng)絡(luò)空間里面，我們現(xiàn)在確實(shí)可以用 Prompt 或者用一些方式可以把想要的知識(shí)、想要內(nèi)容激發(fā)出來(lái)。但對(duì)于我們?nèi)藖?lái)說(shuō)也是這樣的，當(dāng)你有了這么大記憶空間，一定會(huì)出現(xiàn)一定概率的記憶模糊，甚至記憶錯(cuò)誤。
在我們平時(shí)和 GPT 的閑聊交互里，有沒(méi)有知識(shí)圖譜的關(guān)系并不是太大，但是要落到工業(yè)系統(tǒng)里面，是希望后續(xù)的東西是確定的。在這種情況下，知識(shí)圖譜就可以很好地去輔助大模型。比如原來(lái)我們?cè)谧鲱I(lǐng)域系統(tǒng)的時(shí)候，就是要把深度學(xué)習(xí)和領(lǐng)域知識(shí)圖譜（或者叫做領(lǐng)域的知識(shí)庫(kù)）做一個(gè)更深度的融合?，F(xiàn)在大模型的能力更強(qiáng)了，可以把 GPT 這種更加自由的交互和領(lǐng)域內(nèi)的專(zhuān)家知識(shí)去做更深度的融合。當(dāng)然也有可能未來(lái)把知識(shí)圖譜通過(guò)編碼的方式進(jìn)入到大模型的空間。這種從本質(zhì)上知識(shí)和模型的融合成一體的想法，也可能是未來(lái)的發(fā)展的方式?？傊?，概率空間網(wǎng)絡(luò)（不管是原來(lái)深度學(xué)習(xí)還是現(xiàn)在大模型）跟知識(shí)庫(kù)或者知識(shí)圖譜的結(jié)合是后續(xù)我們?cè)陬I(lǐng)域或者行業(yè)里面要去做好的關(guān)鍵點(diǎn)，所以我個(gè)人認(rèn)為在領(lǐng)域里面去做知識(shí)圖譜還是持續(xù)有事情可以做的。
劉銘：
兩位老師剛才已經(jīng)把整個(gè)的知識(shí)圖譜和大模型相互之間的配合都已經(jīng)說(shuō)得很清楚了。我也非常同意剛才兩位老師的觀點(diǎn)，我們現(xiàn)在所看到的大模型，本質(zhì)上都是預(yù)訓(xùn)練語(yǔ)言模型，往深了說(shuō)，都是概率模型。對(duì)于概率模型，它沒(méi)法處理兩個(gè)問(wèn)題：
第一個(gè)問(wèn)題是，因?yàn)?/span>概率模型是從大量數(shù)據(jù)中發(fā)現(xiàn)概率知識(shí)，這種概率知識(shí)有可能會(huì)存在有偏的情況，也就是說(shuō)這種概率模型，它發(fā)現(xiàn)是大量的共線知識(shí)，而不是真正的這種因果知識(shí)。所以就使得現(xiàn)在大模型做一些推理任務(wù)時(shí)，尤其是一些隱式推理，效果并不是很好。
第二點(diǎn)是概率模型對(duì)于這種小樣本的處理效果是不太好的，而現(xiàn)實(shí)中，尤其是行業(yè)中，行業(yè)數(shù)據(jù)是非常少的。或者說(shuō)是行業(yè)數(shù)據(jù)是不會(huì)包含在這種大量的通用數(shù)據(jù)集里面的。所以我們現(xiàn)在用來(lái)訓(xùn)練大模型的數(shù)據(jù)，其中包含的行業(yè)數(shù)據(jù)是非常少的。當(dāng)數(shù)據(jù)量過(guò)少時(shí)，現(xiàn)在的大模型是處理不了這種對(duì)于行業(yè)知識(shí)或者精準(zhǔn)知識(shí)的回答。而知識(shí)圖譜產(chǎn)生的初衷，就是去進(jìn)行這種精準(zhǔn)回答的，包括知識(shí)圖譜中的知識(shí)，都是人可理解的。并且加入到知識(shí)圖譜中的知識(shí)都是這種經(jīng)過(guò)這種校驗(yàn)的，是事實(shí)類(lèi)的，準(zhǔn)確的知識(shí)，并且我們有大量的行業(yè)知識(shí)圖譜。
所以正在進(jìn)行的研究里，也包含了如何將大模型和知識(shí)圖譜來(lái)進(jìn)行串聯(lián)或并聯(lián)。讓知識(shí)圖譜幫助大模型去解決它事實(shí)依據(jù)性不好的問(wèn)題，以及因?yàn)榇竽Ｐ蛥?shù)量很大，沒(méi)法對(duì)它進(jìn)行重復(fù)訓(xùn)練和時(shí)效性不好的問(wèn)題。而知識(shí)圖譜構(gòu)建的成本相比大模型模型的訓(xùn)練成本是要低的。所以包括現(xiàn)在也有人在探索如何用知識(shí)圖譜去提高最終大模型輸出的時(shí)效性等。
所以說(shuō)知識(shí)圖譜并不可能隨著大模型出現(xiàn)而消失，可能對(duì)于通用類(lèi)知識(shí)圖譜會(huì)有一定的沖擊，因?yàn)榇竽Ｐ椭袑W(xué)到的知識(shí)都是一些通用知識(shí)，所以會(huì)和通用的知識(shí)圖譜產(chǎn)生相互的交叉。但是對(duì)于行業(yè)知識(shí)圖譜，尤其是深入到領(lǐng)域中的知識(shí)圖譜，恰恰應(yīng)該是一個(gè)大模型的補(bǔ)充。
王昊奮：
這是一個(gè)挺好的問(wèn)題。這件事情可以分幾個(gè)維度來(lái)看。
在知識(shí)圖譜出現(xiàn)之前我們也有專(zhuān)家系統(tǒng)，到后面知識(shí)圖譜是不是叫知識(shí)圖譜不一定，但可以肯定的是表達(dá)知識(shí)，構(gòu)建知識(shí)和應(yīng)用知識(shí)這件事情永遠(yuǎn)是不會(huì)變的。而具體是用大語(yǔ)言模型，還是說(shuō)用原來(lái)傳統(tǒng)的這樣一些符號(hào)化的手段來(lái)去做這樣的事情，這在不同時(shí)代是有不同的意義的。
就像知識(shí)圖譜出現(xiàn)時(shí)，大家會(huì)問(wèn)：到底跟原來(lái)專(zhuān)家系統(tǒng)有什么區(qū)別？當(dāng)時(shí)李涓子老師給了一個(gè)非常直觀并且精準(zhǔn)的定義：知識(shí)圖譜是大數(shù)據(jù)時(shí)代的專(zhuān)家系統(tǒng)。什么叫大數(shù)據(jù)時(shí)代？第一，是數(shù)據(jù)的規(guī)模是很大，不是原來(lái)小作坊做的事情。第二，自動(dòng)化程度很高。所以不管是以前的深度學(xué)習(xí)，還是現(xiàn)在的大語(yǔ)言模型或者多模態(tài)的大模型，都會(huì)成為表達(dá)知識(shí)，構(gòu)建知識(shí)和應(yīng)用知識(shí)的新武器。
在過(guò)程當(dāng)中，做知識(shí)圖譜的大家首先應(yīng)該去感到興奮，因?yàn)樯a(chǎn)力的工具得到了很大的提升。同時(shí) GPT 這類(lèi)模型的興起也會(huì)讓我們?nèi)リP(guān)注，在之前的階段沒(méi)有必要去做，或者說(shuō)做的不夠好的一些事情，比如是不是可以基于大模型去構(gòu)建知識(shí)圖譜，可以構(gòu)建得更快。
所以就會(huì)有以下幾點(diǎn)思考：
（1）知識(shí)圖譜當(dāng)中的很多的任務(wù)，哪些是可以用大模型來(lái)進(jìn)行去做賦能或者加速的？
（2）有哪些事情可能通過(guò)知識(shí)圖譜對(duì)大模型進(jìn)行優(yōu)化。
（3）知識(shí)圖譜加大模型并列的組合。
剛剛劉銘老師講到的就是對(duì)于時(shí)效性，對(duì)于因果推斷，對(duì)于領(lǐng)域的很多知識(shí)的應(yīng)用，包括在很多的決策智能方面的可解釋性，這件事情就等于是知識(shí)圖譜來(lái)賦能大模型，或者知識(shí)圖譜加大模型的事情。另一方面，也有大量的工作是基于大模型本身對(duì)于知識(shí)的表達(dá)，知識(shí)的推理。當(dāng)然不局限于本身的歸納推理，甚至延伸到了符號(hào)計(jì)算里面最看重的演繹推理或溯因推理，更加偏確定性的精準(zhǔn)推理的場(chǎng)景。所以雙方的研究成果一定會(huì)有很多的交叉及互相使用，所以說(shuō)這件事情對(duì)于每個(gè)行業(yè)來(lái)說(shuō)，第一要擁抱，第二要去找到新的發(fā)展點(diǎn)。我們要記住一件事情：no size fits all，就是沒(méi)有一個(gè)東西能包打天下。
所以說(shuō)在各種特定的場(chǎng)景當(dāng)中，一定是會(huì)遇到很多極端情況，做得不好的情況。而這樣極端情況，又是準(zhǔn)確率要求特別高的場(chǎng)景和任務(wù)當(dāng)中，容忍性比較低。在過(guò)程中，一定會(huì)探索出一條新的路。大家也可以看一下 YannLeCun 之前發(fā)布的一篇，增強(qiáng)式的語(yǔ)言模型當(dāng)中，提到的對(duì)于推理的語(yǔ)言模型不足的地方，對(duì)于使用工具不足的地方，以及對(duì)于行為動(dòng)作不足的地方。
這件事情到底是要用哪種方式解決？一方面是取決于本身有沒(méi)有能力解決，第二個(gè)方面是解決的好不好，第三件事情還在于成本考慮。比如用大語(yǔ)言模型可以做，但大語(yǔ)言模型本身的部署代價(jià)推理的成本很大；而我又發(fā)現(xiàn)可能只要用一個(gè)正則表達(dá)式或一個(gè)計(jì)算器就能解決事情。所以為什么要將這種數(shù)學(xué)計(jì)算讓大模型來(lái)去做呢，解決方案就是讓大模型去理解題目，然后轉(zhuǎn)換成用類(lèi)似于 WolframAlpha，或只用一個(gè)計(jì)算器來(lái)去解決剩下的問(wèn)題。
第一保證答案的精準(zhǔn)性，第二也保證了這件事情的效率。所以說(shuō)到后期一定會(huì)是多維度考量。而現(xiàn)階段包括 OpenAI 或者其他的一些大模型的廠商，更多是對(duì)大模型的能力邊界進(jìn)行探索，而并不是說(shuō)我在真實(shí)的使用過(guò)程當(dāng)中要去使用模型。另一件很重要的事就是，即使在互聯(lián)網(wǎng)上，我們也有很多的 deepweb，就是深網(wǎng)里很多的結(jié)構(gòu)化的數(shù)據(jù)都是由背后的大數(shù)據(jù)系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)所支持。在我們的行業(yè)領(lǐng)域內(nèi)，一旦存在這樣的東西，對(duì)于結(jié)構(gòu)化數(shù)據(jù)本身的更充分的利用，未必是大模型來(lái)處理更高效。它可能能幫助做一部分的事情。
最后我想說(shuō)一句話，就是最近將要發(fā)第四版的《現(xiàn)代人工智能》UCBerkeley 的教授，人家去采訪他的時(shí)候，他說(shuō)了一件事情正好跟剛剛文廣講的東西是可以去前后對(duì)應(yīng)起來(lái)。他不認(rèn)為是現(xiàn)在的大語(yǔ)言模型（或者端到端的深度學(xué)習(xí)）是個(gè)工程，他認(rèn)為這是一個(gè)烘培。烘培是可以不去關(guān)心當(dāng)中細(xì)節(jié)的。但是目前在很多過(guò)程當(dāng)中我們需要比較精細(xì)的知道不同模塊之間到底怎么銜接起來(lái)，怎么去組成更龐大的復(fù)雜系統(tǒng)。在過(guò)程當(dāng)中，就需要有工程，而工程就離不開(kāi)原來(lái)傳統(tǒng)的一些 AI 的技術(shù)，包括很多的符號(hào)科學(xué)方面的一些技術(shù)。所以說(shuō)我比較看好的是增強(qiáng)式語(yǔ)言模型或大模型結(jié)合符號(hào)和神經(jīng)的方向去探索一些新的研究和研發(fā)的范式。
▼
04.
Q4：對(duì)于大模型的問(wèn)題是回答缺乏事實(shí)的驗(yàn)證，知識(shí)圖譜是不是可以來(lái)幫助解決問(wèn)題？就像當(dāng)年有搜索引擎也用了知識(shí)鏈接的方式去輔助搜索或者做引證。
王昊奮：
第一，大語(yǔ)言模型屬于是生成式模型，生成式模型本身的一個(gè)很重要的點(diǎn)就是在于讓它的生成更加可控，可控當(dāng)中很重要的任務(wù)就是要去做驗(yàn)真和知識(shí)引導(dǎo)。
在大語(yǔ)言模型之前，知識(shí)的驗(yàn)真和引導(dǎo)大家也一直都在做，這里面知識(shí)圖譜肯定是能用上，但結(jié)合剛剛文廣講的 NewBing 的例子和劉銘老師講的例子，我們不僅要對(duì)其說(shuō)的話去驗(yàn)真，還要對(duì)它引用的事實(shí)去驗(yàn)真。
另外它確實(shí)是真的知識(shí)，但是知識(shí)的更新是具有時(shí)效性的。在過(guò)程當(dāng)中，怎么去根據(jù)用戶(hù)的上下文去提供最合適的答案，甚至很多時(shí)候用戶(hù)沒(méi)有去說(shuō)顯式說(shuō)明的提示，如何去提供最合適的答案。
在這種過(guò)程當(dāng)中，知識(shí)的更新和驗(yàn)真都是需要的，但是是不是一定需要知識(shí)圖譜？大家對(duì)于知識(shí)圖譜不要去狹義認(rèn)為它就是一個(gè)三元組的這種結(jié)構(gòu)化的這種表示，因?yàn)橹R(shí)圖譜本身也有基于表示學(xué)習(xí)的各種各樣的表示方式。
第二包括劉銘老師在內(nèi)的哈工大的老師做了很多事件圖譜，如果大家去做智能制造相關(guān)的課題，會(huì)發(fā)現(xiàn)很多知識(shí)都是一些機(jī)理知識(shí)，會(huì)涉及到很多物理化學(xué)，很多的公式或者定理，這些東西你怎么表達(dá)呢？所以我們站在知識(shí)的層面來(lái)說(shuō)，一定是需要將各種各樣的復(fù)雜知識(shí)去更好地去刻畫(huà)、嵌入，以及去對(duì)論據(jù)做驗(yàn)證。并且還要保證知識(shí)確實(shí)是跟當(dāng)前的上下文匹配，甚至很多時(shí)候它對(duì)于時(shí)效性是有要求的。
所以這幾件事情作為大語(yǔ)言模型最重要的一個(gè)構(gòu)建單元，需要對(duì)它進(jìn)行增強(qiáng)或者提升。
另一件事情是可以考慮在過(guò)程中將知識(shí)做卸載，并不需要去過(guò)分的將很多的事實(shí)性知識(shí)去放在模型里面，可以將事實(shí)知識(shí)放在本身的外部庫(kù)里，然后通過(guò)一個(gè)類(lèi)似于向量數(shù)據(jù)庫(kù)，或者說(shuō)是向量的近鄰檢索的 reader 的方式去做搭配，最后作為一個(gè)整體仍然具有一樣的能力，對(duì)于時(shí)效性和驗(yàn)真性的部分就完全通過(guò)外部的數(shù)據(jù)庫(kù)系統(tǒng)去考慮。因?yàn)閷?duì)大模型去做更新，或者基于神經(jīng)的知識(shí)編輯，代價(jià)還是很高，而且具體應(yīng)該編輯哪一塊還是黑盒，可能會(huì)影響其他任務(wù)的表現(xiàn)，所以還不如讓它外置在外部數(shù)據(jù)庫(kù)（或者數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)湖）里，然后通過(guò)積累的數(shù)據(jù)治理和知識(shí)驗(yàn)證的數(shù)據(jù)去作為輔助。這樣從工程落地的角度來(lái)說(shuō)，它的可行性和成本可控性會(huì)更好。
總而言之需要去保證大語(yǔ)言模型本身強(qiáng)大的理解能力和各種任務(wù)的泛化能力，但是又要去更好地保證生成結(jié)果的可信性、真實(shí)性、時(shí)效性以及來(lái)源的可追溯性等很多方面。
王士進(jìn)：
我發(fā)現(xiàn)這幾個(gè)問(wèn)題專(zhuān)家們的觀點(diǎn)還是非常一致的，都是覺(jué)得知識(shí)圖譜和現(xiàn)在大語(yǔ)言模型有非常多可結(jié)合的點(diǎn)，GPT 系列的大模型和知識(shí)圖譜的發(fā)展，我認(rèn)為是相輔相成的。
除了剛才講的點(diǎn)以外，對(duì)于知識(shí)圖譜的構(gòu)建原來(lái)有各種各樣的構(gòu)建方式?，F(xiàn)在又多了一種構(gòu)建方式——用大模型去輔助整個(gè)知識(shí)圖譜構(gòu)建，因?yàn)樗?jiàn)過(guò)了很多的語(yǔ)料和知識(shí)，通過(guò)大數(shù)據(jù)的學(xué)習(xí)，通過(guò) Prompt 去進(jìn)行知識(shí)的激發(fā)。同時(shí)知識(shí)圖譜反過(guò)來(lái)也能夠去推動(dòng) Prompt 工程里面的相關(guān)工作，融入到 GPT 的訓(xùn)練，或者一些推理里面去使得生成更可控，更準(zhǔn)確。同時(shí)，知識(shí)圖譜也可以提供很多額外的語(yǔ)義信息。
知識(shí)圖譜有非常多的跨學(xué)科、跨領(lǐng)域的知識(shí)。這些知識(shí)一方面是通過(guò)統(tǒng)計(jì)學(xué)習(xí)學(xué)到相關(guān)性，另一方面，人在長(zhǎng)時(shí)間知識(shí)學(xué)習(xí)的積累里面，也可以提供額外的信息。知識(shí)圖譜的節(jié)點(diǎn)屬性連接是可以幫助大模型的知識(shí)推理做得更好。所以本質(zhì)上大模型進(jìn)來(lái)以后，并不是把知識(shí)圖譜消滅了，而是發(fā)揮知識(shí)圖譜和大模型這兩種技術(shù)的優(yōu)勢(shì)，使得我們?cè)谛枰煽刂R(shí)或可控邏輯的時(shí)候，知識(shí)圖譜會(huì)發(fā)揮更大作用；需要更自由的交互任務(wù)理解和生成時(shí)，大模型發(fā)揮更好的作用。
所以怎么樣把這兩個(gè)東西去更好地去融合，能夠規(guī)避它們的弱點(diǎn)和發(fā)揮它們優(yōu)點(diǎn)。這是后續(xù)大家可以做的相關(guān)工作。
劉銘：
知識(shí)圖譜在大模型出現(xiàn)之后，并不是沒(méi)有發(fā)展空間。目前我們對(duì)知識(shí)圖譜的應(yīng)用并不足，或者目前知識(shí)圖譜和大模型的配合并不夠好。
目前來(lái)說(shuō)知識(shí)圖譜在大模型上應(yīng)用，主要用在事實(shí)一致性的檢驗(yàn)上，以及保證了時(shí)效競(jìng)爭(zhēng)。但是我認(rèn)為知識(shí)圖譜除了做事實(shí)一致性檢驗(yàn)，還可以在大模型的很多任務(wù)上、應(yīng)用上發(fā)揮自己的能力。
第 1 點(diǎn)，在預(yù)訓(xùn)練模型上已經(jīng)證明了知識(shí)圖譜可以從大量的非結(jié)構(gòu)化的數(shù)據(jù)中將結(jié)構(gòu)化的知識(shí)萃取出來(lái)，可以反過(guò)來(lái)再用這種結(jié)構(gòu)化的知識(shí)對(duì)預(yù)訓(xùn)練任務(wù)進(jìn)行訓(xùn)練去提升預(yù)訓(xùn)練模型的效果。尤其是現(xiàn)在，已經(jīng)有很多大規(guī)模的知識(shí)圖譜，包含了很多的結(jié)構(gòu)化知識(shí)，而這些結(jié)構(gòu)化知識(shí)完全是可以應(yīng)用到預(yù)訓(xùn)練模型，甚至于大模型上去幫助訓(xùn)練以及獲得更好的效果。
第 2 點(diǎn)，知識(shí)并不只是簡(jiǎn)簡(jiǎn)單單的事實(shí)類(lèi)的知識(shí)，復(fù)雜的知識(shí)有條件的限定，也可能是只有在多個(gè)條件同時(shí)的作用下才產(chǎn)生結(jié)果，或者某些條件下，知識(shí)可能是互斥的。
知識(shí)圖譜通過(guò)這種結(jié)構(gòu)化知識(shí)的表達(dá)很容易表達(dá)這種待約束的知識(shí)。我們?cè)谟?xùn)練大模型的時(shí)候，也可以把這種結(jié)構(gòu)化的更復(fù)雜類(lèi)型的知識(shí)用在預(yù)訓(xùn)練模型上，用在大模型上，也是一種比較好的一個(gè)方向。因?yàn)?/span>現(xiàn)在的大模型，在解決這種約束類(lèi)問(wèn)題，或者說(shuō)這種隱式推理問(wèn)題的能力上不夠好有一大部分的原因就是它對(duì)于這種復(fù)雜的知識(shí)理解得不夠好，或者他并沒(méi)有從大量的文本中很好地去把這些復(fù)雜的這種約束類(lèi)的知識(shí)歸納出來(lái)，這就是可能知識(shí)圖譜的另一個(gè)應(yīng)用點(diǎn)。
最后一個(gè)的應(yīng)用點(diǎn)也是知識(shí)圖譜的最大的特點(diǎn)，就是知識(shí)圖譜是一個(gè)典型的一個(gè)圖結(jié)構(gòu)，有大量的路徑。而通過(guò)路徑的歸納，我們是能夠從知識(shí)圖譜中很容易地獲得一系列這種規(guī)則，規(guī)則就是大量數(shù)據(jù)的總結(jié)，通過(guò)知識(shí)圖譜可以很容易把規(guī)則拿到。是不是以后訓(xùn)練預(yù)訓(xùn)練模型或者大模型的時(shí)候，只需要給他規(guī)則就可以了？并且由于規(guī)則是從大量的數(shù)據(jù)中總結(jié)到的，是不是只需要通過(guò)少量的規(guī)則去教大模型，也就不需要我們這種大量的預(yù)訓(xùn)練數(shù)據(jù)了？比如像 ChatGPT 用了 570G 的數(shù)據(jù)去訓(xùn)練模型，我們把數(shù)據(jù)中的大量的規(guī)則給它找到，是不是就不用這么多數(shù)據(jù)了？或者通過(guò)規(guī)則和數(shù)據(jù)來(lái)進(jìn)行互相的配合，是不是可以使模型在后續(xù)的推理的任務(wù)上能夠做得更好？這些也是值得探索的點(diǎn)，所以知識(shí)圖譜在大模型的背景下，還是有相應(yīng)的發(fā)揮空間。而且現(xiàn)在對(duì)于知識(shí)圖譜和大模型的結(jié)合，目前做的還不夠好。這個(gè)話題無(wú)論是在工業(yè)界和學(xué)術(shù)界都是值得探索的話題。
王文廣：
第一點(diǎn)是可以從更宏觀的，比如說(shuō)其他學(xué)科角度例如邏輯學(xué)或者哲學(xué)角度來(lái)看待這個(gè)事情，我們知道推理是分兩大塊，一個(gè)叫歸納推理，一個(gè)叫演繹推理。大模型本質(zhì)上是歸納推理，它是從訓(xùn)練語(yǔ)料里面找出一些符合規(guī)則地方，然后進(jìn)行訓(xùn)練。如果語(yǔ)料太少模型找不出規(guī)則，就會(huì)亂編。與之相對(duì)應(yīng)的是演繹推理，這個(gè)是現(xiàn)在大模型無(wú)法解決的，但正好是知識(shí)圖譜能夠做到的。
可以把知識(shí)圖譜擴(kuò)展一下，人工智能里邊有另外一種劃分方法，連接主義，符號(hào)主義，還有行為主義。大模型本質(zhì)上是連接主義的成果，與它相對(duì)應(yīng)的是符號(hào)主義，符號(hào)主義在過(guò)往的 AI 發(fā)展里面也占據(jù)過(guò)主流的，在那個(gè)時(shí)候連接主義是處于下風(fēng)，但兩者之間的融合是一定會(huì)出現(xiàn)的。
人類(lèi)做推理的時(shí)候也是分兩個(gè)形式，一個(gè)是歸納，一個(gè)是演繹。歸納現(xiàn)在大模型做得很好，但目前還沒(méi)有大模型能夠做好演繹推理。而我們?cè)谧鰧W(xué)科的構(gòu)建，或者是科學(xué)研究，或者很多別的東西的時(shí)候，演繹推理也是需要的，所以知識(shí)圖譜肯定還有它存在的價(jià)值。但我也非常同意昊奮剛才講了一個(gè)點(diǎn)，以后的知識(shí)圖譜不一定是現(xiàn)在的知識(shí)圖譜，隨著 AI 發(fā)展，它也會(huì)變化。它可能以后要接過(guò)來(lái)的兩個(gè)內(nèi)容，一個(gè)就是作為世界知識(shí)的載體，另外一個(gè)就是要接過(guò)符號(hào)主義，把符號(hào)主義給發(fā)揚(yáng)光大。在大模型能力這么強(qiáng)情況下，怎么去發(fā)展好符號(hào)主義的內(nèi)容，這些點(diǎn)我自己也寫(xiě)在了公眾號(hào)，也希望有人能夠過(guò)來(lái)評(píng)論里面探討這些內(nèi)容。
第二個(gè)點(diǎn)也是前面幾位老師沒(méi)有講到的，我自己去看書(shū)，總結(jié)出來(lái)人類(lèi)智能也是存在連接主義、符號(hào)主義和行為主義這三個(gè)點(diǎn)。人造出來(lái)的人工智能 AGI，本質(zhì)上還是在模仿人的智能體，是以自身為參照物來(lái)制作的。這三種之間的融合，也是未來(lái)一定會(huì)發(fā)生的事情。行為主義，就是我們現(xiàn)在所說(shuō)的強(qiáng)化學(xué)習(xí)，然后連接主義前面也講挺多了，就是神經(jīng)網(wǎng)絡(luò)本質(zhì)上是模仿人的大腦的一個(gè)結(jié)構(gòu)做出來(lái)。但是符號(hào)主義（就是演繹推理這部分）這一套形態(tài)，是以什么形式存在？肯定不是以現(xiàn)在的這種知識(shí)圖譜形式存在的，未來(lái)一定會(huì)有另外一種形態(tài)，也許是跟大模型跟強(qiáng)化學(xué)習(xí)融合。目前我們可能需要去探討如何把知識(shí)圖譜擴(kuò)展成一個(gè)更為通用的符號(hào)主義方法，然后讓它更好地去實(shí)現(xiàn)演繹推理的事情。
▼
05.
Q5：知識(shí)圖譜在大模型中如何去使用？比如說(shuō)去輔助它做訓(xùn)練、做微調(diào)，還是說(shuō)在做推理階段做 Prompt，還是說(shuō)做一些其他的一些工作？關(guān)于知識(shí)圖譜它具體在大模型中間使用的一些細(xì)節(jié)，想請(qǐng)老師來(lái)展開(kāi)地講一下，比如說(shuō)像三元組是不是可以去融入里面去做訓(xùn)練等？
王文廣：
有幾種方法：
一種就是把知識(shí)圖譜轉(zhuǎn)化成文本，作為文本語(yǔ)料的一部分，或者說(shuō)作為比較好的語(yǔ)料，成為訓(xùn)練的一部分去做。這是一個(gè)思路。
第二個(gè)思路是把知識(shí)圖譜本身的結(jié)構(gòu)化信息保留，作為訓(xùn)練的時(shí)候的一個(gè)特殊的內(nèi)容或者結(jié)構(gòu)加在大模型里邊，方法不是特別容易，因?yàn)閷?duì)大模型的結(jié)構(gòu)有一些要求，至少 GPT 系列的可能它不大會(huì)采用結(jié)構(gòu)，還是通過(guò)某種方式轉(zhuǎn)換成文本語(yǔ)料的一部分去做可能會(huì)更合適。
第三個(gè)是在 GPT4 這種級(jí)別情況下，感覺(jué)微調(diào)也是個(gè)很難的事情，我看它的技術(shù)報(bào)告里面就有講，微調(diào)成本也太高了，不是一個(gè)好思路，更好的思路是：
（1）模型本身考慮一下，就類(lèi)似于 LaMDA，把知識(shí)圖譜做一個(gè)外部檢索，包括 NewBing 也是一樣的，作為一個(gè)外部知識(shí)源來(lái)做。
（2）像前面某位老師講的，擺事實(shí)、講道理的時(shí)候，擺事實(shí)部分去找知識(shí)圖譜，講道理部分語(yǔ)言模型自己來(lái)搞定。
（3）Meta 那邊的人就把它作為一個(gè)外部工具來(lái)使用。本身就是純外掛的，這也是一個(gè)思路。
劉銘：
在 ChatGPT 出來(lái)之前用知識(shí)圖譜做預(yù)訓(xùn)練模型的方式分為兩種：一種是直接通過(guò)知識(shí)圖譜的知識(shí)來(lái)對(duì)輸入文本來(lái)進(jìn)行語(yǔ)義擴(kuò)充，就是讓訓(xùn)練數(shù)據(jù)所包含的語(yǔ)義更加的充分。另外一種方式是將知識(shí)圖譜作為一個(gè)約束加到訓(xùn)練模型里面，引入一個(gè)額外的任務(wù)。比如預(yù)訓(xùn)練模型是一個(gè)獨(dú)立的任務(wù)，然后再單獨(dú)用知識(shí)圖譜訓(xùn)練一個(gè)表示學(xué)習(xí)模型，然后將這兩個(gè)模型進(jìn)行交互。通過(guò)知識(shí)圖譜構(gòu)建的表示學(xué)習(xí)的任務(wù)，是作為一個(gè)輔助任務(wù)幫助預(yù)訓(xùn)練模型進(jìn)行效果的提升。
但對(duì)于現(xiàn)在的這類(lèi)大模型來(lái)說(shuō)，它的訓(xùn)練數(shù)據(jù)是非常大的，直接通過(guò)知識(shí)圖譜來(lái)對(duì)預(yù)訓(xùn)練模型或者說(shuō)大模型中的訓(xùn)練數(shù)據(jù)做知識(shí)擴(kuò)充沒(méi)有必要。因?yàn)閿?shù)據(jù)量已經(jīng)足夠大到能包含這些擴(kuò)充的知識(shí)的。所以直接通過(guò)知識(shí)圖譜來(lái)做語(yǔ)義擴(kuò)充的方式是沒(méi)有必要的。
知識(shí)圖譜有兩點(diǎn)比較獨(dú)特的特點(diǎn)。
第一點(diǎn)就是它有鏈?zhǔn)疥P(guān)系，這種鏈?zhǔn)疥P(guān)系在很多推理的任務(wù)上能起到很大的作用。所以將知識(shí)圖譜的鏈?zhǔn)疥P(guān)系和預(yù)訓(xùn)練模型進(jìn)行融合。比如說(shuō)最簡(jiǎn)單的就是現(xiàn)在的 CoT 也是一種鏈?zhǔn)疥P(guān)系，是不是將 CoT 的制動(dòng)生成和知識(shí)圖譜的鏈?zhǔn)疥P(guān)系，進(jìn)行相互的輔助。
另外一點(diǎn)就是知識(shí)圖譜的使用，從模型訓(xùn)練的角度上，并不一定要將知識(shí)圖譜的知識(shí)直接加到預(yù)訓(xùn)練模型里面，可以設(shè)計(jì)額外的輔助任務(wù)，然后通過(guò)輔助任務(wù)對(duì)預(yù)訓(xùn)練模型去加一些約束。因?yàn)楝F(xiàn)在很多的知識(shí)的成立是受約束的，也可以把知識(shí)圖譜中的一些約束的知識(shí)單獨(dú)抽取出來(lái)去訓(xùn)練一個(gè)獨(dú)立的任務(wù)，然后通過(guò)獨(dú)立的任務(wù)去約束大模型，使它的知識(shí)表示變得更加的精準(zhǔn)。
甚至可以從知識(shí)圖譜中抽取大量的規(guī)則，然后利用規(guī)則再去訓(xùn)練一個(gè)額外的任務(wù)，然后通過(guò)任務(wù)讓當(dāng)前的預(yù)訓(xùn)練模型能夠更好地去理解這種規(guī)則，也是一個(gè)比較好的利用知識(shí)圖譜的方向。
當(dāng)然對(duì)于目前做得比較多的，比如知識(shí)圖譜增強(qiáng)的大模型，包括檢索增強(qiáng)的大模型，肯定是知識(shí)圖譜的最典型的一個(gè)應(yīng)用。尤其是隨著大模型參數(shù)量越來(lái)越大，外掛知識(shí)圖譜幫它去解決事實(shí)一致性以及時(shí)效性的這些問(wèn)題，肯定是知識(shí)圖譜可以發(fā)揮的一個(gè)點(diǎn)。
▼
06.
Q6：在大模型的這種能力下面，以前的一些任務(wù)，比如說(shuō)像實(shí)體識(shí)別、關(guān)系抽取、事件抽取這些任務(wù)是不是還有必要去做一些了解？
王昊奮：
如果只是用大模型的能力且大模型本身端到端能力已經(jīng)能達(dá)到要求，例如 GPT4 它在很多任務(wù)上已經(jīng)達(dá)到 humanlevel 的這種水平，沒(méi)有必要再額外地去增加一些中間形態(tài)的任務(wù)，除非想要了解或大模型到底怎么工作的，或者希望用它來(lái)做額外的事情。
但另一方面，大模型是任務(wù)無(wú)關(guān)或領(lǐng)域無(wú)關(guān)的相對(duì)比較偏通用性的工具。將這種工具應(yīng)用在垂直的領(lǐng)域會(huì)發(fā)現(xiàn)不同的用法，導(dǎo)致最后的效果不一樣。最近有人將 GPT 應(yīng)用在生物信息學(xué)領(lǐng)域當(dāng)中，即使是通過(guò)小樣本提示，告訴它要抽這種實(shí)體、這種類(lèi)型的關(guān)系、這種事件，它的效果并不是特別的好，會(huì)經(jīng)常遇到領(lǐng)域適配過(guò)程當(dāng)中的最后 100 米或者最后一段的鴻溝問(wèn)題。這時(shí)候，像剛剛士進(jìn)老師講到的知識(shí)驅(qū)動(dòng)的提示工程，還是非常重要。而且結(jié)合劉銘老師剛剛講到，知識(shí)如果變成規(guī)則，知識(shí)的密度絕對(duì)比文字當(dāng)中所描述的東西要來(lái)多很多，因?yàn)橐粭l規(guī)則能生成無(wú)窮條的這樣的文本，所以它能解決本身在一些很稀疏的，或者在領(lǐng)域特定的情況下，能充分提供用很多彈藥。所以這一塊東西，包括是面向數(shù)據(jù)的 AI 是非常重要。
另外，對(duì)于大模型不太建議去使用知識(shí)的注入的方法，而是用知識(shí)引導(dǎo)的方式。還是回到剛剛劉銘老師講述的問(wèn)題，你教的這些東西人家已經(jīng)都見(jiàn)過(guò)了，這可能是一個(gè)無(wú)效的嘗試。最近在 AIGC，在文生圖（text to image）任務(wù)中里面非?；鸬?stable diffusion，產(chǎn)生了一個(gè)跟它并行的 controlnet 模型。原來(lái)去做不管是 KGenhanced 各種 Bert 的模型或者其他的一些內(nèi)容，或者是劉銘老師講到的圖結(jié)構(gòu)的約束的想法，我們可以仿照 controlnet 將他們構(gòu)造成一個(gè)并聯(lián)的分支，類(lèi)似于原來(lái) Resnet 的 skip connection 的小網(wǎng)絡(luò)，而這樣的一個(gè)小網(wǎng)絡(luò)本身對(duì)于大模型是凍結(jié)的，所以也能保證對(duì)于結(jié)果是有可控性的。
第三，在這種過(guò)程當(dāng)中，大家一定會(huì)考慮到在本身的私有化部署等很多方面，不會(huì)去一味地追求 bigger than bigger 的大模型。所以說(shuō)在 100 億左右的參數(shù)，也就是中型模型，可能后面會(huì)變成主流。而這些模型的使用過(guò)程當(dāng)中確實(shí)還需要去做中間態(tài)的任務(wù)，甚至說(shuō)去做指令的微調(diào)或指令的學(xué)習(xí)方法，可能還會(huì)做一些 self-instruct 的工作，這里面就會(huì)有 KGenhanced 或 KGdriven 的思想在里面。
所以戰(zhàn)場(chǎng)還剛剛起步，大家都沒(méi)有搞清楚到底是怎么一回事情，甚至明天可能谷歌又出了一些新東西，也許是編碼器加解碼器的方式又比純解碼器的模型更勝一籌，現(xiàn)在世界變化太快了，要做的就是擁抱變化，然后每過(guò)一段時(shí)間就應(yīng)該重新審視任務(wù)是不是值得做。并且目前所有東西都是 yes and no 這樣的回答，第一，短時(shí)間來(lái)看，洪水也淹沒(méi)不到你這邊，你還能按照老思路做，但是過(guò)了一段時(shí)間就會(huì)是 no 了，因?yàn)榭赡苣阋矝](méi)必要去做了。但后來(lái)又發(fā)現(xiàn)在某些場(chǎng)景中你又需要去 yes 了。所以一定要辯證的、動(dòng)態(tài)地來(lái)看這件事情。例如現(xiàn)在也還需要做分詞，但同時(shí)大模型也有 tokenizer，tokenizer 到底哪個(gè)更好呢？沒(méi)有人告訴你哪個(gè) tokenizer 更好，也有可能這件事情是為了更好的訓(xùn)練大模型，而不是為了原來(lái)的傳統(tǒng)的、狹義的意義來(lái)考慮分詞這件事情。
王士進(jìn)：
難得我現(xiàn)在跟昊奮老師有觀點(diǎn)不完全一致，NLP 是一個(gè)很泛的領(lǐng)域，它既有我們所謂的從最底層：分詞詞形標(biāo)注，句法分析、指代、消歧一系列這種任務(wù)，又有上層搜索、推薦、翻譯這樣的任務(wù)。
所以原來(lái)任務(wù)過(guò)來(lái)以后，我們習(xí)慣性地用任務(wù)方式把它拆解成模塊，比如得先分詞，分詞以后標(biāo)注，然后形成句法，最后去形成一系列推理和相關(guān)的預(yù)測(cè)。隨著現(xiàn)在大模型的出現(xiàn)，或者前段時(shí)間從 pre-training 到 fine-tuning 階段，可以發(fā)現(xiàn)一些中間任務(wù)的訓(xùn)練不如直接端到端的去做這件事情。
我們自己也有例子，早期在做語(yǔ)音翻譯時(shí)，把語(yǔ)音翻譯分成三大模塊：把語(yǔ)音識(shí)別變成文字，文字翻譯成新的文字，然后再通過(guò)合成形成新的語(yǔ)音。后來(lái)把語(yǔ)音識(shí)別部分和機(jī)器翻譯部分，合成為一個(gè)端到端的模型，然后發(fā)現(xiàn)它不僅僅是時(shí)延更低，同時(shí)能得到更好的性能，所以這些都是蠻有意思的事情。
中間任務(wù)如果是要分析的目標(biāo)，我們還是關(guān)心的。但對(duì)于更多不需要分析的任務(wù)，我們的關(guān)心也比較少。之所以之前關(guān)注中間任務(wù)還是因?yàn)樵缙谀Ｐ偷哪芰κ怯邢薜?，所以用分而治之的方法，每一塊有專(zhuān)有的模型，去把它級(jí)聯(lián)起來(lái)，能夠發(fā)揮更多已有的模型的能力。
現(xiàn)在端到端的模型能夠去解決更多的任務(wù)。但一方面現(xiàn)有的事情還是必須得做，因?yàn)樽銎髽I(yè)必須要去解決客戶(hù)問(wèn)題。同時(shí)，邊做也要思考在大模型出來(lái)以后，究竟哪些任務(wù)還是需要去持續(xù)加強(qiáng)的，哪些又是新增的任務(wù)，哪些的技術(shù)已經(jīng)變成了這種大模型生成了以后自動(dòng)去 cover 的技術(shù)。
▼
07.
Q7：（對(duì)王士進(jìn)院長(zhǎng)）國(guó)內(nèi)在大模型這一塊發(fā)展的情況大概是怎么樣的？在科大訊飛，您的實(shí)驗(yàn)室，或者說(shuō)您公司在這一塊有什么樣的布局？包括大模型方面，也包括知識(shí)圖譜方面的一些項(xiàng)目，或一些計(jì)劃。
王士進(jìn)：
第一，對(duì)于公司整個(gè)技術(shù)的發(fā)展路線，例如，知識(shí)圖譜的路線和這種大模型的路線。從最開(kāi)始的深度學(xué)習(xí)到 Bert 加 finetuning，到現(xiàn)在的 GPT 到 Prompt 這些路線，我們都在去做，因?yàn)樵诠I(yè)界里面有一個(gè)非常典型的說(shuō)法：沒(méi)有最好的模型，只有做任務(wù)最合適的模型。所以知識(shí)圖譜也好，大模型也好，甚至針對(duì)于某些任務(wù)，因?yàn)樗浅Ｐ《劢?，也許 2，3B 大小的模型就能處理得很好了，用很大的模型沒(méi)有價(jià)值。所以從企業(yè)角度來(lái)說(shuō)，我們首先要考慮任務(wù)是什么，受限條件是什么，應(yīng)該怎么在受限條件下做出最好的模型。
第二，對(duì)于大模型用法的觀點(diǎn)發(fā)生了變化。我想先講一下業(yè)內(nèi)，不僅僅是中國(guó)，原來(lái)大家都會(huì)被這種純暴力的美學(xué)帶的有點(diǎn)偏，例如用更多的數(shù)據(jù)，訓(xùn)一個(gè)更大的模型，在專(zhuān)業(yè)的任務(wù)上面的指標(biāo)一定會(huì)更好。觀點(diǎn)隨著 ChatGPT 到 GPT4 的出現(xiàn)而發(fā)生了改變，模型不僅僅要大，最關(guān)鍵的是要通過(guò)一些關(guān)鍵的算法，關(guān)鍵的數(shù)據(jù)，關(guān)鍵的數(shù)據(jù)的用法去激發(fā)更好的模型。所以這是全球不僅僅是中國(guó)，對(duì)于大模型的用法的觀點(diǎn)非常大的變化。
雖然有很多人說(shuō) OpenAI 在算法上面并沒(méi)有實(shí)現(xiàn)一些大的突破，但需要知道的是，在工業(yè)界里面，有時(shí)候不僅需要算法的突破，而是需要對(duì)于一類(lèi)問(wèn)題的思路和觀念的突破。這些突破可以去尋找更好地去解決一個(gè)問(wèn)題的辦法。所以 GPT 系列不完全是算法的非常大的創(chuàng)新，但一定是產(chǎn)品級(jí)的非常大的創(chuàng)新。所以現(xiàn)在包括我們科大訊飛，包括國(guó)內(nèi)很多業(yè)界學(xué)界研究自然語(yǔ)言的團(tuán)隊(duì)都在積極的往這方向去調(diào)整，因?yàn)榇蠹叶贾?，如果不跟上大潮，很有可能就?huì)被大潮拋棄。所以說(shuō)從事 AI 的許多人，必須考慮要么是整條路徑，要么就是路徑里面的一些關(guān)鍵點(diǎn)，對(duì)于原有的算法、原有的模型、原有的模式這樣創(chuàng)新。
因?yàn)樽罱P(guān)于大模型系列的新聞也比較多，這是個(gè)很好的現(xiàn)象。因?yàn)橐坏┯蟹浅６嗟膱F(tuán)隊(duì)涌入一個(gè)領(lǐng)域，能夠激發(fā)領(lǐng)域里面持續(xù)的創(chuàng)新力和內(nèi)功。所以，訊飛也在積極地投入到事情。希望能夠把自己行業(yè)領(lǐng)域內(nèi)的場(chǎng)景做得更完善。
這里面我可以非常篤信的告訴大家，就是 ChatGPT 系列，它最強(qiáng)的是通用能力，所以在行業(yè)領(lǐng)域里的能力只要能夠形成正向的迭代，效果一定是可以做得更好的。所以我們需要把行業(yè)數(shù)據(jù)，領(lǐng)域知識(shí)，包括今天討論的知識(shí)圖譜跟大模型方法或者技術(shù)進(jìn)行更好的結(jié)合，這樣才能夠去把整個(gè)系統(tǒng)調(diào)得更優(yōu)。
▼
08.
Q8：在 GPT 發(fā)展迅速的大背景下，請(qǐng)各位專(zhuān)家用一分鐘的時(shí)間給直播間的小伙伴在工作上面或者學(xué)習(xí)方面提一些建議。
王士進(jìn)：
我認(rèn)為在當(dāng)前時(shí)代，我們需要去擁抱大模型帶來(lái)的改變，同時(shí)也要將大模型與自己原來(lái)優(yōu)勢(shì)的行業(yè)領(lǐng)域里的應(yīng)用去進(jìn)行更深度的結(jié)合，去形成數(shù)據(jù)和算法的持續(xù)迭代。我相信我們?cè)谧约旱念I(lǐng)域里面一定可以看到更好的結(jié)果持續(xù)涌現(xiàn)。
劉銘：
目前來(lái)說(shuō)，大模型肯定是當(dāng)前的主流的處理方案。但是知識(shí)圖譜對(duì)于大模型來(lái)說(shuō)是一個(gè)非常有益的補(bǔ)充。所以大模型的出現(xiàn)，對(duì)于知識(shí)圖譜來(lái)說(shuō)并不是一個(gè)沖擊，而恰恰是給了知識(shí)圖譜的一個(gè)新的生長(zhǎng)空間。
王文廣：
在 GPT3 出來(lái)的時(shí)候，我就開(kāi)始思考一個(gè)叫大工程的概念?，F(xiàn)在 AI 已經(jīng)進(jìn)入了一個(gè)大工程的時(shí)代，它不再是由單一的技術(shù)就可以做出來(lái)的。如果大家去看 ChatGPT 或者 GPT4 報(bào)告的時(shí)候，可以看出它是多方面的綜合的一個(gè)成果，包括 GPT4 的技術(shù)報(bào)告里面也提到非常重要的一點(diǎn)，就是它在這兩年花了大量的時(shí)間和微軟一起重構(gòu)了整個(gè)深度學(xué)習(xí)的計(jì)算框架，有了框架之后才能夠去做好 GPT 事情。
如果你聯(lián)想到整個(gè)工業(yè)領(lǐng)域就會(huì)知道，例如，做電池離不開(kāi)制造電池的設(shè)備。制造芯片離不開(kāi)制造芯片的工業(yè)母機(jī)等高精度的設(shè)備。
AI 也是一樣，它不是說(shuō)一個(gè)算法或一個(gè)模型就能搞定，它需要有非常好的這種技術(shù)底座，就是深度學(xué)習(xí)的訓(xùn)練和推理的平臺(tái)，也需要有大量的數(shù)據(jù)，同時(shí)在結(jié)合核心的研發(fā)的算法，這樣才算一個(gè)完整組合。所以在這些環(huán)節(jié)中能做得非常多，我相信知識(shí)庫(kù)也占有非常重要的環(huán)節(jié)。所以我認(rèn)為 AI 已經(jīng)進(jìn)入了工業(yè)化時(shí)代的 AI，它不再是由單一的環(huán)節(jié)所組成。
胡芳槐：
今天晚上聊得還是比較透徹的，從大模型和知識(shí)圖譜，甚至整個(gè) AI 的角度，老師們對(duì)小伙伴們關(guān)心的問(wèn)題都給出了比較好的一些解答，我也非常贊同各位導(dǎo)師的觀點(diǎn)。
同時(shí)大家不要局限于知識(shí)圖譜一定是個(gè)三元組，就是要從一個(gè)更高的角度去看我們的智能，或者看我們的知識(shí)，看我們 AI 整個(gè)未來(lái)的發(fā)展。同時(shí)在這樣的大趨勢(shì)下，就像各位老師講到的我們應(yīng)該去擁抱潮流，只有跟著這種大的浪潮的方向去走，我們可能才能夠在自己的領(lǐng)域或者在自己的研究方向上，在自己工業(yè)的落地中獲得更多的更大的價(jià)值。
▌專(zhuān)家介紹
劉銘
公司：哈爾濱工業(yè)大學(xué)
職位：教授、博士生導(dǎo)師
個(gè)人介紹：劉銘，教授/博士生導(dǎo)師，哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部。先后主持國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（課題)、國(guó)家自然科學(xué)基金、中國(guó)博士后科學(xué)基金特別資助、教育部協(xié)同育人項(xiàng)目多項(xiàng)基金項(xiàng)目。獲黑龍江省科學(xué)技術(shù)一等獎(jiǎng)，哈爾濱市科技成果，第六屆全國(guó)青年人工智能創(chuàng)新創(chuàng)業(yè)大會(huì)一等獎(jiǎng)。近年來(lái)以第一作者或通訊作者發(fā)表 CCF A/B 類(lèi)論文 20 余篇，英文譯著一部。擔(dān)任 NLPCC2020、CCKS2020 知識(shí)圖譜領(lǐng)域主席，CCKS 2022 講習(xí)班主席和 CCKS 2023 程序委員會(huì)主席。
王昊奮
公司：同濟(jì)大學(xué)
職位：同濟(jì)大學(xué)百人計(jì)劃、特聘研究員、博士生導(dǎo)師
個(gè)人介紹：王昊奮，同濟(jì)大學(xué)百人計(jì)劃，特聘研究員，博士生導(dǎo)師。研究方向包括知識(shí)圖譜、自然語(yǔ)言處理、對(duì)話問(wèn)答機(jī)器人等。長(zhǎng)期在一線人工智能公司擔(dān)任 CTO 之職。他是全球最大的中文開(kāi)放知識(shí)圖譜聯(lián)盟 OpenKG 發(fā)起人之一。他負(fù)責(zé)主持多項(xiàng)國(guó)家級(jí)和上海市 AI 相關(guān)項(xiàng)目，發(fā)表 100 余篇 AI 領(lǐng)域高水平論文，被引用次數(shù)達(dá)到 2900 余次，H-index 達(dá)到 26。他構(gòu)建了全球首個(gè)可交互養(yǎng)成的虛擬偶像—“琥珀·虛顏”；所構(gòu)建的智能客服機(jī)器人已累計(jì)服務(wù)用戶(hù)超過(guò) 10 億人次。目前，他擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)術(shù)語(yǔ)工委副主任，SIGKG 主席，上海秘書(shū)長(zhǎng)，中國(guó)中文信息學(xué)會(huì)理事，語(yǔ)言與知識(shí)計(jì)算專(zhuān)委會(huì)副秘書(shū)長(zhǎng)，上海市計(jì)算機(jī)學(xué)會(huì)自然語(yǔ)言處理專(zhuān)委會(huì)副主任，上海交通大學(xué) AI 校友會(huì)秘書(shū)長(zhǎng)等社會(huì)職位。
王士進(jìn)
公司：科大訊飛
職位：AI 研究院常務(wù)副院長(zhǎng)
個(gè)人介紹：王士進(jìn)博士，科大訊飛研究院常務(wù)副院長(zhǎng)、認(rèn)知智能?chē)?guó)家重點(diǎn)實(shí)驗(yàn)室副主任。他帶領(lǐng)團(tuán)隊(duì)陸續(xù)開(kāi)展了自然語(yǔ)言處理、智慧教育、人機(jī)交互等技術(shù)方向研究，取得一系列國(guó)際領(lǐng)先的研究成果，獲得 30 余項(xiàng)國(guó)際比賽冠軍，在 TASLP、AAAI、ACL、KDD、SIGIR 等人工智能領(lǐng)域國(guó)際頂級(jí)期刊和會(huì)議上發(fā)表論文 50 余篇，申請(qǐng)了專(zhuān)利 80 余項(xiàng)，同時(shí)還承擔(dān)了國(guó)家重點(diǎn)研發(fā)計(jì)劃、863、973 等多項(xiàng)國(guó)家重點(diǎn)研發(fā)計(jì)劃工作，獲安徽省科技進(jìn)步一等獎(jiǎng)、吳文俊人工智能科技進(jìn)步獎(jiǎng)一等獎(jiǎng)等獎(jiǎng)項(xiàng)。
王文廣
公司：達(dá)觀數(shù)據(jù)
職位：副總裁
個(gè)人介紹：王文廣，達(dá)觀數(shù)據(jù)副總裁，高級(jí)工程師，人工智能標(biāo)準(zhǔn)編制專(zhuān)家，自然語(yǔ)言處理和知識(shí)圖譜著名專(zhuān)家，《知識(shí)圖譜：認(rèn)知智能理論與實(shí)戰(zhàn)》作者，專(zhuān)注于AI 大工程、知識(shí)圖譜、認(rèn)知智能、自然語(yǔ)言處理、圖像與語(yǔ)音分析、大數(shù)據(jù)和圖分析等人工智能方向?，F(xiàn)在是上海市人工智能標(biāo)準(zhǔn)化技術(shù)委員會(huì)委員，上?？莆u(píng)審專(zhuān)家，中文信息學(xué)會(huì)（CIPS）語(yǔ)言與知識(shí)計(jì)算專(zhuān)委會(huì)委員，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）高級(jí)會(huì)員，中國(guó)人工智能學(xué)會(huì)（CAAI）深度學(xué)習(xí)專(zhuān)委會(huì)委員。曾獲得多個(gè)國(guó)際國(guó)家級(jí)、省部級(jí)、地市級(jí)獎(jiǎng)項(xiàng)，擁有數(shù)十項(xiàng)人工智能領(lǐng)域的國(guó)家發(fā)明專(zhuān)利和會(huì)議、期刊學(xué)術(shù)論文。在達(dá)觀數(shù)據(jù)致力于將自然語(yǔ)言處理、知識(shí)圖譜、計(jì)算機(jī)視覺(jué)和大數(shù)據(jù)技術(shù)產(chǎn)品化，以 OCR、文檔智能處理、知識(shí)圖譜、RPA 等產(chǎn)品服務(wù)于金融、智能制造、貿(mào)易、半導(dǎo)體、汽車(chē)工業(yè)、航空航天、新能源、雙碳等領(lǐng)域。
▌數(shù)據(jù)智能專(zhuān)家訪談
“數(shù)據(jù)智能專(zhuān)家訪談”是 DataFun 新推出的內(nèi)容系列，本系列旨在訪談不同公司的核心技術(shù)人員，得到專(zhuān)家在不同領(lǐng)域的洞察，包括但不限于行業(yè)重點(diǎn)、熱點(diǎn)、難點(diǎn)，增加讀者對(duì)行業(yè)技術(shù)的了解。
▌大話數(shù)智
大話數(shù)智，是DataFun策劃的智庫(kù)類(lèi)公眾號(hào)，包括但不限于知識(shí)地圖、深度訪談、直播、課程等學(xué)習(xí)資料，旨在為廣大數(shù)據(jù)智能從業(yè)者、數(shù)據(jù)智能團(tuán)隊(duì)提供一個(gè)日常學(xué)習(xí)成長(zhǎng)的平臺(tái)，促進(jìn)先進(jìn)的數(shù)據(jù)智能技術(shù)的傳播與廣泛落地。
聯(lián)系客服
