3 月 21 日，在機(jī)器之心舉辦的 ChatGPT 及大模型技術(shù)大會上，哈爾濱工業(yè)大學(xué)計算學(xué)部長聘教授、博士生導(dǎo)師車萬翔發(fā)表主題演講《ChatGPT 淺析》，在演講中，他回答了 ChatGPT 究竟解決了什么科學(xué)問題，是如何解決該問題的，以及未來還有哪些亟待解決的問題。
另外我們也了解到，車萬翔教授大模型相關(guān)的科研成果也正在進(jìn)行產(chǎn)業(yè)轉(zhuǎn)化，機(jī)器之心后續(xù)將為大家?guī)韴蟮馈?/p>
以下為車萬翔在機(jī)器之心 AI 科技年會上的演講內(nèi)容，機(jī)器之心進(jìn)行了不改變原意的編輯、整理：
大家好，我是來自哈爾濱工業(yè)大學(xué)的車萬翔，非常感謝機(jī)器之心的邀請，我本次報告的題目為《ChatGPT 淺析》。之所以說是淺析，是因為我們確實沒有了解到關(guān)于 ChatGPT 的更多詳細(xì)內(nèi)容，只是根據(jù)發(fā)表的一些論文來猜測它背后的技術(shù)。ChatGPT 屬于自然語言處理研究方向的一個最新進(jìn)展。首先什么是自然語言處理呢？自然語言指的是人類語言，特指文本符號，而非語音信號。而自然語言處理就是讓用計算機(jī)來理解和生成自然語言的各種理論和方法。當(dāng)然傳統(tǒng)的、或者說很早以前的自然語言處理，等價于自然語言理解，因為當(dāng)時自然語言生成太難了，只能用一些模板的方法來生成。但是現(xiàn)在我們看到，隨著 AIGC 等這些技術(shù)的進(jìn)步，生成技術(shù)成為自然語言處理的一個主流方向，像 ChatGPT 本身就是一種生成模型，這也是自然語言處理的最新進(jìn)展。其實讓機(jī)器理解自然語言還是件很難的事，因為從人類的智能角度來講，自然語言處理屬于認(rèn)知智能，需要更強(qiáng)的抽象和推理能力。自然語言處理面臨很多難點，我們舉例來說，如下圖所示，在這次對話中，內(nèi)容包含很多「意思」，不同的「意思」代表不同的含義，這種情況屬于典型的歧義性問題。除了歧義性之外，自然語言處理面臨的難點還包括抽象性、組合性、進(jìn)化性等。在抽象性這個問題中，我們以汽車這個詞舉例，它背后有非常豐富的含義，我們一說到汽車這兩個字就會有很多聯(lián)想；組合性也是一樣，無論哪種語言，它都是由一些基本符號構(gòu)成的，這些基本符號可以組合成無窮無盡的語義。正是因為這些難點，使得自然語言處理成為制約人工智能取得更大突破和更廣泛應(yīng)用的瓶頸，包括多位圖靈獎得主在內(nèi)的眾多學(xué)者，很早之前他們就提出自然語言處理將是人工智能未來發(fā)展的重要方向，因而自然語言處理也被譽(yù)為「人工智能皇冠上的明珠」。我們發(fā)現(xiàn)近期人工智能很多進(jìn)展都離不開自然語言處理，比如著名的 Transformer，它最早是用于解決機(jī)器翻譯問題，到后來的 BERT 以及 ChatGPT，其實這一波又一波的浪潮都是和自然語言處理相關(guān)。所以把自然語言處理稱為人工智能皇冠上的明珠也不過譽(yù)。傳統(tǒng)的自然語言處理可分為四個方向：底層的資源建設(shè)；中間層的基礎(chǔ)研究，包括分詞、詞性標(biāo)注等；接著是應(yīng)用技術(shù)研究，包括信息抽取、機(jī)器翻譯、問答系統(tǒng)等；再往上是應(yīng)用系統(tǒng)，包括教育、醫(yī)療等。但為什么說是傳統(tǒng)自然語言處理呢？這兩個字是在三個月前加上的，首先是很多基礎(chǔ)研究任務(wù)，如分詞、詞性標(biāo)注等已經(jīng)蘊(yùn)涵在大模型中了，所以這些基礎(chǔ)任務(wù)就沒有存在的必要。其次，ChatGPT 不是針對一個模型或者一個單獨任務(wù)去做，它把所有應(yīng)用任務(wù)統(tǒng)一起來進(jìn)行，所以傳統(tǒng)的按照任務(wù)劃分的方式會受到挑戰(zhàn)。因此，對于整個自然語言處理來講可能需要重新洗牌。自然語言處理發(fā)展歷史和人工智能發(fā)展歷史幾乎是同步的，從上世紀(jì)五十年代開始利用小規(guī)模專家知識；1990 年出現(xiàn)了淺層機(jī)器學(xué)習(xí)算法；2010 年深度學(xué)習(xí)算法；然后 2018 年以預(yù)訓(xùn)練模型為代表的范式出現(xiàn)；到 2023 年 ChatGPT 等模型的出現(xiàn)，一共經(jīng)歷五次范式變遷。無論是 ChatGPT、還是 BERT，其背后都是預(yù)訓(xùn)練模型。什么是預(yù)訓(xùn)練模型呢？傳統(tǒng)的機(jī)器學(xué)習(xí)方法，從一些未標(biāo)注的數(shù)據(jù)里面采樣出一些數(shù)據(jù)，然后經(jīng)過人工標(biāo)注訓(xùn)練出一個模型。但是隨著未標(biāo)注數(shù)據(jù)的增加，人類已經(jīng)沒辦法逐個標(biāo)注，怎么辦呢？然后預(yù)訓(xùn)練模型出來了，有人稱其為無指導(dǎo)方法，其實更準(zhǔn)確的名字是自指導(dǎo)或者自監(jiān)督方法，畢竟這一方法利用了語言自身的順序性。有了預(yù)訓(xùn)練模型之后，我們在目標(biāo)任務(wù)上進(jìn)行精調(diào)，這樣就可以獲得目標(biāo)任務(wù)更好的模型。傳統(tǒng)的方法根據(jù)不同的任務(wù)訓(xùn)練不同的模型，假如說有很多任務(wù)，就需要精調(diào)很多模型，這樣給模型訓(xùn)練和應(yīng)用帶來很大的麻煩。在預(yù)訓(xùn)練模型階段比較有代表性的研究是 GPT-3，它是 OpenAI 和微軟在 2020 年發(fā)布的大模型，參數(shù)量達(dá) 1750 億，以當(dāng)時的視角來看，研究者認(rèn)為這個模型太大沒辦法精調(diào)，所以「提示語」方法出現(xiàn)了。所謂提示語，即直接給出任務(wù)描述，可以讓模型自動補(bǔ)全這個任務(wù)，這個補(bǔ)全過程就是在完成任務(wù)，如果再給出一些示例，模型性能可能會更好，這種也叫做情境學(xué)習(xí)。采用這種方式的一個好處是模型無需針對某一個任務(wù)再次訓(xùn)練，就可以完成不同文本生成任務(wù)。當(dāng)然，這個文本生成任務(wù)是加引號的，因為它不僅能回答問題、文章續(xù)寫，還可以完成生成網(wǎng)頁，甚至生成代碼等范文本任務(wù)。GPT-3 的出現(xiàn)并沒有引起大家的特別關(guān)注，為什么呢？因為當(dāng)時大家發(fā)現(xiàn) GPT-3 雖然能夠?qū)崿F(xiàn)這些任務(wù)，但效果并不是很好。舉幾個典型的例子，比如問 GPT-3「烤箱和鉛筆哪個重」，它會說「鉛筆比較重」；再問「我的腳上有幾只眼睛」，它會說「兩只眼睛」。GPT-3 給出的答案很多是錯誤的，有些人就認(rèn)為花這么多錢構(gòu)造這么大的模型也沒有解決根本任務(wù)。當(dāng)然 GPT-3 原文也指出，在故事結(jié)尾選擇任務(wù)上比我們組丁效老師等所提出的具有知識推理能力的模型低 4.1%。因此大家認(rèn)為這種大模型魯棒性差、可解釋性弱、推理能力也不強(qiáng)，因此需要有更多的知識。由于這些問題的存在，學(xué)術(shù)界走了兩條路：第一條路：既然模型缺知識、缺推理能力、缺可解釋性，就需要針對這些任務(wù)進(jìn)行專門優(yōu)化。我們能不能加知識，比如往里面加知識圖譜，專門做可解釋性？這是一條路。第二條路：以 OpenAI 為代表，不是針對特定任務(wù)解決，而是不停的往里面加數(shù)據(jù)，有多少人工就有多少數(shù)據(jù)，就像現(xiàn)在 ChatGPT 的路線，不停的往里面加數(shù)據(jù)，甚至是加人工標(biāo)注的數(shù)據(jù)。現(xiàn)在看來，這種加知識圖譜的方法好像確實沒有特別明顯的進(jìn)步，反倒是大力出奇跡的方法取得更好的進(jìn)展。比如還是問剛才那兩個問題，ChatGPT 就會說「烤箱更重」，而且會給出一個解釋；問「腳上幾只眼」，它也會否定說「腳上沒有眼」，同時給出解釋?？梢哉f很好的解決了這個問題。當(dāng)然還有其他示例，比如讓 ChatGPT 用藏語寫學(xué)術(shù)會議致辭，它首先會否定，說自己不會。這是很厲害的，原來我們做問答和聊天模型很難否定一個問題。另外，它說會用英語寫，如果我說可以，它就真的會用英語寫?？梢?ChatGPT 對會的語言掌握的很好。還是前面那個例子，「領(lǐng)導(dǎo)和阿呆的對話」直接問 ChatGPT 這到底是什么意思，它會回答說有兩個意思，具體每一句話的意思是什么，模型都解釋的很清楚。這是非常驚艷的，仔細(xì)看未必準(zhǔn)確，但模型至少理解了這個問題，這是很難做到的。所以 ChatGPT 到底是什么？其實這個名字有一點誤導(dǎo)，說到 Chat 很多人就會想到聊天系統(tǒng)，其實它本質(zhì)上不是一個聊天系統(tǒng)，它只是偽裝成聊天，本質(zhì)上是「對話式通用人工智能工具」。當(dāng)然有了這樣強(qiáng)大的工具之后，不同的學(xué)者有不同的觀點，像比爾?蓋茨、黃仁勛他們認(rèn)為這個發(fā)明很偉大，類比成 PC 互聯(lián)網(wǎng)和 iPhone 這種技術(shù)，可以造福人類；當(dāng)然還有另外一派以馬斯克為代表的，他們認(rèn)為像 ChatGPT 這種通用人工智能的出現(xiàn)會威脅人類；還有一些理性派，像圖靈獎得主 Yann LeCun 曾表示，就底層技術(shù)而言，ChatGPT 并不是多么了不得的創(chuàng)新，他表示雖然在公眾眼中，它是革命性的，但是我們知道，它就是一個組合得很好的產(chǎn)品，僅此而已。大家看到的更多的是表面現(xiàn)象，說它效果多么驚艷，但是一個驚艷的東西未必會引起這么大的轟動，到底背后產(chǎn)生了哪種變革或者真的解決了什么實質(zhì)性的科學(xué)問題？我認(rèn)為主要解決的是知識的表示以及知識調(diào)用這種根本性的革命，可以說每次知識表示和調(diào)用方式的轉(zhuǎn)變都會引起產(chǎn)業(yè)界巨大的變革。知識最早是以數(shù)據(jù)庫的方式存儲在計算機(jī)內(nèi)部，想調(diào)用它就需要 SQL 語句等，需要人去適應(yīng)機(jī)器，即使是這樣的技術(shù)也產(chǎn)生了很多偉大的公司，如 Oracle 等。但后來大量的知識是存儲在互聯(lián)網(wǎng)里，這種知識是非結(jié)構(gòu)化存儲的，包括文本、圖像，甚至視頻等。要想調(diào)用這里面的知識，我們就不需要學(xué) SQL 語句，只要用關(guān)鍵詞，通過搜索引擎的方式就可以把存儲在互聯(lián)網(wǎng)中的知識調(diào)用出來?，F(xiàn)在 ChatGPT 仍然會存互聯(lián)網(wǎng)的知識，但是它不是以顯示的方式存儲，而是以參數(shù)的方式存儲在大模型中。但是 GPT-3 兩年前就能完成這樣的任務(wù)，為什么沒有引起這么大的轟動呢？因為它沒有解決好另外一部分問題，即怎樣把這些知識調(diào)用出來。ChatGPT 很好的解決了這個問題，通過自然語言的方式就可以很好的把這些知識調(diào)用出來。ChatGPT 等于把這兩塊打通了，一旦打通之后就引起了劇烈革命，相信也會像前兩次一樣產(chǎn)生偉大的公司，現(xiàn)在 OpenAI 先行一步，或者說拔得頭籌，但能不能笑到最后也不一定，因為現(xiàn)在很多公司都在積極跟進(jìn)。當(dāng)然還有一個比較有意思的發(fā)現(xiàn)，就是后面代表性的公司每個都離不開微軟，每個都有微軟的身影，但微軟每次都不是老大，都跟在后面，這也是挺有趣的現(xiàn)象。ChatGPT 的發(fā)展歷程也非常勵志，第一代 GPT 就是 OpenAI 提出來的，甚至比 BERT 提出的還要早，GPT 開啟了自然語言處理預(yù)訓(xùn)練時代。但是大家記住更多的是 BERT，因為當(dāng)時 OpenAI 還是個小公司，大家還沒太關(guān)注它的工作，同時 BERT 是 Google 提出來的，從自然語言理解的角度來講，BERT 參數(shù)量大，具有雙向理解方式，所以它的效果比 GPT 好。但是 OpenAI 并沒有模仿這種方式做雙向，它繼續(xù)沿著 GPT 單向結(jié)構(gòu)進(jìn)行，后來就產(chǎn)生了 GPT-2，學(xué)術(shù)界用的也比較多，GPT-3 的出現(xiàn)，風(fēng)靡了一陣，不過之后大家覺得這模型浪費錢，效果還不怎么好，去年 3 月 InstructGPT 出現(xiàn)了，吸引了很多國際學(xué)術(shù)界的關(guān)注，但國內(nèi)關(guān)注的相對較少。直到去年 11 月底 ChatGPT 的發(fā)布，一炮打響，引起更多關(guān)注，以及今年 3 月份發(fā)布的 GPT-4，它不光處理文本，甚至融合了多模態(tài)。OpenAI 整個歷程比較勵志，它一直沿著 GPT 這條路線在走，最后還走通了，有人說 OpenAI 比較犟，比較執(zhí)拗，但確實它有自己的信心和理想，走成了。從 GPT-3 到 ChatGPT，也不是一蹴而就的，中間做了很多工作。其中比較有意思的是 CodeX 的提出，這一模型單純的做代碼預(yù)訓(xùn)練，進(jìn)行代碼補(bǔ)全，有了它，在代碼編輯器里可以幫助我們寫代碼，這個工具非常好用。此時，GPT 等于分化了，一部分走語言，一部分走代碼，中間 code-davinci-002 又把這兩者合并了，在語言模型的基礎(chǔ)上繼續(xù)使用代碼數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，竟然產(chǎn)生了很好的推理效果，這是為什么呢？可能代碼里面有很好的邏輯性，解決問題有順序邏輯，甚至有遠(yuǎn)程的依賴，當(dāng)然這里面有很多解釋，這只是其中一種猜測，現(xiàn)在大家也不了解為什么 ChatGPT 出現(xiàn)了這么好的效果。總結(jié)來看，ChatGPT 大概有三項核心技術(shù)：1、一定要有大規(guī)模預(yù)訓(xùn)練模型。到底模型多大算大？現(xiàn)在也沒有明確的定義和概念，就像大數(shù)據(jù)的概念一樣，有人認(rèn)為百億以上參數(shù)就差不多了，但想要模型涌現(xiàn)推理能力可能需要 600 億以上的參數(shù)。2、Instruction Tuning。不是針對一個任務(wù)一個任務(wù)的精調(diào)，而是把所有的任務(wù)都統(tǒng)一成 Instruction 指令，以及相應(yīng)的答案。其實又回到了有指導(dǎo)學(xué)習(xí)這種思路，只是它融入的任務(wù)更多。這樣做的好處是這些任務(wù)可以互相幫助，此外還能達(dá)到任務(wù)泛化的效果，對于一些沒有見過的新任務(wù)，可以通過對原來見過的任務(wù)的學(xué)習(xí)來處理新任務(wù)，起到任務(wù)組合的效果。比如我想做一種跨語言文摘，這個任務(wù)沒見過，但是模型見過機(jī)器翻譯任務(wù)，又見過文摘的任務(wù)，讓它做這個新的跨語言文摘任務(wù)，它也可能做的很好，Zero-shot 能力非常強(qiáng)。其實這也是強(qiáng)人工智能必須的，否則一個任務(wù)、一個任務(wù)的去訓(xùn)練，又回到原來弱的人工智能方式。3、現(xiàn)在大家關(guān)注比較多的是基于人類反饋的強(qiáng)化學(xué)習(xí)，從提升模型上限的角度可能不是主要目的，它要提升模型生成結(jié)果的多樣性和安全性。當(dāng)然這種方法還帶來一個好處，隨著模型上線可以收集越來越多的人類反饋，用人類反饋可以更好的幫助訓(xùn)練模型。ChatGPT 給自然語言處理領(lǐng)域帶來了很大沖擊，現(xiàn)在越來越多的資源，包括計算資源、數(shù)據(jù)資源、用戶資源，都為工業(yè)界所掌握，因此更容易做系統(tǒng)級的創(chuàng)新。學(xué)術(shù)界面臨的困難會越來越大，因為我們沒有那么多數(shù)據(jù)，沒有那么多計算資源。當(dāng)然也不是說學(xué)術(shù)界就無事可做了，以后怎么辦呢？可能還是要往下走，但是再往下走又面臨選擇，你是不是沿著大模型的路往下走，學(xué)術(shù)界有人認(rèn)為這不是很好的路線。不僅是自然語言處理，從人工智能發(fā)展的過程來講，其實能看到兩個明顯的趨勢：一是模型同質(zhì)化現(xiàn)象越來越嚴(yán)重。原來要根據(jù)不同任務(wù)、不同領(lǐng)域，用不同模型，現(xiàn)在統(tǒng)一使用 Transformer，我覺得這個趨勢沒法逆轉(zhuǎn)，即使出來 Transformer 替代品，但它一定是一個同質(zhì)化的模型。第二，模型規(guī)模越來越大。很多證據(jù)表明，隨著模型規(guī)模越來越大，會出現(xiàn)智能的涌現(xiàn)。我們很難做到把模型變小，讓它具有很好的通用性。當(dāng)然具體行業(yè)應(yīng)用還是需要小的模型，但要實現(xiàn)通用人工智能，可能還是需要模型足夠大。正是由于這兩種趨勢，即使在學(xué)術(shù)界也不得不擁抱大模型，這不是以個人意志為轉(zhuǎn)移的。既然擁抱，怎么擁抱？有很多條路可以走，主要從以下三個方面入手：1、彌補(bǔ)大模型的不足，查缺補(bǔ)漏，發(fā)現(xiàn)模型哪里做的不好就去彌補(bǔ)它；2、探究大模型的機(jī)理，現(xiàn)在很多任務(wù)都停留在實驗階段，至于模型背后為什么產(chǎn)生這樣的效果我們也不了解，我們要知道背后的機(jī)理；大模型有哪些不足之處？雖然 ChatGPT 效果驚艷，但它還不完美、存在很多不足，包括事實一致性不足、邏輯一致性不足。但是怎么彌補(bǔ)呢？可以用增強(qiáng)的方法，圖靈獎得主 Yann LeCun 發(fā)表過一篇文章就總結(jié)過這種方法，包括加上搜索引擎、知識庫、外掛工具等，這些都可以叫增強(qiáng)。除此之外，目前也有很多工作使用搜索引擎來彌補(bǔ)現(xiàn)在 ChatGPT 的不足。接下來是探究大模型背后的機(jī)理，現(xiàn)在的爭議圍繞到底是 Encoder-Decoder 結(jié)構(gòu)好，還是 Decoder only 結(jié)構(gòu)好。這些方法各有各的優(yōu)缺點。Decoder only 如 GPT，其參數(shù)和數(shù)據(jù)利用率更高，但從對輸入理解的角度，Encoder-Decoder 結(jié)構(gòu)可能更好。這兩者之間怎么平衡，或者說到底哪個好，現(xiàn)在也沒有統(tǒng)一的結(jié)論，還處于探索階段。還有就是怎么對大模型進(jìn)行評價?，F(xiàn)在有很多評價模型的數(shù)據(jù)集發(fā)布，但這個數(shù)據(jù)集一旦發(fā)布就有可能泄漏，有些人會把數(shù)據(jù)集用到訓(xùn)練數(shù)據(jù)里，怎么解決這種問題，也是需要考慮的。三是解釋包括涌現(xiàn)現(xiàn)象、CoT 等出現(xiàn)的機(jī)理。最后要推廣大模型的應(yīng)用。ChatGPT 是一種通用模型，怎么把它落地到各行各業(yè)，包括怎么做定制化、小型化、個性化，甚至角色化、安全性、隱私性等等，這些都是需要考慮和解決的問題。ChatGPT 到底還會走多遠(yuǎn)，我還以之前的趨勢圖進(jìn)行介紹。從圖中可以看到，一個技術(shù)范式的歷程大概是上一個歷程的一半。比如前面基于專家知識做了四十年，淺層機(jī)器學(xué)習(xí)算法做了二十年，深度學(xué)習(xí)做了十年，預(yù)訓(xùn)練模型做了五年，那么 ChatGPT 還能做多少年？根據(jù)現(xiàn)有的趨勢推測可能 2.5 年，也就是到 2025 年可能又要更新?lián)Q代了。但是這么發(fā)展下去會什么樣？有人會說這個預(yù)測不對，如果按這個預(yù)測來講，可能到某一天技術(shù)就停止進(jìn)步了。我認(rèn)為也可能會出現(xiàn)這種情況，因為隨著人工智能的發(fā)展，可能會威脅到人類，一旦人工智能威脅到人類生存之后，有可能會被立法禁止人工智能技術(shù)的進(jìn)步。再往后人工智能怎么走，現(xiàn)在 ChatGPT 比較好的解決了推理問題，以后可能要解決語用的問題，同樣一段話所處的語境不一樣，對象不一樣，用的語氣語調(diào)不一樣，可能表達(dá)的含義就不一樣。當(dāng)然，只從文本入手沒法解決這個問題，還是要往多模態(tài)等發(fā)展。結(jié)合更多的模態(tài)，通往真正的 AGI。之前有學(xué)者把機(jī)器能夠利用的數(shù)據(jù)范圍劃為五個，從最簡單的小規(guī)模文本一直到和人類社會互動這五個范圍。之前很長一段時間大家都只用文本端，現(xiàn)階段等于是跨過中間的兩個（多模態(tài)和具身），直接到了和人類社會的互動，因為現(xiàn)在 ChatGPT 就是和人類社會交互。在交互過程中，人也在教機(jī)器怎么說語言，怎么理解語言。但跨過中間兩段不代表就真的包含這兩段，還是要把這兩段補(bǔ)齊?，F(xiàn)在 GPT-4 補(bǔ)齊了多模態(tài)，Google、微軟等也在做具身方面的研究。最后是總結(jié)和展望，自然語言處理是人工智能皇冠上的明珠，ChatGPT 是繼數(shù)據(jù)庫和搜索引擎之后的全新一代知識表示和調(diào)用方式，模型同質(zhì)化和規(guī)?；内厔莶豢赡孓D(zhuǎn)。要想真正實現(xiàn) AGI，需要結(jié)合多模態(tài)和具身智能。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
