顛覆認知的AI時代與產(chǎn)業(yè)機遇。
(相關(guān)資料圖)
編輯丨沃特敦
4月28日，清華論壇迎來了本校的兩位大神級人物。一位是科學(xué)家張亞勤，12歲就讀中科大少年班，之后擔(dān)任微軟亞洲研究院院長和百度總裁，目前是清華智能產(chǎn)業(yè)研究院院長。另一位是經(jīng)濟學(xué)家朱民，曾任IMF副總裁、中國人民銀行副行長，現(xiàn)在是清華國家金融研究院院長。兩顆最聰明的大腦圍繞當(dāng)前最火爆的話題ChatGPT展開了長達100分鐘的對話。
創(chuàng)業(yè)邦經(jīng)授權(quán)刊發(fā)此次主題對話《顛覆認知的AI時代與產(chǎn)業(yè)機遇》，內(nèi)容經(jīng)編輯整理。
朱民：我們先談?wù)勀愕闹悄墚a(chǎn)業(yè)研究院。三年了，你現(xiàn)在做的怎么樣，主要在做什么？
張亞勤：2019年底我離開百度，一直想做一個研究院，和當(dāng)年20多年前微軟亞洲研究院在某些方面相似，都是從事基礎(chǔ)研究。但這個研究要為產(chǎn)業(yè)服務(wù)，解決真正的問題。另外，微軟研究院是企業(yè)做的，我希望研究是面向整個產(chǎn)業(yè)開放的。還有一點在于清華，有最優(yōu)秀的學(xué)生和老師。所以，研究院的縮寫AIR的意思也很簡單，就是AI for industry research。這里I的話有三個含義，就一個是國際化（international），一個是AI，一個是產(chǎn)業(yè)（industry）。
現(xiàn)在我們有21位全職老師，還有博士生、博士后研究人員，還有學(xué)生一共200多人。目前研究院的主要研究還是人工智能。由于我們面向產(chǎn)業(yè)，所以選擇了我們認為有很大機遇的三個方向：機器人和自動駕駛、生命和生物科學(xué)，另外是物聯(lián)網(wǎng)，特別是面向雙碳的領(lǐng)域，我們叫綠色計算。
朱民：最新的突破在哪里？
張亞勤：我們一直從事這些算法，包括模型方面的研究，我們和很多企業(yè)合作，在語言模型，比如多模態(tài)、強化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)，然后也做一些垂直模型，比如說面向自動駕駛機器人的，面向生命科學(xué)的。前幾天還開源了一個生物醫(yī)療的GPT，叫BioMap。在自動駕駛方面，我們也有一個基礎(chǔ)決策感知的模型。
朱民：所以你的研究也是和現(xiàn)在崛起的ChatGPT和GPT大模型的趨勢是一致的。我們就聊聊大模型，這是現(xiàn)在最熱的事兒。ChatGPT當(dāng)然是驚艷，一出來以后又能畫畫，作詩、寫歌?？赡艽蠹衣犝f了它做了一個貝多芬的音樂。
當(dāng)然，作為一個老貝多芬的愛好者，我覺得它做的不怎么樣，但它居然也是能裝模裝樣做作曲了，還有4個樂章，太搞笑了，但它確實影響很大，寫代碼做文件檢索都做的很好。關(guān)于它的爭論很多，有觀點認為它已經(jīng)走向AGI，也有觀點認為它還不成熟，技術(shù)上并沒有很大突破，只是商業(yè)模式用的好，路徑好，它很聰明。你是真的專家，你怎么看這件事？
張亞勤：你剛才講的是過去這2-3年，一個大的趨勢就是生成式AI。ChatGPT可能做的最成功，其它的也包括比如像DALL-E、stable diffusion，等等一系列的生成式AI。
ChatGPT推出之后對我的震撼還是挺大的。前段時間談到“我的GPT時刻”是什么樣的？我有三個想法，第一個我感到就是人類歷史上第一次我們有了一個智能體，然后通過了圖靈測試。
朱民：通過了圖靈測試，我們回頭再說這一點，這個是個了不得的結(jié)論。
張亞勤：對，圖靈測試，咱們知道是圖靈1950年提出的，機器可以thinking，是可以思考的機器，然后提出了圖靈測試。它是我們做計算機科學(xué)這么多年夢想的一個目標(biāo)。ChatGPT我認為是第一個軟件智能體通過了圖靈測試。我太太是ChatGPT或者GPT這些產(chǎn)品系列的大粉絲，當(dāng)時我在看的時候，她說ChatGPT也能幻想，也經(jīng)常說錯話，也會說謊，我說那和人類就更像了。
所以，第一點還是通過了統(tǒng)一測試，包括語言對話的引擎（conversational AI），其實對話引擎也很多年歷史了。1966年MIT第一個做出了對話的引擎ELIZA，這么多年有很多次迭代，到了Siri，到了Alex，到了Cortana，然后國內(nèi)有小度，有天貓精靈，有很多對話的產(chǎn)品，都是針對某一些領(lǐng)域或者聊聊天，或者某些領(lǐng)域。
朱民：包括微軟的小冰。
張亞勤：是的。包括小冰，都是對話引擎的產(chǎn)品。但ChatGPT在功能和通用性方面遠遠超過了早期的產(chǎn)品，它用了大規(guī)模Generative AI，這是我第一個感受。第二個感受，我認為它是AI時代的一個新的操作系統(tǒng)，就像在PC時代Windows，移動時代的iOS。一會我們可以再展開講。
朱民：我覺得這個比你的第一個結(jié)論更重要，因為過了圖靈測試，這是過去。如果是新操作系統(tǒng)的話，那是一個巨大的未來。
張亞勤：就會重寫、重塑、重建整個生態(tài)系統(tǒng)。第三點咱們原來也討論過，我認為它是我們從面向具體任務(wù)的AI走向通用AI的一個起點。雖然ChatGPT更多的是大語言模型，大基礎(chǔ)模型，但它開啟了一個亮光。因為我們多少年也是在往那個方向走。這就是“我的ChatGPT時刻”。
我經(jīng)常跟我們的學(xué)生老師講，這么多年來AI，還有整個IT領(lǐng)域，出現(xiàn)了有好多熱詞，一會兒是區(qū)塊鏈、加密貨幣、比特幣；一會兒又是Web3.0、NFT、元宇宙。有些可能是真的，有些可能是個概念，但整個大語言模型，包括ChatGPT,GPT4.0，這是一個大的變革。
朱民：所以這次是真的讓你興奮了，讓一個科學(xué)家興奮就表明something is happening。所以這個還是挺有意思，圖靈測試過了，因為機器和人對話，當(dāng)然還有很多誤差，它會撒謊等等，因為它是token system,這個都是在不斷完善，并且通過人類的反饋機制訓(xùn)練，我覺得Fine-tuning都會不斷提高，這個沒問題。
張亞勤：你們聽朱民講，他在講算法，他完全不像是央行的副行長。
朱民：這個是跟你學(xué)的。但是你大操作平臺可有意思了，因為現(xiàn)在ChatGPT出現(xiàn)了API，然后出現(xiàn)了插件，所以它逐漸可以把專業(yè)的東西放進去，垂直系統(tǒng)，然后現(xiàn)在出現(xiàn)了plugins，plugins出來又是一個特殊的路，很多東西又可以往上放。所以，如果以后變成生態(tài)的話，真的是一個大的操作平臺，然后就會出現(xiàn)一個我們以前討論過的super app，整個的產(chǎn)業(yè)就被徹底顛覆了。這個在什么情景下會發(fā)生呢？
張亞勤：盡管目前有新的插件也好，API也好，或者新的應(yīng)用也好，本質(zhì)其實并沒有變化。大家都記得在PC上面本身也有很多應(yīng)用，Office就是一個大的超級應(yīng)用，到移動時代的話，有的操作系統(tǒng)上面有應(yīng)用商店，上面也有很多超級應(yīng)用，微信、短視頻、淘寶、搜索等等，都是上面的超級應(yīng)用。
我覺得AI時代也會很像，有一個大模型作為操作系統(tǒng)，plugin也好，API也，在上面你就可以有APP。有很多APP可能需要有垂直的模型，因為有些行業(yè)比較深，比如自動駕駛、生物計算等等，但這些垂直模型可以建立在橫向的大語言上，這個大語言不僅僅是語言，其實是多模態(tài)的，也包括視頻、圖像，語音等等。有了這個之后，你的垂直模型也好，包括你剛才講的，它都有更多的應(yīng)用。
你剛才提到一點很重要，現(xiàn)在大語言模型，或者說我們的基礎(chǔ)模型，它自己是個工具，它也可以使用別的工具，它可以去使用比如說Hugging Face各種開源的這些數(shù)據(jù)、模型，然后去執(zhí)行新的任務(wù)或者構(gòu)建新的應(yīng)用。同樣，我們也可以用不同的大模型，然后去構(gòu)建新的應(yīng)用。也就是說，大模型可以使用你，你也可以使用大模型，彼此互相使用。
朱民：以后想象中的世界，因為智能了，機器就自己講話了，它已經(jīng)脫離人了。一旦你給了數(shù)據(jù)，機器自己生成，生成完又出現(xiàn)智能，然后它就可以自己交流，自行不斷地改進，那是不是一種新的物種正在出現(xiàn)？
張亞勤：可以這么理解。
朱民：這又是一個很重要的概念，我們理解的物種都是電影里的外星人。如果把AI大模型看成一個物種的話，那就是大家討論的關(guān)于人類面臨的根本挑戰(zhàn)了。是這樣嗎？
張亞勤：首先是一種新的能力吧，叫物種也好，能力也好，比如說現(xiàn)在GPT4plus，之后還有4.5、4.9、5.0。5.0主要的開發(fā)者是誰呢？是4.0，所以它自我在開發(fā)，自我在迭代，自我在進化，所以這是一種和人類一樣的、很強的能力。
但我并不認為人類會被替代，我覺得AI還是一個工具，是我們的延伸。也就是說，我們?nèi)祟?、我們碳基生命有這樣的一個智慧，我們可以發(fā)明東西，我們也可以去控制它，讓它按照我們的方向去演化。我是樂觀者。
朱民：對，你是樂觀者，我也是樂觀者，但最怕的是過分樂觀，我們要小心。這其實是很有意思的一件事，我們先不講人類和機器的對比，現(xiàn)有的人其實提出了哲學(xué)命題，或者提出了一個根本的問題，就是AI是人的智能的一部分，還是人的智能之外的，一種新的或者人還沒有悟到的智能。你怎么看？
張亞勤：這是一個特別好的問題。我認為現(xiàn)在的大語言模型，它的很多智能是我們不知道的。我們可能有，但我們沒有認識到的，因為我們所認識到的知識，我們所看到的所謂的智能，其實是我們?nèi)祟惡苌僖徊糠帧Ｈ缓?，機器把一部分我們有的但不知道的，找出來了。但它可能會有新的能力，但我不希望大家有一種想法，就是新能力會像科幻電影里說的那樣把人替代了。未來的智能一定是Human Intelligence,一定是人類的智能和機器智能的一個融合，而且機器一定是我們的一個很強的延伸，它很多事做了我們可能做不了。就像汽車一樣的，汽車跑得比人快，它比人有更強的能力，但它并沒有替代人。
朱民：工業(yè)革命是擴展了人的肌肉，現(xiàn)在是AI要擴展人的智能，我覺得這是一個很大的判斷?，F(xiàn)在關(guān)于機器智能究竟是人的智能的發(fā)現(xiàn)，還是一種人的潛在不知道的智能的挖掘出現(xiàn)，或者是更新的一個我們根本就不知道的智能，所以你認為是？
張亞勤：我覺得三者都有。
朱民：這個很有意思，所以從這意義上來說，根本的一個fundamental的哲學(xué)問題是，智能不只是人類獨有的。
張亞勤：是的，就看你怎么定義。比如生存的能力、繁殖的能力。繁殖能力很強的物種，最強的不是人，是細菌，是病毒，你像新冠那么小的一個病毒，可以給我們造成這么大的麻煩，對吧。而且它上幾十億年就存在，它的壽命也一定會比我們?nèi)祟愐L，所以我覺得我們智能有很多不同的維度，不同的方面。發(fā)展到現(xiàn)在，給我們提供了很多新的啟示，包括就是延伸我們。
我再講一下，就是說我們可能還是要把智能分成幾個不同的層次，然后有些東西我們要有邊界。
這個又回到圖靈了，還是機器第一個層次是感知，就是我要聽得見，要能說話。就是視覺、語音識別、語音合成、人臉識別，圖像識別，包括文字OCR都屬于這種感知層面的方面?，F(xiàn)在機器已經(jīng)比人厲害了，機器識別人臉比人可能厲害，我覺得這個可能5年前基本上就和人是同樣一個水平了。
第二層次智能的話是可以思考，可以決策，可以推理，在這個認知層面，現(xiàn)在的大語言模型出來之后，和人的距離就差距就越來越小。過幾年，在這個方面，就和人類差不多了?，F(xiàn)在大家看到說ChatGPT考試比人還厲害，能考SAT。兩個星期前,我的一個朋友在北大教量子力學(xué)，量子學(xué)是很難的，她期中考試已經(jīng)高于班里的50%，它也沒有經(jīng)過任何專門的學(xué)習(xí)。所以說機器在認知方面也會和人類差不多。
另外還有幾個層次，我覺得是我們不應(yīng)該去觸碰的。我一直在講，我們做AI倫理也好，治理也好，比如說它的個體能不能作為獨立個體？人工智能有沒有自我意識？它有沒有感情？這些方面我不認為我們可以達到，但我也不認為我們?nèi)祟悜?yīng)該做這樣的研究，就像基因編輯某些方面我們不應(yīng)該去觸碰。
另外就是人工智能的治理。人工智能需要一個邊界。咱們有信息社會、有物理世界、有生物世界。在這些世界，其實這些空間都在走向一種融合，新的數(shù)字化走向融合，但我們需要有一些邊界。比如ChatGPT可能先把它放到信息世界里面，然后如果真正去到了物理世界。自動駕駛我們可能要小心點，還有金融系統(tǒng)。
我剛在新加坡開會，在兩個不同的場合。一個是WPP公司，做廣告策劃的。如果是做創(chuàng)意，我就鼓勵多用ChatGPT這樣的東西。但在銀行，我覺得你先別用，你可以用作為信息類的，但牽涉到核心金融系統(tǒng)，涉及交易的，還是要比較小心。
朱民：所以，科學(xué)家既有樂觀也有謹(jǐn)慎。從樂觀的方面，毫無疑問這是個顛覆，但從謹(jǐn)慎的方面，我們還是要很小心地劃個邊界。在我們不知道的情況下，我們先謹(jǐn)慎，我覺得這個還是很有意思的。但這個邊界是會被不斷地突破的。你剛才講了一個特別重要的概念，就是工程應(yīng)用。人工智能現(xiàn)在越來越多地被認為是工程學(xué)，你可以應(yīng)用大模型，大模型也可以應(yīng)用你的這個東西，所以它越來越變成一個工程了。如果從工程學(xué)角度看大模型，大模型的發(fā)展會怎么樣？
張亞勤：我覺得它肯定是會變得越來越準(zhǔn)確，然后變得越來越成熟，而且它進化的速度也會越來越快。但是，在我們沒有很清楚它的成熟度之前，我們需要給它個劃邊界。
我相信對我們以后整個物理世界，比如說機器人自動駕駛，對于物聯(lián)網(wǎng)都會有很大的應(yīng)用，但我覺得根據(jù)你的需要不一樣，應(yīng)用不一樣，就更要謹(jǐn)慎一些。比如對于核心的任務(wù)（mission critical），我們還是要有更多的可控性，因為現(xiàn)在生成式AI，它生成什么東西我們并不完全知道。而且，不僅我們知道，我們甚至不知道為什么會發(fā)生這樣的事。我們只知道一部分。
朱民：所以這又涉及到我們現(xiàn)在大模型的根本概念，emergence「涌現(xiàn)」，這個是以前沒有的。因為它開始有數(shù)據(jù)邏輯推演以后，它開始「涌現(xiàn)」一些非線性的發(fā)展。這個「涌現(xiàn)」怎么講？它未來的發(fā)展前景怎么樣？我覺得這是一個很重要的問題。
張亞勤：朱民行長講了一個特別重要的概念，這個都是比較專業(yè)的詞匯，叫做「涌現(xiàn)」emergence。
emergence確實目前是在這種大模型里面，當(dāng)模型的參數(shù)體量大到一定程度的時候，基本上是到了百億參數(shù)的時候，開始「涌現(xiàn)」，就是你可以看到它在準(zhǔn)確度還是可預(yù)測性都跳躍式提高。為什么這個時候出現(xiàn)「涌現(xiàn)」，具體這些數(shù)學(xué)模型或者因果關(guān)系，現(xiàn)在并不是很清楚。
但你可以這樣想，當(dāng)我的數(shù)據(jù)量體量大到一定程度的時候，參數(shù)到一定程度的時候，而且我的訓(xùn)練方法是正確的。這個很重要，數(shù)據(jù)是高質(zhì)量數(shù)據(jù)，我訓(xùn)練的方式是正確的，可以利用這么多數(shù)據(jù)，有好的方法時候。
如果用一個擬人化的來比喻，我們每天讀書，讀到一定的時候忽然就開竅了。靈光一閃，開始的時候，讀書只是填補個知識，但到了一定程度我就可以掌握這個規(guī)律了。比如我建的大模型，參與到一定程度之后，它把真正的架構(gòu)（Structure）找出來。
朱民：這里又提出一個重大哲學(xué)問題。如果「涌現(xiàn)」是像靈光一閃那樣的跳躍式的變化。我們?nèi)说慕?jīng)歷都講有頓悟，但頓悟是有點智慧含義的，「涌現(xiàn)」是智慧嗎？
張亞勤：你可以這樣理解。如果擬人的話，就是參數(shù)到一定程度之后，它忽然就很準(zhǔn)確了，就像語音識別，貫通了。這個非常重要。如果你直接看的話，由于我數(shù)據(jù)量特別大，參數(shù)很多，因為它做預(yù)訓(xùn)練的時候用的是這個叫自監(jiān)督學(xué)習(xí)，然后它自己是In-context learning，在它這個語料很大的時候，它要把里面一些mask出去，然后自己去訓(xùn)練自己，所以模型大到一定程度時候，它準(zhǔn)確率就比較高。
但是為什么會在那么多參數(shù)的時候會這樣，而且不僅僅ChatGPT，很多別的大的模型，不僅是openAI的，很多別的模型也有類似的這么一些現(xiàn)象了。
所以這個現(xiàn)象我不能講是這個靈光一閃，是哲學(xué)或者宗教的概念，但是我們現(xiàn)在并不清楚為什么，清楚一部分，但不清楚全部。所以這個是emergence.
然后包括另外一個是統(tǒng)一性，這也是現(xiàn)在GPT里面T很重要一部分。過去可能對不同的任務(wù)有不同的算法，現(xiàn)在有了transformer之后，不管你是語言也好，還是語音也好，還是圖像或者是視頻或者是蛋白質(zhì)，你都可以用token based里的token轉(zhuǎn)化。這跟人的大腦思維方式比較像，我們的neural，都是neural。
朱民：所以我們現(xiàn)在又往里走一步，現(xiàn)在如果回到深層的方法上面來看的話，兩三年前都有一種議論，說深度學(xué)習(xí)已經(jīng)不行了，是嗎？
張亞勤：我沒有聽到。
朱民：大概四五年以前開始，有很多這樣的說法，就是覺得深度學(xué)習(xí)，大數(shù)據(jù)的應(yīng)用開始出現(xiàn)了小數(shù)據(jù)。那么現(xiàn)在的新的工具transformer是一個foundation。這個是一個很重要的基本結(jié)構(gòu)。GCAI或者AIGC是一個很重要的方向approach，那么技術(shù)上來說，你覺得transformer模式成型了？還是以后會有怎么樣的發(fā)展？因為你是科學(xué)家，咱們得想一想科學(xué)的問題。
張亞勤：第一個我認為transformer確實是挺了不起的，當(dāng)時2017年Vaswani在Google，當(dāng)時一開始是為了其實在做Google translate來做的這么一個算法。這個算法出現(xiàn)之后，確實是把整個深度學(xué)習(xí)的進展推到更高的一個層次。但是，如果我們看一下transformer或者看一下包括現(xiàn)在大模型，其實它的效率還是比較低的。
我們再和大腦比一下，我們?nèi)说拇竽X經(jīng)過幾十萬年的進化，確實不得了，差不多不到三斤的大腦，然后有860多億個神經(jīng)元，每個神經(jīng)元差不多有1萬個Synapse突觸，你如果把每個連接做一個相當(dāng)于參數(shù)的話，我們大腦比現(xiàn)在GPT4，我假定是1萬億，比它要高上千倍。我們就三斤重，而且我們功耗30瓦，你這GPT功耗多少瓦，所以我覺得我們效率還是很高的。而且目前這種大模型，雖然讓很多工作變得更高效，但耗電和運算的效率還是很差的。transformer當(dāng)然是很好的一種算法，但在計算方面確實十分耗能。
朱民：所以從能耗來說還會有很大的突破的空間。
張亞勤：我認為5年之后也許就會有一個不同的算法。
朱民：怎么叫不同的算法？
張亞勤：就也許就不是transformer算法，也許是，也許不是。
朱民：你會發(fā)明一個嗎？
張亞勤：我把希望寄托在我們的博士生上。
朱民：回到工程學(xué)，工程學(xué)就很有意思了，因為它等于一個輔助工具，它無所不能了。所以我覺得現(xiàn)在比較有意思的一點，用我的語言來說，是大模型的脫虛向?qū)?。所謂虛就它離開了服務(wù)業(yè)，實，就是說它進入了物理世界，去操縱和管理物理世界。我覺得這是一個工程學(xué)的很重要的概念和一個很重要的應(yīng)用場景。
所以現(xiàn)在我們出現(xiàn)了AI for science，而且現(xiàn)在科學(xué)研究進入了第四范式。那么就把整個科學(xué)研究的方法全部變掉了，是數(shù)據(jù)主導(dǎo)，不再是獨立的由根開始往上走，而是逆向發(fā)展，這個就很厲害了。最近的很多事，比如說常溫超導(dǎo)，這個鹵是算出來的，最近的可控核聚變，可控是大模型控的。蛋白質(zhì)，現(xiàn)在我們已經(jīng)有了那么多三維的蛋白質(zhì)的結(jié)構(gòu)分析，你也做生命是吧？大模型在科學(xué)研究方式的方面，對它將來會怎么樣？
張亞勤：這是特別好的問題，我稍微花半分鐘講一下范式這個定義，其實提出第四范式，包括最近提到的第五范式，都是微軟的科學(xué)家提出來的。范式從最早在亞里士多德，后面到了伽利略。牛頓是第一次把所謂的第一范式數(shù)學(xué)化方程式化，包括到Maxwell，包括薛定諤，愛因斯坦后面是方程式的第二范式。第三范式是計算機出來之后的事。后面大數(shù)據(jù)來了之后是圖靈獎獲得者Jim Green提出的數(shù)據(jù)驅(qū)動，就是第四范式。
最近微軟英國的科學(xué)家又提出第五范式，就是深度學(xué)習(xí)。作為科研的一個新范式，我認為第四和第五基本上是不同階段，你可以都叫第四范式。
這里面有很多新的工具，比如剛才你講的工程學(xué)，新的工具可以使用，就是我們可以把我們方程式的東西，結(jié)合到我們觀察的，測量的數(shù)據(jù)里面來。比如我們現(xiàn)在可以生成大數(shù)據(jù)，用方程式來生成，加上我們觀測的數(shù)據(jù)把它結(jié)合起來，開始預(yù)訓(xùn)練，然后結(jié)合起來。
朱民：是?，F(xiàn)在的科學(xué)研究上或者說是第四范式也好，出現(xiàn)了兩種流的合作，一個是人的流，他把一些觀察到想象中的參數(shù)什么放進去，一個是數(shù)據(jù)位自由，就機器深度學(xué)習(xí)，然后讓這兩種東西結(jié)合起來，是朝我們想象中的用預(yù)訓(xùn)練的模式來實現(xiàn)它的未來，所以這個很有意思。人工智能和人的智能開始合作，那么現(xiàn)在看的比較多的是材料科學(xué)，數(shù)字材料現(xiàn)在是很明顯，生物對蛋白，做three dimensional structure這個也是很多的。你覺得像物理或者數(shù)學(xué)這種根本的科學(xué)研究，在方法論上會被顛覆嗎？我覺得化學(xué)是很容易突破的。
張亞勤：我認為會的，但是怎么顛覆我也不是很清楚。我那天開玩笑說我現(xiàn)在比較保守了。我說5年意義，我們所有的奧林匹克的冠軍，數(shù)學(xué)、物理包括所有的考試，冠軍一定是機器，從阿爾法狗開始，一定是機器。另外，我認為AI可以證明一些我們沒有證明的事兒，哥德巴赫猜想等。
朱民：我覺得科學(xué)家還是很嚴(yán)謹(jǐn)?shù)?，哲學(xué)家可以在這個天空里思索。
張亞勤：新的方程式以后可能是AI發(fā)明的，這都有可能。
朱民：量子力學(xué)就會可能會有很大的突破，所以這是一個很大的事情。如果科學(xué)有這么大這么變化的話，反過來人類的進化速度會大大加強。5年真的是一個很短的時間。
張亞勤：剛才你問的特別好，就是科學(xué)的范式。其實如果看一下我們物理學(xué)，每一個科學(xué)都需要一種描述的語言。數(shù)學(xué)是物理學(xué)最好的描述的語言。我認為AI整個來講，從我們這種發(fā)展的方向，不一定是GPT，也會成為一個好的描述的語言。當(dāng)科學(xué)的東西沒法去表示出來的時候，我就用一個大的模型加上一個參數(shù)去表示它，然后它就變成一種新的語言。
朱民：講到現(xiàn)在我們已經(jīng)走得很遠了，天馬行空。那么落地到現(xiàn)在的話，大家很關(guān)心中國的大模型發(fā)展怎么樣？現(xiàn)在百度出了文心一言，現(xiàn)在我看能列出的大模型大概有幾十種了。
張亞勤：百模大戰(zhàn)。
朱民：當(dāng)然困難是很明顯的，第一個是，美國把芯片卡住了。那么算法當(dāng)然也受到很大的影響；數(shù)據(jù)也有一個質(zhì)量和規(guī)模的問題；對語言也是個問題，對中文和英文之間其實還是在自然語言處理的方面還是有不一樣的。你怎么看百模大戰(zhàn)中國的差距究竟有多大？我們怎么干？
張亞勤：不想得罪人。（現(xiàn)場笑聲）
朱民：科學(xué)家沒問題的。我先說我的觀點，我不怕得罪人（現(xiàn)場笑聲）。我1月7號的時候我說，大模型，中國落后兩年。
張亞勤：對，我覺得大模型方面肯定是落后的，具體落后多少我就不說了。但是，目前這么多企業(yè)，包括BAT、華為、字節(jié)在內(nèi)的很多大公司都在做大語言模型，包括新創(chuàng)公司，大家都在做，最后就是充分競爭。只有經(jīng)歷充分競爭的企業(yè)才是好企業(yè)。而且中國的競爭有中國的特點，這些人都是經(jīng)過互聯(lián)網(wǎng)時代的千錘百煉，經(jīng)歷過血腥的競爭，知道怎么競爭。第二點就是在競爭的過程中，每個企業(yè)的人都很聰明，他自己會去定位，就讓市場去檢驗它。政府就別管了，政府鼓勵競爭就行。
我個人看的話，可能最后會有五六個大模型。所有的操作系統(tǒng)，大部分的話可能還是面向行業(yè)的很多垂直模型，它會結(jié)合大模型解決行業(yè)大的問題，但在每個行業(yè)可能也需要細分。
你剛才提到芯片和數(shù)據(jù)，我稍微講一下。數(shù)據(jù)是問題也不是問題，就第一點你看目前大模型也沒有人把充分把自己的數(shù)據(jù)都用了，以及比如企業(yè)外面我們有很多這種公用的數(shù)據(jù)，然后每個企業(yè)剛才我講的大企業(yè)都有自己好多數(shù)據(jù)，他都沒有用完，可能用了很少一部分，因為時間不夠，這幾個月。然后第二點就是你看現(xiàn)在做多模態(tài)，剛才講的語言多模態(tài)里面多少視頻的數(shù)據(jù)，多少這些圖像的數(shù)據(jù)也都去使用。
還有一點。你看GPT用了很多中文的數(shù)據(jù)，用了很多法文的很多各種不懂語言的數(shù)據(jù)，咱們也可以用別的語言，我們完全可以用英文的數(shù)據(jù)，對吧。
這些數(shù)據(jù)能用就用，所以我認為長期不是大問題，短期也不是大問題。而且說實話，數(shù)據(jù)不僅量要大，重要的是你怎么樣去清洗它，怎么樣把它變成高質(zhì)量的數(shù)據(jù)。其實做大語言模型也很有意思，就是數(shù)據(jù)太輕，太干凈也不行，還是需要一些有免疫力的，就像人身上需要一點有要和細菌和病毒共存的時候需要一點免疫力，所以怎么樣去獲得這個數(shù)據(jù)，其實是做大語言模型，1/3的工作是關(guān)于怎么樣把這些數(shù)據(jù)叫data engineering很重要。
算力的確是比較挑戰(zhàn)，如果咱們把中國所有的算力加在一塊，現(xiàn)在至少也有50萬個，至少50萬個A100這么一個體量加在一塊，你訓(xùn)練100個模型有點小問題，但是訓(xùn)練5個模型是沒問題的。另外一點，這個東西你也不是永遠在用它，你在預(yù)訓(xùn)練的時候用它，用了之后你幾個月可能就不需要用這個東西了。
還有一點，現(xiàn)在很多的工作是怎么樣把這個模型簡化，然后怎么樣小型化邊緣化。所以我認為這些東西是有挑戰(zhàn)，但不能是我們兩三年之后沒做好的一個借口。我認為我們一定會做的不錯的。
然后還有一點就是中國自己也在做芯片，現(xiàn)在你看到有昆侖，汽車的地平線等等許多公司都在做這些芯片。
朱民：所以你還是樂觀的，算力算法和這個數(shù)據(jù)，我們還是有資源可以解決，是吧？但是大模型它有幾個特點，第一個是它進入的門檻很高，它不是一個可以自由競爭的世界，是第二個它有些地方具有天然的壟斷性，算是有壟斷性的，算法取決于你是不是開源。而且這個規(guī)模也使得進去不那么容易。所以在這個情況下，那是一種市場充分競爭，還是一種類似于寡頭競爭。未來的中國發(fā)展大模型的路徑大概是個什么情況？
張亞勤：如果把大模型比喻成42公里的馬拉松，現(xiàn)在跑了5公里，目前是春秋戰(zhàn)國，大家要充分競爭。等競爭到一定程度，肯定就不可能有那么多大模型了。就像操作系統(tǒng)和云一樣，一開始有多少朵云？現(xiàn)在的云，不管美國也好，中國也好，最后可能就四五朵云。所以我認為最后肯定是要收斂的。
朱民：你還是很樂觀，中國人會長出自己的大腦模型。
張亞勤：對。但我想講一點，我們現(xiàn)在不能假設(shè)就是那幾個大公司的事兒，初創(chuàng)公司也有希望，OpenAI就是一個小公司。所以大家都有機會。但平臺的門檻很高。比如我們這樣的研究院，我們一開始就說不要自己去做大型語言模型，我們也不會去買上萬個GPU，很多工程的東西我們也不會去做，我們可以和企業(yè)去合作。
朱民：這就提出了很重要的一點。在我們追趕的道路上，第一個是算力算法數(shù)據(jù)，你有沒有底氣？第二個是市場準(zhǔn)入競爭公平，這個結(jié)果會怎么樣？但形成生態(tài)合作共贏還是很重要的。你看大概會是怎么樣的一個生態(tài)呢？
張亞勤：比如說N年多之后，4-5年之后會有幾個大的模型，就是可能主要在云上面，在云上面有大量算力的，有這么橫向的，我把它叫做AI的云的操作系統(tǒng)，在這個上面有很多的vertical很大的一些apps，而且我認為有些apps會在一個云上一些APP在很多云上，有些souper apps可能它會調(diào)用不同的models的，剛才你講的工程化和工具化，你可以用你的操作系統(tǒng)可以用別的，別的APP，我也可以用我這個APP也可以用好多不同的模型，然后可以用open source模型，也可以用這些商業(yè)化的模型，還有一個open source，現(xiàn)在這是很重要一個力量，不在我們剛才講的這些里面。
朱民：你看現(xiàn)在美國出現(xiàn)了stability。對這樣一個平臺，作為一種生態(tài)的構(gòu)造形式的培訓(xùn)，像這樣的模式可采用。
張亞勤：我覺得都會，各種不同的模式都會發(fā)生。
朱民：這里又回到了平行模型和垂直模型的區(qū)別，我看現(xiàn)在的大模型現(xiàn)在主要是做美國和中國，但美國的模型還是平行的，廣義的模型多一些，中國現(xiàn)在來看是垂直模型比較多一些。
張亞勤：不能這么講，我覺得都有。橫向的模型很多，但是解決某一些問題的也都有垂直模型。
朱民：所以現(xiàn)在市場競爭的是橫向模型，現(xiàn)在是“百模大戰(zhàn)”，對競爭的結(jié)果活下來的人會支撐垂直模型。
張亞勤：對，可以這樣講。垂直模型、以及面向一些任務(wù)總是要做的。橫向模型會幫你解決很多橫向的問題，比如說自動駕駛長尾的問題。但是，它沒法去替代垂直模型。咱們回到操作系統(tǒng)這個比喻，操作系統(tǒng)里面安卓和iOS也很強大，它上面有商店，但是很多Super APP還在上面。
你不可能操作系統(tǒng)做所有的這些應(yīng)用，特別我們?nèi)绻嫦蚬I(yè)互聯(lián)網(wǎng)，它更細分，更加深度。就像在PC時代，微軟很強大，但也只能做個office，上面別的應(yīng)用還是要靠生態(tài)。我經(jīng)常講，生態(tài)操作系統(tǒng)如果算一的話，它整個生態(tài)是乘100倍，在上面它的價值是100倍。
朱民：這個世界不可能只有唯一，一定是一個生態(tài)的，在上面會產(chǎn)生更豐富的應(yīng)用場景，等等。
張亞勤：而且我覺得對以后垂直領(lǐng)域，或者對一些創(chuàng)業(yè)者其實是件好事。我看了很多言論說大模型出來之后別創(chuàng)業(yè)了，都被大公司做了。我認為不是這樣，我覺得恰恰相反。比如，現(xiàn)在做某些面向某些任務(wù)的時候，我更容易做了。再比如說，過去我做一個什么事，我自己沒數(shù)據(jù)或者數(shù)據(jù)很少，我需要收集數(shù)據(jù)，現(xiàn)在很多這些數(shù)據(jù)已經(jīng)被預(yù)訓(xùn)練變成模型了，你就去靠那個模型，然后加上你自己這個領(lǐng)域的精準(zhǔn)數(shù)據(jù)，或者結(jié)合你自己的模型，你可以開發(fā)應(yīng)用出來。
這有點像云計算的時候，創(chuàng)業(yè)公司過去要買一大堆服務(wù)器，自己要有it方面的人。有了云之后，你買云服務(wù)就行了。你的算力、存儲，你的網(wǎng)絡(luò)能力都按需分配。所以，我覺得這是件好事，但創(chuàng)業(yè)公司可能要注意別做太簡單的東西。如果太簡單，大模型馬上就幫你做了。創(chuàng)業(yè)者稍微要做一些有門檻的事。
朱民：創(chuàng)業(yè)的門檻高了。