有趣的是，在圖靈三巨頭中，一位帶頭簽名，一位強(qiáng)烈反對(duì)，還有一位不發(fā)一言。
編者按：本文來(lái)自微信公眾號(hào)“新智元”（ID：AI_era），作者：新智元，創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
(資料圖片僅供參考)
昨天，千位大佬寫(xiě)的暫停超強(qiáng)AI訓(xùn)練六個(gè)月的聯(lián)名信，如同一枚炸彈一般，在國(guó)內(nèi)外的互聯(lián)網(wǎng)上炸響。
經(jīng)過(guò)了一天的唇槍舌劍，幾位關(guān)鍵人物以及其他各路大牛，都紛紛出來(lái)公開(kāi)回應(yīng)。
有的非常官方，有的十分個(gè)性，也有人并沒(méi)有直面問(wèn)題。但有一點(diǎn)可以肯定，不論這些大佬自己的觀點(diǎn)，還是背后所代表的利益集團(tuán)，都值得細(xì)品。
有趣的是，在圖靈三巨頭中，一位帶頭簽名，一位強(qiáng)烈反對(duì)，還有一位不發(fā)一言。
Bengio簽名、Hinton沉默、LeCun反對(duì)
吳恩達(dá)（反對(duì)派）此次事件中，前谷歌大腦成員、在線教育平臺(tái)Coursera創(chuàng)始人吳恩達(dá)是旗幟鮮明的反對(duì)派。
他明確亮出了自己的態(tài)度：把「讓AI取得超越GPT-4的進(jìn)展」暫停6個(gè)月，這個(gè)想法很糟糕。
他表示，自己已經(jīng)在教育、醫(yī)療保健、食品等領(lǐng)域看到了許多新的AI應(yīng)用，許多人將因此受益。而改進(jìn)GPT-4也會(huì)有好處。
我們?cè)撟龅?，?yīng)該是在AI創(chuàng)造的巨大價(jià)值與現(xiàn)實(shí)風(fēng)險(xiǎn)之間，取得一個(gè)平衡。
對(duì)于聯(lián)名信中提到的「如果不能迅速暫停對(duì)超強(qiáng)AI的訓(xùn)練，就應(yīng)該讓政府介入」，吳恩達(dá)也表示這種想法很糟糕。
他表示，讓政府暫停他們不了解的新興技術(shù)是反競(jìng)爭(zhēng)的，這樹(shù)立了一個(gè)糟糕的先例，是一個(gè)很可怕的政策創(chuàng)新。
他承認(rèn)，負(fù)責(zé)任的AI很重要，AI也的確有風(fēng)險(xiǎn)。
但媒體渲染的「AI公司正在瘋狂發(fā)布危險(xiǎn)的代碼」，顯然是太夸張了。絕大多數(shù)AI團(tuán)隊(duì)，都非常重視負(fù)責(zé)任的AI和安全。不過(guò)他也承認(rèn)，「遺憾的是，不是全部」。
最后他再次強(qiáng)調(diào)：
而他的推特下面，已經(jīng)網(wǎng)友表示強(qiáng)烈反對(duì)：大佬之所以云淡風(fēng)輕，大概是因?yàn)槭I(yè)的痛苦不會(huì)落到他們頭上。
LeCun（反對(duì)派）聯(lián)名信一發(fā)出，就有網(wǎng)友奔走相告：圖靈獎(jiǎng)巨頭Bengio和LeCun都在信上簽了名！
而時(shí)時(shí)沖浪在網(wǎng)絡(luò)第一線的LeCun，立馬辟謠：沒(méi)，我沒(méi)簽，我不同意這封信的前提。
有網(wǎng)友表示，我也不同意這封信，但我很好奇：你不同意這封信的原因，是覺(jué)得LLM不夠先進(jìn)，根本威脅不到人類(lèi)嗎，還是其他原因？
但LeCun對(duì)于這些問(wèn)題，都沒(méi)有回答。
在謎一般地沉默了20小時(shí)后，LeCun忽然轉(zhuǎn)發(fā)了一位網(wǎng)友的推文：
「OpenAI足足等了6個(gè)月，才發(fā)布了GPT4！他們甚至為此還寫(xiě)了一份白皮書(shū)....」
對(duì)此，LeCun大贊道：說(shuō)得對(duì)，所謂「暫停研發(fā)」，不過(guò)就是「秘密研發(fā)」罷了，這與一些簽名者所希望的恰恰完全相反。
看來(lái)，什么都瞞不過(guò)LeCun的慧眼啊。
之前提問(wèn)的網(wǎng)友也表示同意：這就是我什么反對(duì)這個(gè)請(qǐng)?jiān)笗?shū)的原因——沒(méi)有哪個(gè)「壞人」會(huì)真正停止。
「所以這就像一項(xiàng)沒(méi)有人遵守的武器條約？歷史上這樣的例子不多嗎？」
過(guò)一會(huì)，他又轉(zhuǎn)發(fā)了一位大佬的推特。
這位大佬說(shuō)，「我也沒(méi)簽。這封信充斥著一堆可怕的修辭和無(wú)效/不存在的政策處方?！?LeCun說(shuō)，「我同意」。
Bengio和Marcus（贊成派）公開(kāi)信署名的第一位大佬，便是赫赫有名的圖靈獎(jiǎng)得主Yoshua Bengio。
當(dāng)然了，紐約大學(xué)教授馬庫(kù)斯也投了贊成票。他似乎是最早曝光這次公開(kāi)信的人。
而討論聲逐漸喧囂之后，他也火速發(fā)了一篇博客解釋自己的立場(chǎng)，依然充滿(mǎn)亮點(diǎn)。
而剛剛馬庫(kù)斯表示百分之百贊同的另一個(gè)觀點(diǎn)，也非常有趣，這一觀點(diǎn)稱(chēng)：
GPT-5不會(huì)是AGI。幾乎可以肯定，沒(méi)有GPT模型會(huì)是AGI。我們今天使用的方法（梯度下降）優(yōu)化的任何模型完全不可能成為AGI。即將問(wèn)世的GPT模型肯定會(huì)改變世界，但過(guò)度炒作是瘋狂的。
Altman（不置可否）截至目前，對(duì)于這封公開(kāi)信，Sam Altman并未作出明確表態(tài)。
不過(guò)呢，他倒是發(fā)表了一些關(guān)于通用人工智能的觀點(diǎn)。
有網(wǎng)友質(zhì)疑：「與什么對(duì)齊？和誰(shuí)對(duì)齊？與某些人對(duì)齊，就意味著與另外一些人不對(duì)齊?！?/p>
這個(gè)評(píng)論亮了：「那你倒是讓它Open啊?！?/p>
而OpenAI的另一位創(chuàng)始人Greg Brockman轉(zhuǎn)發(fā)了Altman的推文，再次強(qiáng)調(diào)OpenAI的使命「是確保AGI惠及全人類(lèi)?！?/p>
再次有網(wǎng)友指出華點(diǎn)：你們這些大佬整天說(shuō)「與設(shè)計(jì)者的意圖對(duì)齊」，但除此之外誰(shuí)都不知道究竟對(duì)齊是指什么。
Yudkowsky（激進(jìn)派）還有一位名叫Eliezer Yudkowsky的決策理論家，態(tài)度更為激進(jìn)：
暫停AI開(kāi)發(fā)是不夠的，我們需要把AI全部關(guān)閉！全部關(guān)閉！
如果繼續(xù)下去，我們每個(gè)人都會(huì)死。
公開(kāi)信一發(fā)布，Yudkowsky立馬寫(xiě)了一篇長(zhǎng)文發(fā)表于TIME雜志上。
他表示，自己沒(méi)有簽字，原因是在他看來(lái)，這封信太溫和了。
他說(shuō)，關(guān)鍵問(wèn)題并不在于「與人類(lèi)競(jìng)爭(zhēng)」的智能，很顯然，當(dāng)AI變得比人更聰明，這一步是顯然的。
關(guān)鍵在于，包括他在內(nèi)的許多研究人員都認(rèn)為，構(gòu)建一個(gè)擁有超人智慧的AI最有可能導(dǎo)致的后果就是，地球上的每個(gè)人都會(huì)死去。
不是「或許可能」，而是「必然會(huì)」。
如果沒(méi)有足夠的精確度，最有可能的結(jié)果就是，我們?cè)斐龅腁I不會(huì)做我們想做的事，也不會(huì)關(guān)心我們，也不會(huì)關(guān)心其他有知覺(jué)的生命。
理論上，我們應(yīng)該可以教會(huì)AI學(xué)會(huì)這種關(guān)懷，但現(xiàn)在我們并不知道該怎么做。
如果沒(méi)有這種關(guān)懷，我們得到的結(jié)果就是： AI不愛(ài)你，也不恨你，你只是一堆原子組成的材料，它可以拿來(lái)做任何事。
而如果人類(lèi)想要反抗超人AI，必然會(huì)失敗，就好比「11世紀(jì)試圖打敗21世紀(jì)」，「南方古猿試圖打敗智人」。
Yudkowsky表示，我們想象中會(huì)做壞事的AI，就是一個(gè)住在互聯(lián)網(wǎng)上、每天給人類(lèi)發(fā)送惡意郵件的思想家，但實(shí)際上，它可能是一個(gè)充滿(mǎn)敵意的超人AI，一個(gè)思考速度數(shù)百萬(wàn)倍于人類(lèi)的外星文明，在它看來(lái)，人類(lèi)很愚蠢，很緩慢。
當(dāng)這個(gè)AI足夠智能后，它不會(huì)只待在計(jì)算機(jī)中。它可以把DNA序列通過(guò)郵件發(fā)給實(shí)驗(yàn)室，實(shí)驗(yàn)室將按需生產(chǎn)蛋白質(zhì)，然后AI就擁有了生命形式。隨后，地球上的所有生物都會(huì)死亡。
這種情況下，人類(lèi)該如何生存？目前我們毫無(wú)計(jì)劃。
OpenAI只是公開(kāi)呼吁，未來(lái)的AI需要對(duì)齊。而另一個(gè)領(lǐng)先的AI實(shí)驗(yàn)室DeepMind，根本沒(méi)有任何計(jì)劃。
來(lái)自O(shè)penAI官方博客
不管AI有沒(méi)有意識(shí)，這些危險(xiǎn)都存在。它強(qiáng)大的認(rèn)知系統(tǒng)可以努力優(yōu)化，并計(jì)算滿(mǎn)足復(fù)雜結(jié)果的標(biāo)準(zhǔn)輸出。
的確，當(dāng)前的AI可能只是從訓(xùn)練數(shù)據(jù)中模仿了自我意識(shí)。但我們實(shí)際上對(duì)這些系統(tǒng)的內(nèi)部結(jié)構(gòu)知之甚少。
如果我們依然對(duì)GPT-4無(wú)知，并且GPT-5進(jìn)化出了驚人的能力， 就像從GPT-3到GPT-4一樣，那我們很難知道，究竟是人類(lèi)創(chuàng)造了GPT-5，還是AI自己。
在2月7號(hào)，微軟CEO納德拉還幸災(zāi)樂(lè)禍地公開(kāi)表示，新必應(yīng)逼得谷歌只能「出來(lái)跳一段舞」了。
他的行為很不理智。
早在30年前，我們就該思考這個(gè)問(wèn)題了，6個(gè)月并不足以彌合差距。
從AI的概念提出到今天，已經(jīng)有60多年了。我們應(yīng)該至少用30年來(lái)保證超人AI「不會(huì)殺死任何一個(gè)人」。
我們根本無(wú)法從錯(cuò)誤中吸取教訓(xùn)，因?yàn)橐坏╁e(cuò)了，你就已經(jīng)死了。
如果暫停6個(gè)月，就能讓地球存活下來(lái)，我會(huì)贊同，但并不會(huì)。
我們要做的事情，是這些：
1. 新的大語(yǔ)言模型的訓(xùn)練不僅要無(wú)限期暫停，還要在全球范圍內(nèi)實(shí)施。
而且不能有任何例外，包括政府或軍隊(duì)。
2. 關(guān)閉所有大型GPU集群，這些都是訓(xùn)練最強(qiáng)大AI的大型計(jì)算設(shè)施。
暫停所有正在訓(xùn)練大型AI的模型，為所有人在訓(xùn)練AI系統(tǒng)時(shí)使用的算力設(shè)置上限，并在未來(lái)幾年逐漸降低這個(gè)上限，以補(bǔ)償更高效的訓(xùn)練算法。
政府和軍隊(duì)也不例外，立即制定多國(guó)協(xié)議，以防止被禁行為轉(zhuǎn)移到其他地方。
追蹤所有售出的GPU，如果有情報(bào)顯示協(xié)議之外的國(guó)家正在建設(shè)GPU集群，應(yīng)該通過(guò)空襲摧毀這家違規(guī)的數(shù)據(jù)中心。
比起國(guó)家間的武裝沖突，更應(yīng)該擔(dān)心的是暫停被違反。不要把任何事情都看作是國(guó)家利益之間的沖突，要清楚任何談?wù)撥妭涓?jìng)賽的人都是傻子。
在這方面，我們所有人要么共存，要么共亡，這不是政策，而是一項(xiàng)自然事實(shí)。
由于簽名太過(guò)火爆，團(tuán)隊(duì)決定暫停先暫停顯示，以便讓審核可以跟上。（名單頂部的簽名都是直接經(jīng)過(guò)驗(yàn)證的）
參考資料https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
https://twitter.com/AndrewYNg/status/1641121451611947009
https://garymarcus.substack.com/p/a-temporary-pause-on-training-extra
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。