從ChatGPT火爆出圈到AI發(fā)展迎來關(guān)鍵時刻,新型算力基礎(chǔ)設(shè)施已成為智能時代的核心競爭力。為加速推進(jìn)以城市算力網(wǎng)建設(shè)作為切入點(diǎn),努力推動數(shù)字城市算力基礎(chǔ)設(shè)施的改造升級,打造數(shù)字城市“新市政”,助力通用人工智能時代全國算力“一張網(wǎng)”的建設(shè),由中關(guān)村超互聯(lián)新基建產(chǎn)業(yè)創(chuàng)新聯(lián)盟與粵港澳大灣區(qū)大數(shù)據(jù)研究院聯(lián)合主辦、世紀(jì)互聯(lián)與互聯(lián)科技承辦的“首屆超互聯(lián)新算力產(chǎn)業(yè)暨第三屆中國IDC行業(yè)Discovery大會”于4月21日在北京舉行。
人工智能算力基礎(chǔ)設(shè)施的設(shè)計(jì)、評測與優(yōu)化
}AI算力是算力基礎(chǔ)設(shè)施的重要組成部分,是新基建和國家“東數(shù)西算”工程的關(guān)鍵任務(wù)抓手。預(yù)計(jì)到2025年,我國AI算力總量將超過1800EFlops,AI算力占總算力比重超過85%。這意味著,算力將迎來高速擴(kuò)張時代。~
4月21日,由中關(guān)村超互聯(lián)新基建產(chǎn)業(yè)創(chuàng)新聯(lián)盟與粵港澳大灣區(qū)大數(shù)據(jù)研究院聯(lián)合主辦、世紀(jì)互聯(lián)與互聯(lián)科技承辦的“首屆超互聯(lián)新算力產(chǎn)業(yè)暨第三屆中國IDC行業(yè)DISCOVERY大會”在北京舉辦。中國工程院鄭緯民院士發(fā)表了主旨演講,以下為演講實(shí)錄:
尊敬的各位來賓、各位朋友,非常高興來參加這個會議。今天會議的主題提到城市就是一臺計(jì)算機(jī),整個中國就是一臺計(jì)算機(jī)。那么,一個城市怎么變成一臺計(jì)算機(jī)?一個國家怎么變成一臺計(jì)算機(jī)?我覺得有兩個事情比較重要,一個是算力、一個是超互聯(lián)。我們在無錫有一臺超算計(jì)算機(jī),叫太湖之光,是我們在清華大學(xué)的一個組管理,在內(nèi)蒙也有一臺計(jì)算機(jī)由我們管理?,F(xiàn)在我們怎么用計(jì)算機(jī)的呢?比如,你用無錫這臺計(jì)算機(jī)首先要把軟件和數(shù)據(jù)想辦法傳輸?shù)綗o錫,無需要人去現(xiàn)場,就可以正常運(yùn)行?,F(xiàn)在面臨的問題是什么?比如,軟件加數(shù)據(jù)4T的數(shù)據(jù)量需要傳輸,使用最好的網(wǎng)絡(luò)傳,且在網(wǎng)絡(luò)不出錯的情況下傳輸過去,需要多少呢?可能要4~5天才能傳到無錫。如果這個4T數(shù)據(jù)傳輸?shù)絻?nèi)蒙這臺計(jì)算機(jī),基本上也需要4~5天。你可能覺得非常驚訝,怎么這么慢?假如我們不用網(wǎng)絡(luò),直接刻成盤,順豐快遞,第二天下午也肯定能到。不是我一個人這樣用,全國做計(jì)算機(jī)應(yīng)用、機(jī)器在外地的人,可能都這么用。會前和幾位同志聊天,我前兩天去貴陽,貴陽也是“東數(shù)西算”的一個節(jié)點(diǎn),當(dāng)?shù)赝窘榻B貴陽有幾個特點(diǎn):首先,貴陽沒有地震;其次,當(dāng)?shù)販囟缺容^低;再次,貴陽電費(fèi)也比較便宜。三個事情一說,機(jī)器放在這個地方比較好,沒錯。我跟他說,這三點(diǎn),甘肅可以這么說,寧夏的中衛(wèi)也這么說,內(nèi)蒙也這么說,我只說一件事情,如果從北京傳輸1T數(shù)據(jù)到貴陽只需要兩個小時,且費(fèi)用比順豐快遞貴不了太多,能夠做到這一條,機(jī)器的利用量馬上增加到70%。怎么辦呢?我今天聽了超互聯(lián)以后很高興,四4T數(shù)據(jù)傳輸?shù)綗o錫需要4~5天,快遞需要1~2天,那么,超互聯(lián)有沒有可能做到1~3個小時到且價錢比順豐快遞貴不了太多?
昨天我在發(fā)改委開會聽到他們說沒問題,我說你專門給我一根線,且滿足兩個條件:4T數(shù)據(jù)傳輸控制在2~3個小時,且價錢和順豐快遞差不多,才能真正做到“東數(shù)西算”、城市就是一臺計(jì)算機(jī)、全中國就是一臺機(jī)器,這個事情還沒這么簡單,時間原因我在這里不再過多闡述。
接下來,我主要講講人工智能算力,AI算力是算力基礎(chǔ)設(shè)施的重要組成部分,是新基建和國家“東數(shù)西算”工程的關(guān)鍵任務(wù)抓手。人工智能計(jì)算機(jī)是最近30年才有的,30年前沒人說有人工智能計(jì)算機(jī),人工智能計(jì)算在海量數(shù)據(jù)、實(shí)時響應(yīng)、極端條件等場景下相較通用計(jì)算優(yōu)勢愈發(fā)明顯。預(yù)計(jì)到2025年,我國人工智能算力總量將超過1800EFlops,AI算力占整個算力的比重超過85%。以后的計(jì)算機(jī)中AI計(jì)算機(jī)和處理人工智能的計(jì)算機(jī)將占很大比例。我們說算力迎來了高速擴(kuò)張時代,現(xiàn)在算力不夠,特別是隨著ChatGPT的發(fā)展,算力需求大幅提升。我今天講三個事情:
首先,AI計(jì)算機(jī)與HPC計(jì)算機(jī)有什么不同?HPC歷史悠久,AI是最近的事,HPC計(jì)算機(jī)應(yīng)用在天氣預(yù)報(bào)、核聚變模擬、飛行器設(shè)計(jì);人工智能做分類、回歸、自然語言處理,應(yīng)用場合不一樣,運(yùn)算精度不一樣,HPC是64位浮點(diǎn)運(yùn)算,甚至128位。人工智能計(jì)算機(jī)兩個八位數(shù)加減乘除做的快,這兩個機(jī)器不一樣?,F(xiàn)在要做人工智能計(jì)算機(jī),應(yīng)該長成什么樣子?我覺得要考慮幾件事情:第一是半精度平衡性,主要算8位、16位、32位,實(shí)際上這次我們注意到不但要考慮這個,特別是語言模型的訓(xùn)練以來,精度浮點(diǎn)運(yùn)算也要考慮,因此我們有個說法,雙精度與半精度運(yùn)算性能之比為1:100較好,什么意思?64位、124位處理能力和8位、32位處理能力1:100比較好,既可以做普通的東西,也可以做語言訓(xùn)練。因此,我們提出半精度平衡性的思想;第二是網(wǎng)絡(luò)平衡設(shè)計(jì);第三是IO子系統(tǒng)平衡設(shè)計(jì)。
我們提出這三個平衡設(shè)計(jì),值得高興的是,現(xiàn)在有些廠家在考慮我們這三個平衡設(shè)計(jì),現(xiàn)在國內(nèi)有差不多30個城市都在建,或者已經(jīng)建好了人工智能超算系統(tǒng),包括鵬城云腦二期等等。
我們預(yù)測HPC+AI+大數(shù)據(jù)中心在未來不超過五年的時間內(nèi)將會融合在一臺計(jì)算機(jī)中,既可以做HPC,又做AI,也能處理大數(shù)據(jù)。
其次,為什么需要一個人工智能算力基準(zhǔn)測試程序?過去HPC計(jì)算機(jī),這臺計(jì)算機(jī)處理高性能計(jì)算軟件好不好,分?jǐn)?shù)高意味著處理高性能好,那么,這個軟件能用到AI機(jī)器上嗎?顯然不夠,因?yàn)镠PC機(jī)器主要是64位加減乘除要做的快,現(xiàn)在我們更重要的是8位、16位、32位做的快,這兩個不太一樣。原來的軟件用到這里是有問題的,怎么辦?需要重新做一個東西,比如DeepBench,針對單個芯片;Mobile AI Bench針對移動端硬件;MLPerf擴(kuò)展性不好。所以AIPerf的設(shè)計(jì)要考慮四件事情:一是一個統(tǒng)一分?jǐn)?shù),二是可變的問題規(guī)模。人工智能計(jì)算集群往往有著不同的系統(tǒng)規(guī)模,差異性體現(xiàn)在結(jié)點(diǎn)數(shù)量,加速器數(shù)量,加速器類型,內(nèi)存大小等指標(biāo)。三是具有實(shí)際的人工智能意義。具有人工智能意義的計(jì)算,例如神經(jīng)網(wǎng)絡(luò)運(yùn)算和自然語言處理,是人工智能基準(zhǔn)測試程序相較于傳統(tǒng)高性能計(jì)算機(jī)基準(zhǔn)測試程序的重要區(qū)別,是能夠檢測集群人工智能算力的核心所在。四是評測程序包含必要的多機(jī)通信。
要達(dá)到這四個目標(biāo),據(jù)此購買一臺計(jì)算機(jī)處理人工智能問題,究竟買華為還是買5G,抑或是買聯(lián)想?,我建議用這個評測,分?jǐn)?shù)高的一般處理能力就強(qiáng),我不敢說百分之百,分?jǐn)?shù)越高越好,對用戶來說有個評判標(biāo)準(zhǔn)。因此,我們做了一個國際人工智能算力排行榜,每年11月15號在中國超級算力大會ChinaSC發(fā)布排行榜,我們希望用這個軟件評測,分?jǐn)?shù)越高排名越高,用Top500榜來評一評500臺人工智能計(jì)算機(jī),這個榜單評選已經(jīng)三年了,疫情原因,我們現(xiàn)在評的大多數(shù)是國內(nèi)計(jì)算機(jī),國外參加的少,今年我們爭取將國外的廠商也納入這是AIPerf測評。
最后,百萬億參數(shù)超大預(yù)訓(xùn)練模型的訓(xùn)練加速方法。ChatGPT出來以后,大家對大模型訓(xùn)練都比較關(guān)心。美國SAT考試題目,模型參數(shù)達(dá)到千億,正確率已經(jīng)達(dá)到60%左右。更大參數(shù)模型的效果具有重要科學(xué)意義,一般說來,參數(shù)越多、訓(xùn)練的數(shù)據(jù)越多、計(jì)算機(jī)越多、效果就越好,越接近于人的腦子,大概是正相關(guān)關(guān)系。所以,探索更大參數(shù)量模型的效果具有重要科學(xué)意義。
預(yù)訓(xùn)練模型的計(jì)算結(jié)構(gòu),核心是transformer模型,模型的計(jì)算出主要集中在嵌入層、注意力層、前饋網(wǎng)絡(luò),計(jì)算核心均為矩陣。
我們看并行訓(xùn)練技術(shù),現(xiàn)在訓(xùn)練都不是在一臺單機(jī)上訓(xùn)練,不是串行的,因?yàn)榇羞M(jìn)去,模型梯度新模型要重復(fù)多次,這樣,一臺計(jì)算機(jī)的速度就會不夠快、存儲不夠大,因此現(xiàn)在基本上都是并行訓(xùn)練。并行訓(xùn)練有兩種:一種是數(shù)據(jù)并行、一個是模型并行。
數(shù)據(jù)并行什么意思?舉一個例子,這是兩臺計(jì)算機(jī)做并行訓(xùn)練,每臺機(jī)器都裝上模型,把數(shù)據(jù)的一半拿去分別訓(xùn)練,計(jì)算機(jī)做了整個模型,這個訓(xùn)練出來以后不是最終結(jié)果,最后結(jié)果既互相交叉又互相通信,中間結(jié)果要互相通信,這個通信量還不小,是要交換數(shù)據(jù)的,這是一種情況。
一種是模型并行,什么意思呢?把整個模型切一半,其中一半做機(jī)器0,其中一半做機(jī)器1,讓它去訓(xùn)練,中間也有交換數(shù)據(jù),這個交換數(shù)據(jù)相對來說沒有數(shù)據(jù)并行交換次數(shù)多,一般情況下,數(shù)據(jù)并行交換數(shù)據(jù)挺多、通信量大,模型并行相對少一點(diǎn),大概是這個情況。
于是,現(xiàn)在并行訓(xùn)練成為大模型訓(xùn)練的標(biāo)配,ChatGPT,1萬塊卡并行,國內(nèi)幾家發(fā)布的都是幾千塊卡,肯定是并行的。
我為什么講這件事情呢?我經(jīng)常跟學(xué)生說,10年前,你是北大大氣物理系天氣預(yù)報(bào)專業(yè)畢業(yè)的,畢業(yè)以后,比如說分到國家氣象局,你懂計(jì)算機(jī)語言,懂一般的數(shù)據(jù)結(jié)構(gòu),這種情況下,這個老師編一個天氣預(yù)報(bào)軟件出來,編的挺好,運(yùn)行情況挺好,這是十年、十五年以前情況?,F(xiàn)在情況不一樣了,這個人只懂天氣預(yù)報(bào)專業(yè),只會計(jì)算機(jī)語言,不知道機(jī)器的結(jié)構(gòu),要么你這個軟件轉(zhuǎn)不起來,要么轉(zhuǎn)起來了效果不太好,現(xiàn)在這個條件比原來要困難多了,這就叫軟硬件協(xié)同。
我講一個例子看看并行訓(xùn)練模型。這是青島一臺很大的計(jì)算機(jī), 64核,再加大一點(diǎn)的核,這里一共有65個核,這叫組,中間有六個這個東西,每一個是65個核,乘6,有390個核,中間這些東西叫一個CPU,封裝在一塊。256個CPU叫超節(jié)點(diǎn),一個超節(jié)點(diǎn)里面有256個CPU,每個CPU有390個核,這個超節(jié)點(diǎn)內(nèi)部我們做到每個GPU跟CPU之間有直接的通路,通信很快。256個CPU組成一個超節(jié)點(diǎn),每個超節(jié)點(diǎn)之間有直接通路,超節(jié)點(diǎn)內(nèi)部通信很快。超節(jié)點(diǎn)內(nèi)部256個CPU通信很快,兩個超節(jié)點(diǎn)之間通信就要慢一點(diǎn)。因此,我們看模型做好了并行模型,究竟是數(shù)據(jù)并行還是模型并行?數(shù)據(jù)并行通信量會很大,我們希望這個計(jì)算機(jī)通信要快,于是我們說,如果超節(jié)點(diǎn)內(nèi)部是數(shù)據(jù)并行,沒問題,計(jì)算量很快。如果是兩個節(jié)點(diǎn)之間,最好采用模型并行,你需要有這個基本知識:數(shù)據(jù)并行在一個超節(jié)點(diǎn)內(nèi)部中,兩個超節(jié)點(diǎn)之間最好模型并行,這樣才能保證通信都比較好。比如256個內(nèi)部通信很快,兩個之間通信比較慢,那我就要考慮256個超節(jié)點(diǎn)內(nèi)部最好是數(shù)據(jù)并行,兩個超節(jié)點(diǎn)之間最好是模型并行。如果你不知道這個結(jié)構(gòu)的話,就有可能并行的效果不好。因此,選取高效并行策略、如何進(jìn)行高效數(shù)據(jù)存儲、如何選取合適數(shù)據(jù)精度、如何實(shí)現(xiàn)動態(tài)負(fù)載均衡,這四件事情都跟計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)有關(guān),也就是說,你一定要知道系統(tǒng)結(jié)構(gòu)才能把模型做的比較好。否則做不起來,或者做起來了性能就比較差,現(xiàn)在是這么一個情況,實(shí)際上不只大模型,天氣預(yù)報(bào)也有類似問題,不知道系統(tǒng)結(jié)構(gòu),軟件是無法編好的。
高效數(shù)據(jù)存儲也是如此,怎么保證海量數(shù)據(jù)存儲速度比較快,也是這個問題。此外,,選取合適的數(shù)據(jù)精度,精度小算得快,精度越大算得越慢,但是,精度太差就無法算對。因此,解決了這四個問題,大模型算力就會比較好,否則,再好的運(yùn)行結(jié)果也不會好到哪去。
我們做了一個模型,叫八卦爐,針對這四個問題,把這個大模型放到我們的機(jī)器上去,運(yùn)行效果是挺好的。
最后我想說的一點(diǎn)是我們做了一個并行訓(xùn)練系統(tǒng)FastMOE,用于評估數(shù)據(jù)并行和模型并行怎么選,非常高興騰訊、百度、阿里巴巴、華為都用了我們這個系統(tǒng)來解決問題,而且效果比較好。
綜上,人工智能算力是當(dāng)前人工智能領(lǐng)域發(fā)展的關(guān)鍵。ChatGPT用了1萬塊卡,后面的模型好像用了幾萬塊卡,我們國內(nèi)一個單位有1萬塊GPU卡的并不多,因?yàn)閮r錢貴,1萬塊A100的費(fèi)用多少?大家都比較清楚,而且面臨卡脖子的局面。因此,只有四塊卡要做大模型基本是不行,我估計(jì)怎么也要1萬塊卡。無論怎么說,算力很重要,我們很希望有一個計(jì)算中心,比如世紀(jì)互聯(lián),想辦法有1萬塊A100,這是發(fā)展的關(guān)鍵,現(xiàn)在很多人要做類似ChatGPT,這個算力怎么解決,當(dāng)然國內(nèi)做的也不錯。我們團(tuán)隊(duì)最近幾年對人工智能的三點(diǎn)貢獻(xiàn)。
第一,實(shí)際上我在清華計(jì)算機(jī)系所在組是高性能計(jì)算研究所,我過去做高性能計(jì)算、存儲、分布處理,基本不會人工智能,但是人工智能又這么重要,于是最近幾年我們也在參與人工智能,人工智能計(jì)算機(jī)長成什么樣子?提出了一種AI算力基礎(chǔ)設(shè)施的架構(gòu)和平衡設(shè)計(jì)原則,考慮不同精度算力怎么做平衡,要考慮互聯(lián)應(yīng)該怎么聯(lián)法,要考慮IO怎么樣,這是第一件事。
第二,研制了大規(guī)模人工智能算力基準(zhǔn)評測程序AIPerf。提供計(jì)算機(jī)運(yùn)行評測數(shù)據(jù),成為用戶采購的考量。第三,設(shè)計(jì)和實(shí)現(xiàn)了百萬億參數(shù)超大預(yù)訓(xùn)練模型的并行加速方法。訓(xùn)練大模型做好了,怎么裝到計(jì)算機(jī)上去,我們有一套辦法解決三個關(guān)鍵技術(shù),把你裝到這臺機(jī)器上的模型效果是最好的。
謝謝大家,講的不對的地方請大家批評指正!
2140:一個只需要計(jì)算的世界
}算力是一種低熵體,是粒子的有序排列,是一種規(guī)范量子場。從算力的發(fā)展階段來看,2140年將是算力的極限之年。~
大家好,我是量子學(xué)派CEO。今天我講的內(nèi)容是純粹原生態(tài)的內(nèi)容,我也沒講過這個內(nèi)容,請大家原諒一下。今天我演講的主題是《2140:一個只需要計(jì)算的世界》。
是不是真的存在這個世界呢?這個世界的語言、文化、文字都可以通過計(jì)算呈現(xiàn),也就是說,它不需要語言、不需要文化,也不需要藝術(shù),這個世界很殘酷。同時,這個世界也不需要律師、不需要詩人、不需要哲學(xué)家,這個世界只需要一種職業(yè),這種職業(yè)就叫做運(yùn)算師,或者是計(jì)算師。如果說這個世界存在的話,你只要給這個計(jì)算師一個算盤,給他足夠的時間,就可以計(jì)算一切的一切。如果能夠再進(jìn)一步的話,如果他擁有了量子計(jì)算機(jī),如果他可以把黑洞作為他的一個計(jì)算機(jī),如果你把宇宙大爆炸之后的信息給他,他可以幫你演算出138億年的宇宙,這就是可計(jì)算的世界。
這個世界可不可以真正實(shí)現(xiàn)呢?其實(shí)在萊布尼茨的世界被精準(zhǔn)化的時候,馮·諾依曼將圖靈思考的時候,這種技術(shù)就可以實(shí)現(xiàn)了。當(dāng)然,也有人會說還有量子效應(yīng)呢,還有混沌理論呢,甚至我們連三體運(yùn)動都沒辦法計(jì)算,如果不能計(jì)算的話,我們怎么說可以計(jì)算整個世界。但是我們有沒有想過,我們談到的量子效應(yīng),它只是更深層次理論和計(jì)算里面表層的一個干擾,或者是一個不符合規(guī)則的一種表現(xiàn),量子效應(yīng)最下面的底層計(jì)算,我們可以找到一種微觀的計(jì)算方法。
這個世界到底有沒有可能存在?有些人不愿意談這個問題,我們的股市指數(shù)可以計(jì)算嗎?我們權(quán)力的傲慢可不可以計(jì)算?我們的愚蠢偏執(zhí)可不可以計(jì)算?我覺得這一切現(xiàn)在來看都是可以計(jì)算的。這個話題二十年前我和我的朋友討論過,當(dāng)時我的意見是否定的,但現(xiàn)在看來可能是肯定的。
再舉一個例子,今天我們的會議目標(biāo)是什么呢?這是我自己揣測的,我覺得我們今天會議的目標(biāo),假設(shè)我們要一起共同創(chuàng)造一臺人人可分布式的宇宙計(jì)算機(jī),我們把這個目標(biāo)放到我們的計(jì)算模型里面,放在大模型結(jié)構(gòu)里面進(jìn)行計(jì)算,最后輸出一個結(jié)果,這個結(jié)果可能就是我就是這個人人可分布式計(jì)算機(jī)的一個分布式節(jié)點(diǎn),這可能是我的朋友陳升先生所需要的一個結(jié)果。
這個結(jié)果還不夠,這個結(jié)果還可以用下去,下次會議的時候把這個結(jié)果作為起始點(diǎn),我們再調(diào)整前面的參數(shù),把函數(shù)重新調(diào)整,我們生成下一次會議的目標(biāo)值,我們下一次會議可能就沒有這么復(fù)雜了,可以更簡單,不需要人到場。但這個會議希望我們到場,一起開開心心的交往。我們不爭論,很多人可能覺得不是這樣的,我們不爭論,我們慢慢坐下來就行了。
我們再回到最原始的狀態(tài),最開始的數(shù)學(xué)表達(dá)是從萬物皆數(shù)開始,但其實(shí)它表達(dá)的只是一個結(jié)果,但是萬物皆數(shù)之前還有萬物皆算的過程,萬物皆算是一條線,萬物皆數(shù)是一個點(diǎn)。萬物接算是過程,萬物皆數(shù)是一個輸出的結(jié)果。我們回過頭來看,萬物皆算已經(jīng)包括了萬物皆數(shù),計(jì)算即一切,一切皆計(jì)算,我們?nèi)舜嬖诘谋驹纯赡芫褪且环N計(jì)算。
怎么理解萬物皆算呢?包括數(shù)理、物理、編程、計(jì)算邏輯本身就是計(jì)算的過程,我們舉個特別極端的例子,文化藝術(shù),我們原來以為文化藝術(shù)是機(jī)器不可超越的,我們認(rèn)為這是來自上帝給予我們的創(chuàng)造力。但是,今天我們回過頭來看,我們今天所有的產(chǎn)品,我們看到的ChatGPT,我們談到的AGI、Midjourney所創(chuàng)造的圖片,你看到太空歌劇院之后會明白什么是靈魂畫手,它比人畫的東西更有靈魂、更深邃、更有意境。ChatGPT就不用說了,我們和它聊天,如果再迭代下去,我覺得它唯一的缺點(diǎn)就是太像人類了,它跟你聊天的時候,因?yàn)樗昝滥悴幌矚g它,我很喜歡它的胡說八道,現(xiàn)在胡說八道是好事,怕的是太嚴(yán)謹(jǐn)太完美了。AGI,我們原來以為內(nèi)容創(chuàng)造是最不可能被替代的,沒想到最可能被取代的反而是內(nèi)容的創(chuàng)造,到了AGI還有什么不可以被計(jì)算?
萬物皆算有個很簡單的公式,要有一個演算者、被演算的對象,中間是數(shù)據(jù)和算力,這是一個基本的公式,大家都在用。
我們再從萬物皆數(shù)往前延展,它為什么可以計(jì)算,現(xiàn)在只要是計(jì)算機(jī)行業(yè)的朋友大概是明白的,從代數(shù)計(jì)算到邏輯運(yùn)算,歸根結(jié)底到萊布尼茨世界,提出了二進(jìn)制和數(shù)理邏輯的計(jì)算,不僅能夠計(jì)算代數(shù),還能夠計(jì)算邏輯,它就是與、或、非的計(jì)算,這里面本質(zhì)上有三種對立,十進(jìn)制和二進(jìn)制的對立,牛頓和萊布尼茨的對立,代數(shù)計(jì)算和邏輯計(jì)算的對立。牛頓和萊布尼茨之間發(fā)生了一場戰(zhàn)爭,這一場戰(zhàn)爭,一個代表了傳統(tǒng)的世界,一個代表了四百年后的世界,萊布尼茨提出二進(jìn)制之后三四百年才有了現(xiàn)在的計(jì)算機(jī)世界,當(dāng)年牛頓和萊布尼茨PK當(dāng)然是萊布尼茨輸?shù)袅耍驗(yàn)楫?dāng)時的生產(chǎn)力沒有辦法支撐他的理論。當(dāng)然這個故事是我編的。當(dāng)年牛頓和萊布尼茨主要戰(zhàn)爭是在微積分,但這個故事是有可能發(fā)生的。
萊布尼茨把數(shù)理邏輯說的非常清楚,其實(shí)在東方計(jì)算的源頭,關(guān)于周易、易經(jīng),其實(shí)它的原理跟萊布尼茨二進(jìn)制是非常相似的,周易的數(shù)學(xué)表達(dá)是什么?它是一根橫線,兩根短線,它用一根長線和兩根短線來演繹整個世界,其實(shí)周易是非常完整的科學(xué)化的計(jì)算架構(gòu),但是我們沒有按照周易本身的原理架構(gòu)來演繹我們的科學(xué),最后我們把科學(xué)演繹成了玄學(xué),我們把計(jì)算演繹成了籌算,其實(shí)我們可以做的更好。所以真正理解周易的反而是西方的大哲萊布尼茨,他看到當(dāng)時康熙的老師給他一個先天八卦爐的時候,原來東方的數(shù)學(xué)跟我的二進(jìn)制是非常相關(guān)的,這個時候他肯定會得到一種安慰,這個故事不是編的,是真的,白晉作為康熙的老師,萊布尼茨給康熙做了一個加法器,這都是真實(shí)的故事。
我們繼續(xù)往前走,我們來到今天,今天大家都在談?wù)撋疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò),當(dāng)計(jì)算加上深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的時候,其實(shí)它是一個簡單的線性變化,加上一個非線性的激活,擠壓性的激活函數(shù),就這么簡單。
下面這個圖是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型,無數(shù)神經(jīng)元的迭代,才有了transformer的涌現(xiàn)效應(yīng)。我們現(xiàn)在所有的一切都是在尋找一種算法,我們深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)總結(jié)起來有很多數(shù)學(xué)方式和人臉?biāo)惴ǎ举|(zhì)上只尋找一種算法,這種算法就是找我們?nèi)吮旧淼乃惴?,也就是上帝算法,我們自己的算法是什么,我們大腦神經(jīng)網(wǎng)絡(luò)的算法是什么,為什么要尋找這個算法?再舉一個例子,假設(shè)我今天在路上看到一個美女,看到美女之后我會掃描過去,把三圍數(shù)據(jù)掃描之后傳輸?shù)酱竽X中樞,匹配上億年人類基因,在基因進(jìn)行匹配之后我們會選擇我是跟她做朋友還是跟她做敵人,我跟她將來會生猴子嗎,它會有非常多的策略選擇,這所有的一切只發(fā)生在0.01秒的電光火石之間之內(nèi),人類的大腦算法有多優(yōu)先,但人類大腦算法是沒有辦法找到它的,這是我們?nèi)祟惐旧磉吔绲膯栴},因?yàn)檫@個算法不是我們自己創(chuàng)造的,可能有更高,或者來自另外一個世界創(chuàng)造的,這種算法是沒有辦法找到的,就像我們沒有辦法找到第一批動物之前是什么樣子,這個東西沒有辦法完整的推演出來。所以我們只能去模擬、模擬、再模擬,現(xiàn)在整個深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是想找到這樣一個函數(shù)和算法,這就是我們現(xiàn)在在做的事情。但是我們是有邊界的,并不證明我們找到的算法就一定比它弱,很難講。但是我們現(xiàn)在知道的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)本身就是模擬我們的大腦。
說到2140,我們剛才講到的全是現(xiàn)實(shí)世界發(fā)生的,用科學(xué)演繹,現(xiàn)實(shí)世界有很多限制我們,沒有辦法和所有的科學(xué)邏輯進(jìn)行匹配,但是我們可以建立一個可計(jì)算的平行世界,在這個世界里面一切都是可以計(jì)算的。2140是什么呢?它是比特幣被挖完那一年,但這是理論上的,可能被超挖了,它是69299號區(qū)塊,到這個區(qū)塊開始的時候,比特幣總數(shù)是209999999769,沒有2140這個數(shù)據(jù),2140是區(qū)塊鏈非常重要的紀(jì)元,也是算力巔峰之年。為什么?因?yàn)槟且荒昕赡苁撬懔Φ淖罡叻?,人類算力最高峰的時候會發(fā)生什么呢?我們并不知道算力到底是什么,我們說算力可能是軟件和硬件之間的連接,可能是最后激活函數(shù)的輸出,但算力到底是什么?我們一會兒再討論,算力的本質(zhì)到底是什么。
如果人類算力達(dá)到顛覆之年,它會有星際穿越嗎?這個東西很難講,這是我們構(gòu)建2140的世界,2140我們已經(jīng)做成一個社區(qū)了,算是一個跟現(xiàn)實(shí)世界對比的平行世界,我們已經(jīng)做了四五年這個項(xiàng)目。這里面我們只談到和計(jì)算相關(guān)的事情,三個規(guī)則:一是算力與文明正比例關(guān)系;二是里面設(shè)計(jì)很簡單的二叉樹算法,對宇宙內(nèi)所有文明進(jìn)行監(jiān)控;三是宇宙里面存在算力的過濾器,當(dāng)你的算力超越某個峰值的時候可能會對你進(jìn)行限制,文明為什么沒有辦法往更高層次走,可能跟你的算力相關(guān)。但我們做這件事情不僅僅是科學(xué)科幻,我們想介于科學(xué)和科幻之間,或者介于現(xiàn)實(shí)和超現(xiàn)實(shí)之間,我們希望現(xiàn)實(shí)世界能夠影響2140世界,2140反過來影響現(xiàn)實(shí)世界,相互互動,我們做了很多事情。
包括這棟樓,我們用三維建模已經(jīng)做出來了,這是138億年里面的一棟樓,這個就不細(xì)講了。這是科學(xué)方面的設(shè)定,這個做的很細(xì)膩,圖靈測試,整個設(shè)計(jì)非常硬核。這里講到了一些點(diǎn),和今天的會議非常接近,這個故事其實(shí)我們早就已經(jīng)有了,今天我看到說城市就是一臺計(jì)算機(jī),我們講的也是一樣的,人類就是一臺計(jì)算機(jī)。這里我們談到幾個點(diǎn):
第一點(diǎn),2023年,今天是算力的中心化,而且沒有辦法改變它。當(dāng)算力如此中心化的時候,當(dāng)算力未來成為電力一樣?xùn)|西的時候,當(dāng)算力被某些人完整控制的時候,我們該怎么辦?我們在2050年左右,我們要創(chuàng)造另外一個系統(tǒng),我們每個人都可以投資,每個人都可以獲得其中算力的一部分,人人分布式的一個算力中心。這有點(diǎn)像獻(xiàn)血,我們現(xiàn)在都去獻(xiàn)血,哪一天我需要血的時候它可以給我,但所有的架構(gòu)都是分布式的架構(gòu),自己通過自己的數(shù)據(jù),寫到智能合約里面。所以我們從算力的中心化到算力去中心化,無論是中心化還是去中心化,最終導(dǎo)致極大化,有更多更多的算力,算力極大化會帶來什么。
我們再講講算力是什么,我們剛才從微觀層面談算力,微觀層面的算力我們該怎么說呢,從宏觀世界、從宇宙世界看算力是什么,算力可能是一種低熵體,是粒子的有序排列,是一種規(guī)范量子場。低熵體什么意思?我們在擁有算力的時候是一定要付出代價的,這種代價是什么呢?當(dāng)我們的算力越來越集中,代價是什么,獲得更多算力的時候,如果是低熵體的話,必然高熵、熵增,如果全宇宙都是低熵體,產(chǎn)生的負(fù)面效果可能就是宇宙大膨脹,還可能是暗物質(zhì)的生成,這是更宏觀的對算力的看法,這個東西挺辯證的。
我們在設(shè)計(jì)里面會把這個事情說清楚,這是算力的辯證法,不可能讓算力無限擴(kuò)張,一定是有利有弊,這里說說和現(xiàn)實(shí)世界相關(guān)的東西。
算力不可能三角,我們之所以走到今天的原因,算力不可能三角,它不能突破,但可以放大,所以才有了transformer,才有了GPT。算力的中心化不可能改變,但我們可以用區(qū)塊鏈去中心化進(jìn)行約束,算力生產(chǎn)力的增長、算力生產(chǎn)關(guān)系的簡化,算力的擴(kuò)張、WB3.0的收斂,香港、北京和深圳能不能構(gòu)成另外一個三角,這是現(xiàn)實(shí)世界算力運(yùn)作起來的方式。
我說一下結(jié)論。人的存在即是計(jì)算,如果長江黃河的流動是計(jì)算,如果粒子的衰變是計(jì)算,如果人類的生與死也是計(jì)算,人的生死可不可以看成0和1呢,我們把計(jì)算機(jī)0和1做一個開關(guān)和計(jì)算,有沒有另外一種生命把我們的生和死當(dāng)成他們的開關(guān),我們的生和死只是他們的計(jì)算方式而已,如果是這樣的話,那計(jì)算的意義又是什么呢?
這里說一下我個人的感受,如果這個世界是完全可以計(jì)算的世界,那這個世界到底怎么樣,很多人覺得這個事情太殘酷了,太無聊了,太可怕了,只需要計(jì)算,什么都不要,詩歌、藝術(shù)、文化都不要,這樣的世界是好的嗎?有的人就是喜歡這樣的世界。
我們談下元宇宙,這里有幾個關(guān)鍵詞。很多人不喜歡元宇宙,但元宇宙這個概念出來的時候我很喜歡,為什么?因?yàn)槲矣X得元宇宙的核心是我們重新去創(chuàng)造另外一個宇宙,重新創(chuàng)造另外一個世界,而這個世界我們可以看到它是怎么演繹、怎么進(jìn)化的。我們現(xiàn)實(shí)世界呢?我們看這個世界演化的時候才可以反觀我們現(xiàn)在的世界,我們才可能知道現(xiàn)實(shí)世界是怎么演繹的,反觀我們的現(xiàn)實(shí)世界,這是我對元宇宙的基本看法。我們把人計(jì)算過去,我們?nèi)司褪怯?jì)算的一部分,把人融合進(jìn)來,我們所有的行為只不過是計(jì)算的一部分。還有一個東西,很多時候我們沒有辦法理解,我們理解這個世界是有邊界的,這個邊界我們是沒辦法突破的,不光是我們這個世界,AI也是一樣的,我們創(chuàng)造了AI,AI很強(qiáng)大,但是AI能夠理解人類嗎?也許AI永遠(yuǎn)沒有辦法理解人類。它只不過是從另外一個角度來理解這個世界而已,人和AI是永遠(yuǎn)沒有辦法理解的,就像人和我們的創(chuàng)始者一樣,我們是永遠(yuǎn)沒有辦法理解的,怎么辦呢?有一種可能性,就是算法,計(jì)算。AI只不過是在模仿人腦的算法而已,我們的人未來尋找一種新的算法而已,這種算法如果能夠進(jìn)行統(tǒng)一的話,去引領(lǐng)整個世界,就是大統(tǒng)一算法與美麗新世界。
分布式商業(yè)與大模型
}超互聯(lián)新算力,共建共享共治,是促進(jìn)服務(wù)器和硬件設(shè)備等的聯(lián)合投資。誰投資誰受益,可以自由交易,為網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)發(fā)展出新的金融機(jī)制,把網(wǎng)絡(luò)基礎(chǔ)設(shè)施未來收入通過金融工具的方法進(jìn)行組合分拆流轉(zhuǎn),可以提前把收入進(jìn)行變現(xiàn),這也是國家目前在算力市場發(fā)展中正在提倡的金融工具。~
尊敬的陳總,各位來賓,非常感謝世紀(jì)互聯(lián)今天的邀請。分布式商業(yè)與大模型是陳總命題的,我今天講的內(nèi)容除了來自我本職工作研究以外,也非常受和陳總的一系列討論,以及超互聯(lián)方面實(shí)踐的啟發(fā)。
首先,大模型需要大算力,前面幾位專家都非常深入和專業(yè)的討論了這個問題,我這頁引用的是一個半導(dǎo)體研究機(jī)構(gòu),今年2月份的一篇分析報(bào)告,它講到如果當(dāng)前Google做的所有翻譯任務(wù)通過ChatGPT來做的話,大概需要410萬張A100GPU,這些相關(guān)服務(wù)器和網(wǎng)絡(luò)相關(guān)的成本資本支出有1000億美元,這還不包括運(yùn)行起來對電費(fèi)的消耗。從這里面可以看到大模型背后底層是大算力,從經(jīng)濟(jì)角度來看,它是非常巨大的成本問題。
現(xiàn)在我們就面臨這么一些問題,從一個商業(yè),或者政府做規(guī)劃的角度來看,有幾個矛盾要解決:
第一個矛盾,算力投資對固定資產(chǎn)投資成本要求非常高,單個企業(yè)的實(shí)力肯定是有限的,所以這個網(wǎng)絡(luò)應(yīng)該是一種有分布式的味道,需要大家共建、共享、共治的網(wǎng)絡(luò)。
第二個矛盾,我們可以設(shè)想,如果中國政府投入諸多成本制造這個網(wǎng)絡(luò),理論上不是不可以,但不會發(fā)揮有效市場的作用。如果要發(fā)揮市場作用,這個網(wǎng)絡(luò)有很多企業(yè)投資,但又有非常強(qiáng)的公共利益,為社會服務(wù)的,這個時候怎么平衡企業(yè)的利益和公眾的利益,這是第二個矛盾。
第三個矛盾,投入是當(dāng)前發(fā)生的,但是收益是未來很長一段時間慢慢兌現(xiàn)的,我們怎么平衡當(dāng)前資本支出和未來收益的問題,這是金融要解決的核心問題。
第四個矛盾,算力需求是高波動性的,不僅在時點(diǎn)上,有的時候?qū)λ懔π枨蟠?,有的時候沒那么大,有的時候高峰的,有的時候低谷的。從企業(yè)之間來看,每個企業(yè)提供的算力和用戶對算力需求之間也是不匹配的,我們怎么在算力需求的波動和供給沒有彈性的情況下進(jìn)行平衡,這是第四個矛盾。
第五個矛盾,金融發(fā)展的問題,我們要發(fā)展大的算力,不管是“東數(shù)西算”背景下還是AI發(fā)展的背景下,這是我們國家高質(zhì)量發(fā)展實(shí)體經(jīng)濟(jì)有很深的需求,但是背后有巨大資本投入,怎么發(fā)揮資本力量,資本有很強(qiáng)的金融屬性,凡是有資本的地方,不可避免的有投機(jī)因素在里面。新能源汽車,特斯拉股價里面沒有投機(jī)的色彩嗎,但怎么把投機(jī)的力量引導(dǎo)到對實(shí)體經(jīng)濟(jì)有利的地方,這是第五個矛盾。
我們從分布式商業(yè)的方向,剛才我在外面展館上看到世紀(jì)互聯(lián)做的分布式數(shù)字經(jīng)濟(jì)的方案,我感到很受啟發(fā)。我們提出分布式商業(yè)解決方案,本質(zhì)上是大機(jī)器間大規(guī)模協(xié)作網(wǎng)絡(luò),最底層可以穿透到GPU層面。這么一個分布式不僅是算力網(wǎng)絡(luò),里面還有各種各樣的計(jì)算任務(wù)進(jìn)行分包,很大的計(jì)算量,怎么進(jìn)行分解,剛才鄭教授也講了這個問題。實(shí)際上算力的網(wǎng)絡(luò)和國家正在建設(shè)的數(shù)據(jù)要素市場,這兩個市場是不可分的,只不過算力的網(wǎng)絡(luò)更標(biāo)準(zhǔn)化,更有大宗商品的屬性,數(shù)據(jù)要素市場數(shù)據(jù)是非標(biāo)準(zhǔn)化的,數(shù)據(jù)價值也是千差萬別的,這兩個之間有緊密聯(lián)系,發(fā)展的時候需要統(tǒng)籌。
核心的兩個工具,第一個是國家正在發(fā)行的數(shù)字人民幣,這是我們國家人民幣的數(shù)字形態(tài),在座很多嘉賓在手機(jī)上應(yīng)該試用這個工具,后面會講它怎么使用。第二個是網(wǎng)絡(luò)結(jié)算單位,英文縮寫是NSU,我們試圖讓它捕獲分布式網(wǎng)絡(luò)價值,激勵內(nèi)生增長。為什么會有這個東西?互聯(lián)網(wǎng),海底的光纜,互聯(lián)網(wǎng)里面各種硬件設(shè)備,這是由公司提供的,不管是瀏覽器、電商、搜索引擎也好,都有它的一套商業(yè)模式。我們試圖在AI網(wǎng)絡(luò)里面讓它變得不太一樣。
首先第一點(diǎn),這不完全是算力網(wǎng)絡(luò),我讓它成為經(jīng)濟(jì)活動的網(wǎng)絡(luò),讓機(jī)器本身成為一個能考核的經(jīng)濟(jì)單位。我們要考核一個機(jī)器做了什么事情,并且給它相應(yīng)的獎勵,想做這個事情需要基礎(chǔ),要準(zhǔn)確度量機(jī)器的貢獻(xiàn),有這么幾件事情:
一是讓每個機(jī)器擁有唯一的身份標(biāo)識,不能被偽造或修改。
二是機(jī)器的行為過程具備可追溯性,不可抵賴,機(jī)器做的任何事情都有一套記錄在里面。
三是機(jī)器身份和行為的真實(shí)性,可以通過算法自我證明,我不需要通過人工和機(jī)構(gòu)來參與驗(yàn)證,我本身就是我的證明。AI算力網(wǎng)絡(luò)分布非常廣闊,如果通過人來進(jìn)行審計(jì)的話成本是非常高的。
所以解決方案我們在GPU層面可以加上DPU芯片,含區(qū)塊鏈原生功能,最簡單的密鑰算法,密碼學(xué)公鑰就會成為機(jī)器唯一ID,不可篡改。我要做分包,要做計(jì)量,必須對機(jī)器有一套新的尋址機(jī)制,可以用機(jī)器公鑰的哈希作為尋址要素,代替IP地址。有了這個基礎(chǔ)以后,我們現(xiàn)在就可以看到機(jī)器網(wǎng)絡(luò)變成經(jīng)濟(jì)網(wǎng)絡(luò),怎么講呢?信息在計(jì)算機(jī)在互聯(lián)網(wǎng)傳輸?shù)臅r候,你并沒有給每個貓進(jìn)行獎勵,但機(jī)器網(wǎng)絡(luò)任何活動行為都將帶有該機(jī)器身份的簽名,通過公私鑰和加密機(jī)制,實(shí)現(xiàn)機(jī)器身份和行為的自我證明。機(jī)器網(wǎng)絡(luò)不再是以無特征的信息包作為主體,任何行為都是交易和參與經(jīng)濟(jì)活動的一部分,通過區(qū)塊鏈實(shí)現(xiàn)交易記賬,為后續(xù)交叉驗(yàn)證、行為追溯和貢獻(xiàn)統(tǒng)計(jì)提供基礎(chǔ),我把它概括為交互即記賬。
公鑰對應(yīng)經(jīng)濟(jì)學(xué)就是錢包的概念,你可以設(shè)想,每個機(jī)器都有錢包,人民銀行在數(shù)字世界人民幣,除了大的銀行,還把中國移動、中國電信等運(yùn)營商吸引進(jìn)來,怎么通過數(shù)字人民幣在機(jī)器之間付款。舉一個例子,現(xiàn)在每個車上都裝了ETC,通過收費(fèi)站自動劃費(fèi),將來的場景完全可以直接通過數(shù)字人民幣做,在沒有網(wǎng)絡(luò)的情況下,NFC的方式碰一碰就可以付款過去。當(dāng)然,我們在AI設(shè)備之間不存在碰一碰的問題,之所以說這點(diǎn)是強(qiáng)調(diào)它的安全性非常好,可以適應(yīng)在物的層面進(jìn)行支付這么一個環(huán)節(jié)。
當(dāng)然,數(shù)字人民幣如果用在機(jī)器網(wǎng)絡(luò)更重要的是智能合約功能,每個機(jī)器做了什么工作,直接在錢包之間進(jìn)行人民幣付款。
第二個是AICU錢包,這是我接下來重點(diǎn)提的概念,TCTIP網(wǎng)絡(luò)沒有股權(quán)的概念,只有公司才有股權(quán),但是網(wǎng)絡(luò)產(chǎn)生網(wǎng)絡(luò)價值,我通過什么方式進(jìn)行度量和捕獲,這是AICU做的事情。不管怎么樣,這并不是烏托邦機(jī)制,獎勵機(jī)制背后這個機(jī)器誰控制的,誰買過來的,最后的人可以很多樣。人計(jì)算的基礎(chǔ)設(shè)施,也可以是IDC,也可以是公司,甚至是個人參與這個市場。
計(jì)算任務(wù)的發(fā)包、計(jì)算任務(wù)的分包,計(jì)算任務(wù)與算力的匹配,目標(biāo)是動態(tài)調(diào)劑算力供需,提高算力利用效率。盡可能減少閑置。我們希望所有的計(jì)算任務(wù)都獲得相應(yīng)的報(bào)酬,所有的計(jì)算任務(wù)都按照市場經(jīng)濟(jì)規(guī)則來做,數(shù)字錢包的方式機(jī)器之間支付。更重要的是智能合約,算一下你到底做了多少貢獻(xiàn),我應(yīng)該給你多少錢。這個網(wǎng)絡(luò)有公共產(chǎn)品的味道,網(wǎng)絡(luò)里面需要有人維護(hù),激勵網(wǎng)絡(luò)內(nèi)生增長,怎么辦?引用稅收機(jī)制,分布式網(wǎng)絡(luò)里面每發(fā)生一筆數(shù)字人民幣流動,我自動提取一筆流到公共錢包里面,這筆錢用來做基礎(chǔ)的系統(tǒng)建設(shè)。同時,也構(gòu)成了NSU的價值基礎(chǔ)。NSU本身是機(jī)器網(wǎng)絡(luò)里面的token,它是一個有現(xiàn)金流支撐的token,總量是固定的,定期發(fā)放,每個周期里面它的發(fā)放量指數(shù)衰減,總量是收斂的,我們設(shè)想每個周期開始的時候,系統(tǒng)決定這個周期發(fā)放多少NSU,已有算力貢獻(xiàn)了多少計(jì)算量,等比例發(fā)給他們。
經(jīng)濟(jì)網(wǎng)絡(luò)活動,稅金平均分配給NSU,如果你有一個NSU,不斷有未來現(xiàn)金流的收入,因?yàn)樗欠植际骄W(wǎng)絡(luò),有治理問題,這里就可以引進(jìn)DAO機(jī)制,不管是云計(jì)算設(shè)施、數(shù)據(jù)中心,公司和個人通過投票參與公共事務(wù)。
NSU能產(chǎn)生現(xiàn)金流收入,并攜帶治理權(quán),相當(dāng)于分布式計(jì)算網(wǎng)絡(luò)的“準(zhǔn)股權(quán)”。我們通過一套設(shè)計(jì)方式讓它具備“準(zhǔn)股權(quán)”的地位。一個節(jié)點(diǎn),不管是IDC還是設(shè)備,持有NSU越多的話,在算力匹配里面優(yōu)先級越高。比如打車,你的評分級和司機(jī)評分級越高,你們就會被優(yōu)先匹配。NSU作為網(wǎng)絡(luò)價值的計(jì)量單位,將隨著分布式計(jì)算網(wǎng)絡(luò)的發(fā)展而增值,再加上前面通縮的機(jī)制,越早聯(lián)網(wǎng)的算力和計(jì)算量,同樣的算力和計(jì)算量,獲得更多的NSU,激勵大家越早加入越好。
比如討論在中國范圍內(nèi)這個東西的可行性,其實(shí)不存在任何問題,它確實(shí)借鑒了目前區(qū)塊鏈DePin領(lǐng)域做的事情,分布式公共基礎(chǔ)設(shè)施,這里最典型的項(xiàng)目是Helium,發(fā)展通訊網(wǎng)絡(luò),之前很多人做過探索都沒有成功,但是它通過這么一種方式,很快把節(jié)點(diǎn)在全世界范圍內(nèi)鋪開了,這體現(xiàn)了經(jīng)濟(jì)的作用和資本在里面,完全符合中國對貨幣的監(jiān)管,也符合人民銀行現(xiàn)在發(fā)展數(shù)字人民幣的方向。NSU并不是說一個空的token,有堅(jiān)實(shí)的現(xiàn)金流基礎(chǔ),它有價值基礎(chǔ)支撐。至于將來有沒有一天NSU放在主流股票交易所去做,這取決于后面的發(fā)展和監(jiān)管政策,當(dāng)下是完全沒必要的。在條件不成熟時,可以定期在區(qū)塊鏈上開展針對NSU的公開透明的拍賣,以在網(wǎng)絡(luò)節(jié)點(diǎn)之間調(diào)配NSU。NSU在分布式計(jì)算網(wǎng)絡(luò)中的地位,類似未上市公司授予員工的“影子股權(quán)”。它就能實(shí)現(xiàn)當(dāng)前資本投入和未來收入之間怎么平衡,通過資本把資金收進(jìn)來。
為分布式計(jì)算網(wǎng)絡(luò)的建設(shè)者、運(yùn)營者和維護(hù)者提供公平、可持續(xù)的激勵機(jī)制,通過政府來做成本太大了,收益不見得高。公司壓力也很大,超互聯(lián)新算力的方式來做,共建共享共治,促進(jìn)服務(wù)器和硬件設(shè)備等的聯(lián)合投資,誰投資誰受益,可以自由交易,為網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)發(fā)展出新的金融機(jī)制,把網(wǎng)絡(luò)基礎(chǔ)設(shè)施未來收入通過金融工具的方法把它進(jìn)行組合分拆流轉(zhuǎn),可以提前把收入進(jìn)行變現(xiàn),這也是國家目前在算力市場發(fā)展中正在提倡的金融工具,我們這個和它有點(diǎn)像。但不一樣的是,REITS沒有網(wǎng)絡(luò)效應(yīng),兩個REITS持有者之間沒有任何關(guān)系。但是持有NSU有巨大的網(wǎng)絡(luò)效應(yīng),這也反映了現(xiàn)在大家討論web3.0的事情,美國討論web3.0主要是各種應(yīng)用,我們更多偏向基建方面。
建設(shè)大模型與元宇宙的多元算力網(wǎng)絡(luò)
}“大模型+元宇宙”雙重風(fēng)口的疊加,加速了算力爆炸式增長。~
尊敬的鄭院士、竇教授,各位來賓,大家上午好!
我是摩爾線程的張建中。剛才大家談了很多基礎(chǔ)算力跟算力網(wǎng)絡(luò),鄭教授花了很多時間跟大家分享新的大模型訓(xùn)練跟推理對于算力的需求。其實(shí)我把它總結(jié)在去年跟今年這兩年當(dāng)中發(fā)生的事情,大模型跟元宇宙其實(shí)它們更加催生了全社會,或者是新的計(jì)算世界對算力的大量需求。
剛才分析報(bào)告講,按照這樣估算,大家都要購買A100的話,這100billion的投資是不是必須的,如果我們講價錢是不是必須的,答案是不一定的。但算力是不是必須的,我相信答案是yes,而且很多都證明,我們今天在座的每一位可能都在經(jīng)歷一個巨大的變化,如何讓我們的一個傳統(tǒng)經(jīng)濟(jì)轉(zhuǎn)向數(shù)字經(jīng)濟(jì),傳統(tǒng)經(jīng)濟(jì)轉(zhuǎn)向數(shù)字經(jīng)濟(jì)的過程當(dāng)中,無論你是用GPT的方法去打造和增強(qiáng)你的數(shù)字經(jīng)濟(jì)的發(fā)展,或者是你可能有更加超現(xiàn)實(shí)的想法去把元宇宙的建設(shè)去改造我們傳統(tǒng)的數(shù)字經(jīng)濟(jì)的話,這兩個風(fēng)口其實(shí)都在加大我們對所有算力的焦慮。
人工智能正在高速發(fā)展,它的下一步是每年的迭代還是每幾個月的迭代,如果我們要去看它的算力需求,其實(shí)跟我們產(chǎn)生數(shù)據(jù)的量是有關(guān)系的。我們都知道每天智能汽車采集的數(shù)據(jù)不是以T為單位,現(xiàn)在是以Z為單位。我們的手機(jī),我們每天的聊天記錄,我們每天的微信交流的記錄,圖片也好,視頻也好,文字也好,它的交互方式,它的多元化數(shù)據(jù)來源,都會增加我們對新型算法和新型算力的強(qiáng)大需求。這些模型我相信立刻使用讓我們每一個人都會碰到兩個不可跨越的我把它叫鴻溝。
第一個是算力鴻溝,無論你算力有多快,馬上就會用光。無論你的存儲有多大,很快會用掉。有的時候就像我們自己的辦公室家居環(huán)境一樣,無論給你多大空間你都會很快把它占滿。
怎么樣跨越這些鴻溝呢?在很多的算法、速度、數(shù)據(jù)跟我們的知識積累當(dāng)中,人類最好的經(jīng)驗(yàn)就是吸取和學(xué)習(xí)別人已經(jīng)獲取的知識。所以說,大模型訓(xùn)練不一定每個人都要去做一遍,為什么不從別人那去學(xué)習(xí)呢?為什么我們不能夠在全世界通用呢?如果我們大家都能夠把資源更好的節(jié)約起來,把算力更好的互通起來,把城市變成一臺計(jì)算機(jī),把一個國家變成計(jì)算機(jī),把全球全人類變成一個大的計(jì)算網(wǎng)絡(luò)的話,這樣會給我們節(jié)約大大的資源。
所以在技術(shù)演變當(dāng)中,如果說怎么樣去搭建和組成一個全人類都能夠共享的計(jì)算網(wǎng)絡(luò),就成了我們一個新的研究方向。摩爾線程雖然成立不久,但是我們致力于在算力網(wǎng)絡(luò)當(dāng)中提供一個多元化的算力平臺,我們都知道每個人的數(shù)據(jù)不能千篇一律,即便是我們在今天可能很流行transformer的時候大家去使用,可是它的下一步呢?我們想一想,在transformer之前那些算法呢,之后的算法呢,數(shù)據(jù)的多樣性,多模態(tài)的轉(zhuǎn)變,每個人,每個算法學(xué)家,每個科學(xué)家,他們源源不斷的創(chuàng)意會給我們帶來很多大量的復(fù)雜的或者是非常多元化的數(shù)據(jù)格式。
所以一個算力網(wǎng)絡(luò)它必須要支撐多元化的數(shù)據(jù)格式,如果我們把它去看我們的大模型訓(xùn)練也好,推理也好,計(jì)算也好,你的輸入跟輸出結(jié)果都不會是文字到文字,可能以前從一對一或者一對多,未來一定是N to N,輸入有完全的輸入,輸出也會是無窮的輸出,你的計(jì)算單元一定能兼顧到方方面面的格式。我把簡單的計(jì)算方式統(tǒng)稱為元計(jì)算。因?yàn)樵捞貏e強(qiáng)調(diào)一生二、二生三、三生萬物,我把它選元計(jì)算也是因?yàn)槲蚁嘈乓磺?,講元宇宙計(jì)算和元計(jì)算,其實(shí)它的輸入和輸出哲學(xué)上講會比較玄,但從我們所有計(jì)算格式上去看,它能夠包括的數(shù)據(jù)量就是千千萬萬我們?nèi)祟悇?chuàng)造的各種各樣的數(shù)據(jù)。它的文本生成也好,圖像生成也好,二維的視頻,甚至于三維的模型生成,都可能加深數(shù)據(jù)算力需求量。
如果我們把這些計(jì)算要求在一個大的數(shù)據(jù)中心當(dāng)中完整的處理好,我們想象一下,這樣的處理器可能處理我們的科學(xué)計(jì)算,我們的視頻處理,我們的3D計(jì)算,或者是我們的雙精度、高精度的科學(xué)計(jì)算,或者是一些物理仿真計(jì)算,都有可能在其中把它集成起來。理想的狀態(tài)是需要一個全功能的GPU,我把它叫全功能GPU是希望它的覆蓋面可能會在今后的應(yīng)用當(dāng)中不停的增加,卻能夠滿足不同用戶的需要。我們看這個結(jié)構(gòu)和架構(gòu),我們希望GPU(英文)能夠處理各種不同的數(shù)據(jù)單元,剛才鄭老師講,我們希望它有FP32,有FP16,有IN8,除此之外,鄭老師希望至少有一個1:100的64,我們要滿足,不光是矩陣的計(jì)算。除此之外,我們不光需要2D計(jì)算,還需要3D的計(jì)算。當(dāng)然,基本上這些算力以后一定會在數(shù)據(jù)中心,而這些數(shù)據(jù)中心一定會不知道在哪里。如果我們今天世紀(jì)互聯(lián)能給我們大家形成一個超互聯(lián)的網(wǎng)絡(luò),其實(shí)這個放在內(nèi)蒙古的烏蘭察布,或者放在貴州,對我們來講這個沒有問題的時候,解決了鄭老師的快遞順豐成本的時候,一切就不是問題。
但是在計(jì)算環(huán)節(jié)當(dāng)中,這個處理器作為基礎(chǔ)設(shè)施,把它建在城市大腦當(dāng)中,我們就不能把它建錯,所以在建設(shè)基礎(chǔ)設(shè)施的時候,算力的綜合性、多功能性、多元化性,可能就成為我們?nèi)祟惔罱〝?shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施的時候一定要考慮的一點(diǎn)。
我們把這個叫全功能GPU的時候,希望大家利用GPT和元宇宙兩個風(fēng)口同時發(fā)展的過程當(dāng)中,無論是國家的基礎(chǔ)設(shè)施建設(shè),還是我們每一個民營企業(yè)、國營企業(yè)在建設(shè)大模型、大數(shù)據(jù)的智算中心的時候能考慮到更加全面一點(diǎn)。這樣的產(chǎn)品我們希望能夠把這些元計(jì)算的能力通用的計(jì)算加速的能力源源不斷的在我們數(shù)據(jù)中心當(dāng)中搭建起來,當(dāng)然要搭建這樣一個通用性,你就要有一個完整的支持全功能GPU的基礎(chǔ)架構(gòu),我把這個架構(gòu)叫MUSA。MUSA就是元計(jì)算統(tǒng)一系統(tǒng)架構(gòu),利用這樣的架構(gòu)搭建一個芯片,其實(shí)我們在考慮搭建整個城市大腦的時候,它就像一個小的芯片是一樣的。我剛才和元道討論也是一樣,我們搭建城市的時候,考慮的計(jì)算機(jī)體系結(jié)構(gòu)是一樣的。所以我們等于從一個macro architecture變成是一個micro architecture。無論你是計(jì)算、存儲、網(wǎng)絡(luò)通訊,這是一樣的道理,在大的計(jì)算機(jī)里面是一樣。小到一個超算也是一樣,再小到那個節(jié)點(diǎn)里面也是一樣,剛才鄭老師講的超節(jié)點(diǎn)也一樣,到了節(jié)點(diǎn)里面的處理器還是一樣,它永遠(yuǎn)都是在最大化的利用你的算力,去搭建適合你的算力的網(wǎng)絡(luò)。
我們把全功能GPU運(yùn)用在各個行業(yè)的時候你會發(fā)現(xiàn),今天很多應(yīng)用都可以滿足我們實(shí)際應(yīng)用當(dāng)中圖形處理、科學(xué)計(jì)算、仿真計(jì)算、數(shù)據(jù)分析、AI計(jì)算、推理等等。在很多應(yīng)用過程當(dāng)中,我們搭建強(qiáng)大的基礎(chǔ)網(wǎng)絡(luò)的時候,其實(shí)作為一家芯片公司你很難只是做芯片,芯片只是提供這個算力當(dāng)中的一個部件。作為一家GPU公司我們能做的一定要在芯片的基礎(chǔ)之上,為大家能夠搭建一個完整的算力網(wǎng)絡(luò),這個算力網(wǎng)絡(luò)可能包括你的云端的管理平臺,從怎么去部署單顆芯片,到端的節(jié)點(diǎn),節(jié)點(diǎn)里面可能放幾百個GPU,超節(jié)點(diǎn)有幾千個GPU,組成大的計(jì)算網(wǎng)絡(luò),甚至在跨城市之間遠(yuǎn)距離的大型計(jì)算網(wǎng)絡(luò)就會成為GPU公司研發(fā)的重點(diǎn)方向。
如何讓GPU跟CPU、跟DPU,或者是其他的一些存算多功能異構(gòu)計(jì)算的各種不同處理器能夠綜合在一起使用的話,這個管理平臺就會非常重要。所以我們專門搭建了一個MCCPlatform元算力管理調(diào)度平臺目的是跨平臺、跨月去管理和支持各種不同的算力,去建構(gòu)一個算力網(wǎng)絡(luò)。在這樣的算力網(wǎng)絡(luò)之上能夠提供更多的工具,讓開發(fā)者和用戶更好的使用這樣的計(jì)算網(wǎng)絡(luò),他能夠自動化調(diào)度,按需分配算力,按照各種不同的任務(wù)去節(jié)約大量的成本。像這種大型的網(wǎng)絡(luò)基礎(chǔ)設(shè)施作為一個企業(yè)單獨(dú)去購買、單獨(dú)使用成本是很高的,就像我們?nèi)鐣豢赡苋巳硕冀ㄒ粋€飛機(jī)場,也沒必要每個人建一個高鐵站。但是這樣的基礎(chǔ)設(shè)施大型網(wǎng)絡(luò)設(shè)備應(yīng)該是作為一個公共的基礎(chǔ)設(shè)施去把它設(shè)計(jì)好,讓各個企業(yè)、個人和單位都能夠充分的享受這些數(shù)字經(jīng)濟(jì)給我們帶來的改變。
我相信,這樣的一些基礎(chǔ)設(shè)施可以幫助整個科技行業(yè)從研發(fā)到生產(chǎn),到最后部署運(yùn)營,都能夠有一套完整的解決方案,讓每一家企業(yè)都能順利轉(zhuǎn)型到數(shù)字經(jīng)濟(jì)當(dāng)中去。我們都知道,由于GPT大力出奇跡以后,很多行業(yè)都希望用GPT的方式方法去改造他們行業(yè)的GPT。對于訓(xùn)練一個行業(yè)的GPT,你從數(shù)據(jù)收集開始,怎么有一整套工具在網(wǎng)絡(luò)當(dāng)中收集好、存儲好,運(yùn)用好這些預(yù)訓(xùn)練好的模型,別人已經(jīng)預(yù)訓(xùn)練好的模型沒必要再做一次,搭建你自己的網(wǎng)絡(luò)。如果我們有些行業(yè)知識,可能你認(rèn)為是你的核心競爭力的時候,這些行業(yè)知識你可能不愿意分享給public,這些data可以在自己行業(yè)當(dāng)中專有的支持和搭建你自己的專業(yè)網(wǎng)絡(luò),這些專業(yè)網(wǎng)絡(luò)可以幫助我們很多專業(yè)公司提升他們自己的整體核心競爭力。
部署很簡單,統(tǒng)一的網(wǎng)絡(luò),全國全社會你可以很容易的把你的知識服務(wù)到各行各業(yè)。所以利用GPT和元宇宙的全功能大型的基礎(chǔ)集成網(wǎng)絡(luò)可以幫助很多行業(yè)能夠用低成本就可以服務(wù)到各行各業(yè)的全社會。我們希望利用摩爾線程全功能GPU能夠和像世紀(jì)互聯(lián)基礎(chǔ)網(wǎng)絡(luò)設(shè)施合作伙伴搭建基礎(chǔ)網(wǎng)絡(luò)服務(wù),能夠讓社會大家都能夠共享這些科技帶來的發(fā)展機(jī)會。
當(dāng)然,還有很多這上面的基礎(chǔ)研究也是我們公司在這方面做的一些成果,我們在利用GPU的圖形渲染、人工智能的計(jì)算以及在云端的分布式管理和虛擬化技術(shù),可以讓這些產(chǎn)品去服務(wù)數(shù)字人服務(wù)人工智能的推理,去支撐各行各業(yè)的應(yīng)用,都可以得益于基礎(chǔ)網(wǎng)絡(luò)的建設(shè)。我們也希望能夠和我們的很多合作伙伴在國內(nèi)建立一套更加國產(chǎn)化的服務(wù)本地的很多用戶的需要,滿足我們在基礎(chǔ)設(shè)施當(dāng)中這些算力提供的服務(wù)。因?yàn)樵趪鴥?nèi)我們有很多本地的合作伙伴,他們生產(chǎn)的CPU操作系統(tǒng)等等,這些產(chǎn)品都可以跟我們的GPU組合在一起,能夠提供和服務(wù)各行各業(yè)的用戶,這樣的生態(tài)系統(tǒng)也可以在國內(nèi)培養(yǎng)出一批大量基于新型的人工智能和元宇宙計(jì)算的各方面的合作伙伴。在國內(nèi)很多的開發(fā)者以前可能都在利用國外成熟的API開發(fā)自己的軟件,比如說ChatGPT之后我相信有很多人去想試圖利用ChatGPT API,打造能夠服務(wù)各行各業(yè)用戶的軟件。但不幸的是這些軟件可能在國內(nèi)用不了,怎么辦?要搭建自己的基礎(chǔ)設(shè)施。所以作為基礎(chǔ)設(shè)施的供應(yīng)商和開發(fā)平臺,咱們國內(nèi)有很多很多研發(fā)機(jī)會,去建立一個更加適合本地的生態(tài)系統(tǒng)。
我們也希望能夠利用這些機(jī)會跟國內(nèi)更多的合作伙伴一道去打造基礎(chǔ)服務(wù)網(wǎng)絡(luò),這些不光是芯片,不光是硬件,也不光是網(wǎng)絡(luò)設(shè)施,同時還包括服務(wù)更多開發(fā)者的軟件的基礎(chǔ)設(shè)施,只有這樣才能讓我們的經(jīng)濟(jì)轉(zhuǎn)型走的更順,走的更遠(yuǎn)。
謝謝大家!
AI時代的云計(jì)算
}在確定性消失的時代,思想上的最大問題是以為按照確定性的方法可以解決不確定性的問題。~
各位領(lǐng)導(dǎo),各位來賓,大家下午好!
我們現(xiàn)在所處的這種狀態(tài)是不是因?yàn)檫^去認(rèn)知水準(zhǔn)上做出的決定造成?無論是先進(jìn)的還是落后的,不管是受制的還是不受制的,我今天20分鐘就想講一個話題:我們相不相信依據(jù)過去的想法和思路能夠讓我們解脫今天的困境,或者說是先進(jìn)性。如果這個思維方式不改的話,我們有極大概率會在一年之后、十年之后、五十年之后還在談同樣的話題,因?yàn)槲覀兊乃季S方式還是在用老的思想方式去看新的現(xiàn)象。
但是,這里有一個很麻煩的情況,人類的大腦、我們的思維本身以及我們的物理空間、時空空間,理論上根本不知道下一秒鐘會發(fā)生什么的,當(dāng)我們對下一個動作預(yù)測的時候依據(jù)的是過去的經(jīng)驗(yàn),過去的經(jīng)驗(yàn)適用于現(xiàn)在和未來的概率是多少?肯定不是百分之百,而且大概率事件,我們今天所處的這種情況就是因?yàn)槲覀冇昧伺f的想法才讓我們變成今天這樣子。大家問自己一個問題,我們是否接受現(xiàn)在的狀況?如果接受,說明我們過去的邏輯和決策是對的;如果不接受,我們想再去拿現(xiàn)在的邏輯套明天,或者回到本源,去仔細(xì)考慮一下我們的邏輯是否符合時代的需求。
所以剛剛接到這個任務(wù)說今天和大家交流,20分鐘很難講很多細(xì)節(jié)內(nèi)容,我想咱們就套題目,三生萬物,行則至。
請問,一生二、二生三、三生萬物,一之前是什么?是零,如果我們不從零上重新想問題的話,大概率事件我們還是從過去形成的邏輯走到今天,今天走到明天。談到這個有些人還不是很接受,我問大家三個問題:
第一,大家都坐過高鐵。第二,大家是不是都坐過汽車。第三,第一次坐高鐵的時候,沒有安全帶,會不會安全?高鐵的安全性和汽車比,一個系安全帶,一個不系安全帶,誰高誰低,它是范式的改變,用過去的想法套今天是無法理解的,但人的大腦又沒法思考到你的認(rèn)知圈之外的東西,你不可以想象你不知道的東西。請問大家,我們說即將進(jìn)入一個智能時代,即將進(jìn)入一個元宇宙,即將進(jìn)入Web3.0,我們真的知道我們將進(jìn)入一個什么時代了嗎?因?yàn)槿说拇竽X是一定要用舊有范式,否則沒法接受。人是不主動活在未知的未來,當(dāng)你邁出左腳往前走的時候,我們很難接受我根本不知道這個腳放下去是一個坑,你要想象它不是一個坑,哪怕是一個坑,然后往前走。
像我們最近看的所有文章、所有報(bào)告、所有預(yù)估,都一定是拿過去的一個筐裝今天的瓜,筐和瓜有沒有關(guān)系我們不管了,但是必須暗示自己有一個因果性,哪怕它只是相關(guān)性。所有學(xué)概率學(xué)統(tǒng)計(jì)的都知道,第一門課講的就是相關(guān)性不是因果性。那么,現(xiàn)在看的所有東西是不是只是相關(guān)性,因果性是什么?所以今天的題目特別好,我今天想交流的是,真的是相信三生萬物,行則至。那個三就必然問二是什么,二就必然問一是什么,一就必然問零是什么,這樣咱們才能夠把我們從現(xiàn)在這種不管是好的局面還是不好的局面,抽出來,上一個臺階,否則的話咱們還在這里面打轉(zhuǎn),一會兒我會講過去發(fā)生的一些事情。
我們要相信,我們既不是前無古人,也不是后無來者,我們只是技術(shù)發(fā)展中一個非常小的螞蟻,我們趕上好時代了,這個很危險,因?yàn)槲覀儾恢浪鞘裁?,能不能接受我們不知道,把過去的包袱放掉,干什么?隨時按照當(dāng)前信號給你的分析,而且你要知道信號信道比怎么樣,機(jī)器可以產(chǎn)生很多數(shù)據(jù)信息,請問大家,我們每天看朋友圈里這些信息,你覺得它是誰寫的,你覺得它是把你往一個坑里帶還是往一個山坡上帶,我們想過嗎?因?yàn)槲覀兇竽X還是用海德堡印刷機(jī)時代,我們堅(jiān)信只要是寫出來的,只要是放在我面前的,原先說耳聽為虛、眼見為實(shí),如果現(xiàn)在跟大家講眼見也是虛的,只有行則至,我們愿不愿意這么想問題、這么去做事,還是說不,這個大咖說了怎么樣我就這么做了,有可能對,有可能不對,但是在劇變的時代這樣非常危險。如果OpenAI那些人信了大咖說的話,今天就不會有ChatGPT。如果不是他們兩三年前開始換思維范式,覺得當(dāng)時未被證明的ChatGPT方式比雙向bard好一點(diǎn),我相信我們今天不會談這個話題的,包括世紀(jì)互聯(lián),如果當(dāng)初陳總創(chuàng)業(yè)時相信了專家跟他講的話,我相信不會有這家公司的,也不會有微軟。
我們?yōu)槭裁聪嘈盼覀兟牭降乃^專家的意見,不是說專家的不是,而是現(xiàn)在技術(shù)發(fā)展把每個點(diǎn)給連在一起了,連在一起的好處是網(wǎng)絡(luò)效應(yīng),但有一個后果,什么后果?人的腦子已經(jīng)想不明白了。這是網(wǎng)絡(luò),比如村里有10戶人家,傳統(tǒng)的網(wǎng)絡(luò)效應(yīng),就算雙向,不除2,90個,如果10個節(jié)點(diǎn)實(shí)時連接,實(shí)時產(chǎn)生0和1的互動,我同意或者我不同意,是10的27次方指數(shù)關(guān)系,請問,有哪個腦袋能夠把這個問題想明白?所以我們要靠機(jī)器去算,幫我們計(jì)算這些各種可能性以及之后產(chǎn)生的答案,給我們做參考。AI時代,一方面云計(jì)算會有足夠的算力來算這些事情,但是很重要的,算的這些東西也能夠反哺云計(jì)算,讓云計(jì)算更高效,它的虛機(jī)、容器分布,誤差信息的及時檢測,各種自動化,現(xiàn)在云計(jì)算如果還在靠腳本去管的話,不是不可以管,這是兩難問題。它意味著兩點(diǎn):第一,你確實(shí)用腳本管,還管成了;第二,你剛好有資本去管云計(jì)算,還沒有到用算法管云計(jì)算。當(dāng)你不用算法管云計(jì)算還管的很好的時候意味著什么?意味著你的連接才是90的連接,而不是10的27次方的連接,這種信號會誤導(dǎo)你,覺得我是行的,所以本質(zhì)上出問題了。
這是我非常喜歡的一個英國作家,他寫的這部戲,200年前維多利亞時代和當(dāng)下新的思維方式做同一件事,萬一你認(rèn)為的基礎(chǔ)都錯了再往上搭樓就沒法搭了。微軟里面我觀察到的現(xiàn)象,誠懇地講,我根本不知道現(xiàn)在發(fā)生什么事了,因?yàn)槊總€人每天都在刷新昨天的認(rèn)知,我在這個行業(yè)中看到,如果有資格說我昨天錯了,恰恰不意味著你不行。如果每個人說,老板抱歉,我昨天想錯了、昨天說錯了。這個人一定要嘉獎,一定要鼓勵,為什么?因?yàn)樗蛱煺驽e了。如果有人跟你說老板,去年定的方案我想的特別對。要小心,這種有可能是幸存者偏差,小概率現(xiàn)象極大表現(xiàn)。
在這種情況下,大衛(wèi)斯諾登(音)是IBM的科學(xué)家,他在本世紀(jì)初就跟情報(bào)系統(tǒng)做應(yīng)對復(fù)雜性挑戰(zhàn)的事情,這里有個框架,他去年寫了一個論文,作為綱領(lǐng),他跟大家講這年頭方向?qū)α司托辛?,不要那么較真你要去哪。東北的朋友知道,每年春節(jié)要去海南過冬,那個就是終點(diǎn)。其實(shí)東北朋友們的春節(jié)沒必要去海南過冬,你只需要去一個溫暖的地方就可以了。你的溫暖的定義和別人是不一樣的,如果你走到福建覺得夠溫暖了你就走到福建,如果預(yù)先說別人說了海南過冬,造成交通擁堵,你說是海南錯了還是你的方向本來是找移居溫暖的地方,結(jié)果被框在里面了,目的變成方向了。如果我今天知道了否定昨天,跟老板說明天要把今天否定掉,這對老板的挑戰(zhàn)就來了,你說這人該不該用?
所以敢于承認(rèn)不知道,但還是行則至的人才和想法、公司才有未來。
我既不知道它是什么,我也不確定它不是什么,但大致知道是什么和可能不是什么。古人講做個明智的人,這個智我加了個知人者智,自知者明。光知道人不夠,還要知道機(jī)器,在這種情況下,我把微軟Microsoft 365里面每一個詞掰開了揉碎了講一下,再次強(qiáng)調(diào),不是答案,只是觀察,可能就把它破掉了,但是不破不立,這種物種的生存能力可能就好過我想知道,因?yàn)橹涝谡軐W(xué)領(lǐng)域稱之為全是主觀的,知識本來就是主觀的,你認(rèn)為怎么樣就怎么樣,我們都是盲人,今天可能我摸的是大象的屁股,AI時代云計(jì)算像一堵墻,小馬過河下水了,摸象的鼻子說像根繩子,咱倆誰對誰錯?沒有誰對誰錯,行則至,貝葉斯大腦,它的最大特點(diǎn)是你隨時用新知識新信息糾正原來的PA,然后變成PAB。
40分鐘產(chǎn)品發(fā)布,我問了很多人,大部分人看了后面的演示,很炫,但演示基本上做的那一刻就過時了,今天和你講的技術(shù)明天就過時了,這是劇變的時代,你一定要知道當(dāng)時那個想法怎么出來的,圣人畏因,凡人畏果。你追因有可能把土地弄好了長出參天大樹出來,等別人桔子樹長出來了你說我也種一個桔子樹,萬一你的土地在淮北,你就不應(yīng)該種桔子樹,種蘋果就完了,要有一棵能夠在這片土地上長出來可以吃的水果,把蘋果做的最好是可以和桔子交流互換的,因?yàn)榛茨祥L不出這么好的蘋果樹。
推薦大家看這篇文章,1945年寫的,提到了memex信息設(shè)備,世界上所有名字選的都是隨機(jī)的,代表想法,但是更多是愿意讓你聽的,是名字后面的邏輯,我把它抽象成selection by association,生成往下下一個詞怎么出來?一個布什,一個恩格爾巴特,搭建了特別好的數(shù)字化轉(zhuǎn)型范式,你學(xué)那個范式比誰都強(qiáng),未來也是跟他學(xué)的,咱們一直想解決的就是大腦的問題。
未來十年內(nèi),如果每個人手邊都有一個小D,你問他這個人是什么人,它站在我們所有人肩膀上,以一個個體在眾智的基礎(chǔ)上大家互相PK,那個時候現(xiàn)在很多范式就完全解開了,教育的方法、選人的方法。如果招程序員的話,一個會刷題的,跟一個老板你能不能給我聯(lián)網(wǎng),我直接在大預(yù)訓(xùn)練模型上算法,把活給干了,我想你當(dāng)然是想要把活干了的程序員??墒俏覀兊目荚嚭瓦x人機(jī)制沒辦法那么快把活干出來,新的大預(yù)訓(xùn)練模型都是概率模型,有時候是會發(fā)瘋的,不放在0,放在1度,有時候胡說八道,不能不懂,又不能全記下來,還要做活快。所以我們現(xiàn)在需要的是完全不同物種的程序員、管理人員、公司形態(tài)、社會形態(tài),如果我們還拿過去去套web3.0、人工智能、元宇宙、區(qū)塊鏈,元宇宙已經(jīng)三十年的詞了還當(dāng)真,信息時代知識經(jīng)濟(jì),別追那些新詞,會誤導(dǎo)我們的,我們就是讓機(jī)器用知識幫人類做決策,讓機(jī)器干活。
正是因?yàn)檫@樣,機(jī)器很容易成為神,人的大腦思維很容易產(chǎn)生共情,一旦產(chǎn)生共情,當(dāng)機(jī)器的行為方式跟人有一定匹配度的時候,我們沒法想,機(jī)器怎么做的,拿一個人類的詞給它,機(jī)器會思考,機(jī)器會判斷,機(jī)器會把人殺掉?NO,機(jī)器是用它的方式,如果思考的話請給它加一個金字旁,機(jī)器的判斷和人是不一樣的,我們?nèi)绻a(chǎn)生共情的話很容易錯誤判斷機(jī)器的能力,真以為它知道什么叫排序了,它不知道。它的每一個token都是概率算出來的,這時候人就知道怎么做了,做機(jī)器的主人。
這是大都會,一個默片,講的是思考的決策大腦和行動手之間需要有一個中間調(diào)解人,這個調(diào)解人必須是人心,這是將近一百年前說的。
我們現(xiàn)在做數(shù)字化轉(zhuǎn)型,管理云計(jì)算中心。在它沒有被自動化之前,每一個節(jié)奏都是很浪費(fèi)精力的,但你想象一下,這里的每一個動作都是事件Base的,每一個動作都是沒有記憶力的,就是有一個動作。公司里面無論是財(cái)務(wù)、人事、運(yùn)營,還是銷售、生產(chǎn),把所有流程都變成一個Action,然后給它一個信息,如果公司全都這樣的話,馬上就能做數(shù)字化轉(zhuǎn)型,馬上就能讓機(jī)器幫你把這里面的每一個trigger,根據(jù)某種commission移步往前走。這個我認(rèn)為就是AI要搭架子的基座、腳手架。所有公司所有流程如果沒有這個腳手架的話,你再請AI、再好的工程師、再好的算法都沒有意義,因?yàn)槟銢]有一個可被trigger的,每個actor與actor之間彼此要互相調(diào)用,而且是沒有記憶力的,有記憶力就亂了,記憶力要在外面記,里面只管做事。這是機(jī)器的做法,每一個都是trigger。
我們的云計(jì)算流程,我們的公司,有沒有形成這個毫無用處的機(jī)器,如果沒有形成的話,我們談人工智能就稍有點(diǎn)距離。這里有trigger、有定時器,用機(jī)器算法做的定時器,不同的(同上),讓這個事情有并行、有串行,有延時,慢慢往前走,這就是數(shù)字化標(biāo)準(zhǔn)的模型。
哥德兩百年前寫的小說《魔法師的學(xué)徒》,這東西你會開就要會關(guān),不會關(guān)就出問題了,還要像寶瓶中的精靈一樣,能收回去,最后的備份方案永遠(yuǎn)是人,這個公司又能夠最高效,同時又不會被機(jī)器搞死。這就是它的邏輯,其實(shí)就是兩件事,人是有弱點(diǎn)的,咱們有一堆毛病,機(jī)器能幫我們解決這些毛病,它也腦補(bǔ)了,我們不得不腦補(bǔ),否則就活不到今天,現(xiàn)在機(jī)器沖著人的思想去的,我們不能老自己腦補(bǔ),比如你看這人,一定是你有一個固化思維它就怎么樣,不是這樣的,但是人要智慧機(jī)器。
所以第二個問題,Copilot,智能副駕優(yōu)先過自動駕駛,為什么?通常我們認(rèn)為先有智能副駕,再有全自動駕駛,不是的。微軟是說Autopilot是Copilot之前的事,以后我們要的是智能副駕,誰為主體誰為客體不要小看這個,這時候腦補(bǔ)一下,十年以后路德主義風(fēng)行。對技術(shù)能力的信仰,促成了對技術(shù)能力的實(shí)現(xiàn)。對人類價值觀的信仰,才能守住人類的主體性??傉f機(jī)器代替人,這樣很容易產(chǎn)生誤導(dǎo),而且讓這個社會甚至走向一個本來不應(yīng)該走的方向,其實(shí)Copilot就是以人為本,Autopilot以機(jī)器為本。
左邊是大語言模型,右邊是應(yīng)用,中間是知識圖譜,一個數(shù)據(jù)庫,這個我覺得是核心,如果所有公司都在用大語言模型的話你是everyone,因?yàn)槊總€人都有。如果存成知識圖譜,被大語言模型語義匹配,那么你們公司說的促銷跟可口可樂說的促銷,語義上是不一樣的,這時候你們公司才能真正擁抱機(jī)器的能力,否則的話是沒有核心競爭力的。你的第一步是擁抱大語言模型,才更需要踏踏實(shí)實(shí)做數(shù)字化轉(zhuǎn)型,其實(shí)就是信息化,信息化遠(yuǎn)沒有完呢。
談到AI,也別只是一個OpenAI,是整個系統(tǒng)工程,復(fù)雜的巨系統(tǒng)工程,是一個短板效應(yīng)加長板效應(yīng)的結(jié)合,一個機(jī)器連一個螺絲釘,如果不結(jié)實(shí)的話這個機(jī)器就跑不了,哪一個能不做呢?哪一個都得做。
最后,其實(shí)還是知識,還是數(shù)字化轉(zhuǎn)型,還是流程再造,還是全員賦能,還是AIX,是所有的東西。這么談AI就容易了,AIOps就是把客戶需求、服務(wù)內(nèi)容和工程全部自動化,然后一步一步的,從以人為本的技術(shù),到模型安全合規(guī),到可解釋的AI模型,小步快跑式的AI功能落地。用幾個模型演示一下,你能干這活是微軟做的事,在座各位千萬別做這種事,因?yàn)槟闶悄脕碣嶅X的,微軟是賣這個能力的,給您演示的是結(jié)果,從您來講您是一下達(dá)不到這個結(jié)果的,需要一步一步從一樓走到十樓,這個邏輯千萬別忘記。
初看都是技術(shù),全都是人的問題,人的問題全是思想的問題,思想的問題最大的問題就是死不悔改,我比你有經(jīng)驗(yàn),我比你牛,我比你官位高,我比你知識多,所以才聽我。這個時代怎么可能呢,是誰站在時代最前沿聽誰的。從個體到集體,得有領(lǐng)域模型,沒有領(lǐng)域模型你跟其他公司是一樣的,你的每個流程,每個動作,全都有個副駕,人在中間來做決策,最后從整體來講我認(rèn)為咱們面臨的挑戰(zhàn)遠(yuǎn)比AI大得多,是文明之爭,文明生存與發(fā)展之爭。這個以后有興趣可以深談,當(dāng)我們說人工智能、工業(yè)革命,我傾向于它說小了,它就是一次文藝復(fù)興,人類知識再造,還是要解放思想,不要把機(jī)器當(dāng)神,謝謝大家!
超互聯(lián)新算力的創(chuàng)新發(fā)展
}今天不再是一切皆信息,現(xiàn)在變成一切皆計(jì)算。算粒(Computinglet)+超級互聯(lián)將帶來新算力的三大突破:突破計(jì)算節(jié)點(diǎn)算力供給極限難題、突破高速總線網(wǎng)絡(luò)廣域部署難題、突破算力網(wǎng)絡(luò)協(xié)同建設(shè)機(jī)制難題。~
尊敬的鄭院士,尊敬的各位好朋友,非常高興有機(jī)會和大家在這里做一個小小的分享和匯報(bào)。我是一名在民營企業(yè)做數(shù)字基礎(chǔ)設(shè)施的老兵了,見證了一路上的發(fā)展,很激動人心看到現(xiàn)在最新的通用人工智能的發(fā)展,可以想象對未來基礎(chǔ)設(shè)施的變化,在這里和大家做一些對未來思考的分享。
有以下七點(diǎn):
第一個,兩個戰(zhàn)場,多大的戰(zhàn)場?前面幾位嘉賓都談到了,三四個月翻一翻的算力,從華為角度看,如果綜合下來,到2030年是500倍的通用人工智能訓(xùn)練所帶來的算力增長,有不同的角度。剛才微軟中國CTO韋青說的非常好,每天刷新自己,我們不做任何判斷,我們把不同的數(shù)據(jù)擺在自己面前,我們用自己的眼睛去觀察,看看最后哪個判斷是對的,從我個人來看,我更愿意相信,確實(shí),如果是每三到四個月以100天的速度翻一番的話,確實(shí)是面臨百萬倍指數(shù)級增長。
針對中國這樣的國家,這件事情一定不是純市場化的。今天我們的優(yōu)勢,我們的體制,一定是跟舉國體制相關(guān),去看待算力。如果是傳統(tǒng)的舉國體制,百分之百依賴傳統(tǒng)舉國體制,還是今天數(shù)字文明的時候我們可以同時此消彼長,既有主戰(zhàn)場也有第二戰(zhàn)場,國家所提出來的新型舉國創(chuàng)新體制。本質(zhì)上講,繼承舉國體制創(chuàng)新的基礎(chǔ)上,我們要看商品不能只看產(chǎn)品,我們看效益不僅僅實(shí)現(xiàn)目標(biāo),像這些理念如果搬到這個行業(yè)來,搬到算力領(lǐng)域來,這兩個戰(zhàn)場看得很清楚。一邊是大的美,統(tǒng)一的美,自上而下的美。另一邊是自下而上的美,是多姿多彩的美,是個性化的美,是來自群眾智慧的美,如果這兩種力量都能夠匯聚在一起,共同為今天我們舉國體制的優(yōu)勢在新的數(shù)字文明時代發(fā)揮好,兩條腿走路。
這是第一個和大家分享的觀點(diǎn)。
所以我們今天的行業(yè)不僅僅是舉國體制的超算,還包括非超算,非超算一樣可以超互聯(lián),一樣可以打造新的算力產(chǎn)業(yè)。
對于第一個戰(zhàn)場,今天是思想的盛宴,大咖云集,群星閃耀,聊的非常多,我不展開談了。有很多數(shù)字,從半導(dǎo)體工業(yè)來的數(shù)字,如果今天Google上所有的搜索全部轉(zhuǎn)成通用人工智能體系的話,需要400萬張以上的A100卡,像這樣一個自上而下的美,這樣一個強(qiáng)大的美,我們看到了它的美,很多時候是仰望星空,可望而不可及,我們不能完全依靠一條腿走路。
如果我們談?wù)f除了這些平臺的強(qiáng)大自上而下的推動之外。第二個方向,我們說的很容易,多中心化,多姿多彩,在工程上,在科學(xué)基礎(chǔ)上,它的支點(diǎn)是什么呢?為什么可以做到呢?我們怎么樣把烏托邦變成今天是我們工程師可以相信的一步一個腳印往前走的東西呢?第二個主題詞是Computinglet,這個詞怎么來的呢?不是我們聯(lián)盟在談,不是中國人在談,是全球很多今天對去中心化超大規(guī)模100萬倍指數(shù)級增長基礎(chǔ)設(shè)施有想法的科學(xué)家、工程師、芯片設(shè)計(jì)者都開始意識到一個問題,我們要在過去,如果說最底層是芯片設(shè)備,再往上走是基礎(chǔ)設(shè)施,當(dāng)我們?nèi)フ勔粋€100萬倍基礎(chǔ)設(shè)施的時候,過去基礎(chǔ)設(shè)施從來沒有這么增長,如果算力基礎(chǔ)設(shè)施按照100萬倍增長的時候,我們今天可以借鑒的工業(yè)路線圖應(yīng)該去芯片里去找,芯片過去發(fā)生過的故事是“芯?!薄?/p>
這么一個芯粒的故事,從不同的角度來解讀,一個7納米制成的芯片,如果說在一些非關(guān)鍵性的一些模塊上,能不能和22納米器件這成的,能夠組合在一起,互相間連接在一起,不要百分之百依賴7納米器件,這些在半導(dǎo)體工業(yè)發(fā)生過的精彩故事能不能吸納到基礎(chǔ)工業(yè)領(lǐng)域,這是“算?!盋omputinglet。
從芯粒到算粒不是簡單一個字的改變,一個新算力,我們的一個愿景,一個百萬倍未來十年增長的愿景,我們?nèi)フ业焦こ處煹那腥朦c(diǎn),我們想到了算力,這種算力,如果它每一個最小顆粒,我們?nèi)ソ梃b一個7納米和22納米制成的一個新模塊,能夠無縫銜接在一起,構(gòu)成一個不依賴于7納米,但同樣能達(dá)到很好效果的一個芯片力量。同樣,今天非超算的最小計(jì)算單元和超算的計(jì)算單元,國家發(fā)改委在提到“東數(shù)西算”的時候用了三異,異構(gòu)、異數(shù)、異地。這三異的運(yùn)算能不能高效互聯(lián)、能不能高效協(xié)同、能不能組成合力、能不能東西南北全調(diào)度。在這種情況下,我相信從這套政策思考是可以在半導(dǎo)體工業(yè)界的工程師的方案里面去找到很多答案的,我們一批的工程師,一批沒有分國界的,對開源軟件信仰,對密碼學(xué)信仰的一批人,我們在做這件事情。
我們希望把這些東西能夠做成對下一個從互聯(lián)網(wǎng)有http,今天不是一切皆信息,現(xiàn)在變成一切皆計(jì)算的時候,我們能不能有一批工程師一塊兒來做出一個能夠超越不是為點(diǎn)到點(diǎn)的信息交換而做的一個網(wǎng)絡(luò),我們今天是為一個異地、異構(gòu)、異數(shù),一個高速交換的超算和“非超算”高速互聯(lián)的一個新型的計(jì)算總線而做的開發(fā)協(xié)議,這套東西叫超互聯(lián),它是hyper connected computing architecture下的思考。在這里面要形成突破,算力有各種各樣的形態(tài),規(guī)模上不限制,既可以有太湖之光這種超大規(guī)模的超算基地,也可以有家里放的一個小小的算力節(jié)點(diǎn),這些不同大小的異地、異構(gòu)、異數(shù)的節(jié)點(diǎn),如果能夠真正形成超級互聯(lián),它就可以實(shí)現(xiàn)把我們今天原來談“東數(shù)西算”,強(qiáng)調(diào)東和西的均衡配置,提“東數(shù)西算”的時候還沒有這么大規(guī)模的通用人工智能的爆發(fā),但今天已經(jīng)不是東西配置了,是東也不夠、西也不夠,兩邊都不夠,面臨的是每三到四個月100天的速度在翻一番的速度訓(xùn)練,這種情況下,我們原來所談的算力規(guī)模的瓶頸,廣域連接網(wǎng)絡(luò)的瓶頸,清華大學(xué)高性能計(jì)算小組,到內(nèi)蒙古,到太湖之光,像這樣的廣域網(wǎng)絡(luò)的瓶頸以及協(xié)同的瓶頸,這三大瓶頸我們能不能在一個新的結(jié)構(gòu)里面,今天我們走出原來的一個在大樓里面的高性能計(jì)算,一個在數(shù)據(jù)中心里面的計(jì)算,我們把這兩種在高性能科學(xué)計(jì)算,這一群機(jī)器里面所發(fā)生過的網(wǎng)絡(luò)芯片、連接、平衡、測量等等,把這些技術(shù)提煉出來。我們也把云計(jì)算里面過去所發(fā)生的超大規(guī)模云計(jì)算,滿足雙11億萬次并發(fā)沖擊的很多最佳實(shí)踐,我們把它提煉出來,打造一個開放式的,能夠超越過去互聯(lián)網(wǎng)的新的Cyber Space。
這和過去的有什么區(qū)別呢?過去的網(wǎng)絡(luò)沒有股權(quán),過去的公司是有股權(quán)的,中國電信上市,中國移動上市,各個電信公司因?yàn)橄硎芰嘶ヂ?lián)網(wǎng)寬帶的增長,業(yè)績持續(xù)增長,像世紀(jì)互聯(lián),像萬國,像其他友商秦淮等等,我們都分享了互聯(lián)網(wǎng)基礎(chǔ)設(shè)施巨大發(fā)展而形成的股權(quán)。那么,每一個用戶家里,每一個個人只是作為用戶,就像我們坐滴滴,每一個滴滴用戶是滴滴經(jīng)濟(jì)體的重要成員,完全被動式的作為滴滴經(jīng)濟(jì)的成員。在我們談算力的時候,能不能引入此算力再加上彼算力,這兩個事情組合,如果每一個算力單元它都是有獨(dú)立的身份,它是一個可以計(jì)量的經(jīng)濟(jì)活動,它是一個可以進(jìn)行點(diǎn)到點(diǎn)交易的主體。在這種情況下,是不是我們今天建設(shè)百萬倍指數(shù)級增長的時候不僅僅依靠國家開發(fā)性金融,我們依靠REITs,依靠更多點(diǎn)到點(diǎn)的,中國過去在各地建立起來的數(shù)據(jù)交易所,我們看到的這些數(shù)據(jù)交易,這些完全數(shù)字文明,完全數(shù)字化世界里面的金融產(chǎn)物,把這里面所發(fā)生的一些行為范式能夠用到我們的算力世界里面去。
除了經(jīng)濟(jì)規(guī)模之外,還有一件事情大家可能也都注意到了,大概兩周左右的時間,中央網(wǎng)信辦提出對生成式人工智能監(jiān)管的臨時規(guī)范,這套規(guī)范出來意味著什么呢?今天任何一家大模型公司滿足監(jiān)管和合規(guī)的成本非常巨大,我們今天在短視頻時代,像抖音、快手,為了保證中心化平臺視頻合規(guī)需要付出巨大代價,這只是短視頻,如果變成人類文明里面知識系統(tǒng),全部以這種方式打造一個新型的硅基和碳基融合的世界,靠這套方法還行嗎?我們覺得在這個時候,當(dāng)我們在談算力的時候,它不僅僅是工程師的問題了,它涉及到很多治理,涉及到一個國家對數(shù)智體系再往下走的時候法律監(jiān)管的體制。這個體制里面不應(yīng)該只是一個傳統(tǒng)平臺,一個傳統(tǒng)服務(wù)商的監(jiān)管邏輯,應(yīng)該是把人請進(jìn)來,把家庭請進(jìn)來,應(yīng)該human in the loop,城市之所以稱為城市,不僅僅是冷冰冰的建筑,它有家庭,有很多最小單元,有民宿,應(yīng)該把這些力量成為新的生成式人工智能時代,硅基碳基,這是一個探索性的事業(yè),應(yīng)該讓所有的參與者,所有的用戶,用自己自律的力量,成為監(jiān)管的組成,成為大平臺公司監(jiān)管上的成本和代價以及風(fēng)險。
從這個意義上講,要支持剛才所講的這套力量,同樣需要一套能夠超越現(xiàn)在TCPIP的底層協(xié)議,能夠超越現(xiàn)在互聯(lián)網(wǎng)計(jì)算結(jié)構(gòu)的一個新型網(wǎng)絡(luò)基礎(chǔ)設(shè)施結(jié)構(gòu)。這里我和大家分享一本書《大教堂與集市》,大家有空可以看一看。這背后所談的自律,今天群體的力量怎么能夠比一個單一的力量更加強(qiáng)大。
剛才我談到了很多城市,今天的主題之一,城市就是一臺計(jì)算機(jī),這臺計(jì)算機(jī)是什么計(jì)算機(jī)呢?它不是傳統(tǒng)的這一臺計(jì)算機(jī)的概念,它已經(jīng)是一種新型的,我們叫citylet,就像剛才韋青所談的,我們上高鐵不需要戴安全帶,這和我們傳統(tǒng)的認(rèn)知已經(jīng)完全不一樣了。這臺計(jì)算機(jī)的工程雛形,在高性能計(jì)算里我們已經(jīng)看到了,在數(shù)據(jù)中心內(nèi)部是高速的、立體的、無縫銜接的二層網(wǎng)絡(luò)。這套結(jié)構(gòu)我們在數(shù)據(jù)中心內(nèi)部,不管是支持是HPC的還是支持super cloud,走出機(jī)房,走到城市每一個角落,走到每一個家庭的桌面,走到辦公室里面去,這個結(jié)構(gòu)是我們所談的city as a computer的節(jié)點(diǎn),也是一個城市算粒(粒子的粒)的起點(diǎn)。
今天是一個思想的盛宴,我們和一般的談AGI的會議不同,我們既有鄭院士,我們有通用人工智能最領(lǐng)先的微軟公司,有摩爾線程這樣的芯片公司,當(dāng)我們談基礎(chǔ)設(shè)施的時候,基礎(chǔ)設(shè)施不僅僅是工程師邏輯,它有哲理,有哲學(xué),一個工程師背后已經(jīng)是城市文明的標(biāo)識,基礎(chǔ)設(shè)施既有硬核可以向大家服務(wù),同時作為文明符號,它有很多哲學(xué)的含義,文明的含義。另外,它也代表了當(dāng)一個城市進(jìn)步,如果說一個城市有24小時熱水可以提供,有很好的甚至你可以家里不安裝空調(diào),因?yàn)橛蟹浅:玫墓蚕硎降哪茉聪到y(tǒng),這樣的城市,這樣新型的基礎(chǔ)設(shè)施,它就代表文明演進(jìn)的前進(jìn)方向。同樣,當(dāng)我們今天看到在信息基礎(chǔ)設(shè)施上,各個城市要雙千兆入戶,不管是千兆還是雙千兆,它都是針對信息交換。
今天當(dāng)我們談價值交換世界的時候,當(dāng)我們今天連接的不僅僅是信息,我們是一切皆計(jì)算的世界,我們連接的每一個節(jié)點(diǎn)可以是一臺帶電設(shè)備,可以是機(jī)床,萬物連接無所不計(jì)算的世界的時候,我相信不管是千兆還是雙千兆,都不能滿足需要了。在這種情況下我們所談的基礎(chǔ)設(shè)施,今天我們所邀請的,為什么用聯(lián)盟的方式來推動,要做產(chǎn)業(yè)算芯,要一塊兒跨界的融合,來共同打造這個新物種。從產(chǎn)業(yè)上我們看到在一個城市里面,如果從主線索上,市政過去從來不管數(shù)智經(jīng)濟(jì),數(shù)字經(jīng)濟(jì)過去底座只有三大運(yùn)營商,除了三大運(yùn)營商的力量,我們能不能把中國最有活力的基層的行政單元的力量,把這些縣長、區(qū)長、區(qū)委書記,把他們對數(shù)字基建的力量,把他們對算力的理解,放到基礎(chǔ)設(shè)施里面來。構(gòu)成用新市政、新算力以及新的虛擬電廠,一個城市的百分百的綠電已經(jīng)完全不能依靠簡單的電網(wǎng)了,它一定是源網(wǎng)荷儲,有新能源的源頭,有電網(wǎng),有高質(zhì)量的,像數(shù)據(jù)中心這樣高載能負(fù)荷平衡,然后引發(fā)大規(guī)模儲能。源網(wǎng)荷儲聯(lián)動,所以我們今天談超互聯(lián)新算力產(chǎn)業(yè)的時候,不僅僅是左邊的云計(jì)算IDC,全光的城市網(wǎng)絡(luò)產(chǎn)業(yè),今天是一體兩翼的右翼,是數(shù)據(jù)的持有權(quán)、經(jīng)營權(quán)、受益權(quán),中國創(chuàng)造性的把數(shù)據(jù)作為生產(chǎn)要素市場化改革,以發(fā)改委來推動,很快就會迎接來國家數(shù)據(jù)局的成立,對數(shù)據(jù)二十條的推動,我相信這些事情精彩還沒開始,但我們看到了通用人工智能,看到了ChatGPT的演進(jìn),看到了千億個參數(shù)模型已經(jīng)給我們帶來的震撼,再到鄭院士談的百萬級參數(shù)方向演進(jìn)的時候,大家真的會覺得精彩還沒有開始。
我們不斷提到參數(shù),億,百億,千億,到百萬億級,參數(shù)非常重要,我們在談過去云計(jì)算的時候,當(dāng)我們作為雙11用戶的時候,阿里云CTO談阿里云能夠承載雙11巨大沖劑的四大法寶之一,是馬云率先大規(guī)模超大規(guī)模部署RDMA,我們剛才所提的第五個關(guān)鍵詞,從雙戰(zhàn)場到芯粒,到家庭芯粒,到城市芯粒,第五個關(guān)鍵詞是RDPA,我們把MA的M,一個內(nèi)存訪問改成了參數(shù)訪問,今天在通用人工智能時代,一切的一切,都是以參數(shù)作為對象,參數(shù)是關(guān)鍵。過去我們談RDMA的時候是說一臺機(jī)器內(nèi)存和另外一臺機(jī)器的內(nèi)存我們不需要動用各自的操作系統(tǒng)的情況下,能夠直接訪問,能夠(英文)到原來的操作系統(tǒng),這套邏輯能夠大大提升效率,能夠大大減少時延。這套邏輯如果用在我們的算力體系里面,用在我們所談的超互聯(lián)里面,那么這套協(xié)議我相信和剛才宣傳片所看到的,在引入一個底層是一個原汁原味的密碼學(xué)基礎(chǔ)設(shè)施,公鑰就是地址,我們不需要從一個機(jī)構(gòu)那去拿,不需要從美國申請V4、V6,我們今天能夠在用戶側(cè)用數(shù)學(xué)產(chǎn)生全球具有唯一性的一個公鑰地址。像這樣的東西,RDPA,一個密碼學(xué),分布式計(jì)算,這個結(jié)合構(gòu)建起來一個新型的超越過去TCPIP作為信息交換全球共識網(wǎng)絡(luò)的底座,互聯(lián)網(wǎng)依然偉大,互聯(lián)網(wǎng)會繼續(xù)偉大,但是互聯(lián)網(wǎng)會就到上面去,在互聯(lián)網(wǎng)下面可能會被一個超互聯(lián)所代替。就像今天我們想象互聯(lián)網(wǎng)的時候,我們的通信、我們的電話依然偉大,只不過今天你不再用電話機(jī)了,今天你用微信APP把過去所有電話做的事情代替了。
當(dāng)我們剛開始用互聯(lián)網(wǎng)的時候,電話網(wǎng)在上面,互聯(lián)網(wǎng)在下面,可是今天倒過來了,互聯(lián)網(wǎng)在下面,我們今天的微信代替了電話網(wǎng),電話跑上面,那么同樣,我們在今天這個時代,在談互聯(lián)網(wǎng)的時候,我們一樣的,我們在談如果說互聯(lián)網(wǎng)的下面,一個二層網(wǎng)絡(luò),一個傳統(tǒng)的二層全程關(guān)鍵化的網(wǎng)絡(luò),能不能被RDPA,能夠被HCCB,被這套密碼學(xué)和借鑒超大規(guī)模云計(jì)算和超大規(guī)??茖W(xué)超算里面的網(wǎng)絡(luò)經(jīng)驗(yàn)吸納出來,我們再把芯片工業(yè)界里面發(fā)生過的chiplet這套工程拿出來,這可能就是我們要做的事情。
最后還有兩個關(guān)鍵詞,一個偉大時代到來,我們暢想各種各樣應(yīng)用場景的時候其實(shí)都離不開一個應(yīng)用場景,都應(yīng)該和它的基礎(chǔ)用戶,基礎(chǔ)用戶都應(yīng)該連著基礎(chǔ)應(yīng)用。所以像我這樣做基礎(chǔ)設(shè)施的,我們天天談基礎(chǔ)協(xié)議,談基礎(chǔ)設(shè)施,談基礎(chǔ)資源,像域名,像IP地址,這些屬于基礎(chǔ)資源,我們談的是三基,基礎(chǔ)協(xié)議、基礎(chǔ)資源和基礎(chǔ)設(shè)施。可是這三個東西你真正想要拿到它還有兩個更重要的,一個是基礎(chǔ)用戶;一個是基礎(chǔ)應(yīng)用。我們今天談“東數(shù)西算”,我們今天談通用人工智能,如果對這套體系最了解的用戶他們一定是新一代原住民,他們不滿足于我的數(shù)據(jù)停留在別人的平臺上,除了平臺之外,根據(jù)中國的《個人信息保護(hù)法》,每個人都擁有你自己數(shù)據(jù)的持有權(quán),可以和平臺共同共同發(fā)展,這套東西我相信我相信世紀(jì)互聯(lián)從超大規(guī)模數(shù)據(jù)中心開始,除了服務(wù)超大規(guī)模用戶,我們服務(wù)實(shí)體經(jīng)濟(jì)中型用戶,我們未來還會服務(wù)千家萬戶個人數(shù)據(jù)中心。
最后,當(dāng)我們談到computinglet,除了最小單元的,從家庭到城市,合起來的這些單元,同時我們也要談到,就像今天羅金海老師從科幻小說這個領(lǐng)域里面來去看待2140,我們今天所談的計(jì)算,軍事上有空天地,未來學(xué)上有星際以及宇宙計(jì)算,這套東西從今天來講,我們看當(dāng)ChatGPT出來的時候,這一切都不是故事,行則至。人去駕馭機(jī)器核心要有想象力,想象力就要先看見再相信,而不是先相信再看見,這是想象力的基礎(chǔ)。
最后簡單介紹一下中關(guān)村超互聯(lián)新基建產(chǎn)業(yè)創(chuàng)新聯(lián)盟,我們是一家按照海星文化、部落文化創(chuàng)建的聯(lián)盟組織,我們是非常正規(guī)的社會組織,我們希望有更多的工程師文化、更多的代碼文化,有更多互聯(lián)網(wǎng)IET的精神,所以我把它總結(jié)為海星+數(shù)字部落。
最后是超互聯(lián)新算力愿景展望,前面我們所放的介紹片,我擔(dān)心會有誤導(dǎo),很多時候出現(xiàn)去中心化這個詞,其實(shí)任何世界都是平衡,都是中心化的力量,多中心化的力量和去中心化的力量,一個友好共存的世界。如果說一個算力單元能夠在超互聯(lián)計(jì)算結(jié)構(gòu)里面跑起來,它一定會推動我們今天的金融機(jī)構(gòu)都是中心化的,一定有牌照,也能強(qiáng)監(jiān)管。但是這些機(jī)構(gòu)也會被數(shù)字化變革,他們開始用一個集中式的分棧系統(tǒng)和今天區(qū)塊鏈?zhǔn)澜缋锩嬉粋€分布式的記賬系統(tǒng),甚至一個完全去中心化的計(jì)算系統(tǒng),完全可以找到大家的見面點(diǎn),是可以友好并存。
我展示這張圖,這個結(jié)構(gòu)里面,我們今天合規(guī)的數(shù)據(jù)交易所,我們今天新一代數(shù)字銀行,我們今天從北京到深圳、到香港,今天大家在web3上京港合作,可以各自走出自己的精彩,香港可以去迎接全球的金融創(chuàng)新,北京可以成為新算力的一個新基建,中國作為基建狂魔國家不負(fù)稱號下的創(chuàng)新發(fā)源地。
我是一個數(shù)據(jù)中心的老兵,原來做的是黑盒子,冰冷水泥般的東西,天天做,做了二十幾年,也沒有做膩,只是今天守正才能創(chuàng)新,把數(shù)據(jù)中心業(yè)務(wù)做好,把數(shù)據(jù)中心客戶服務(wù)好,我們站在非常中立的角度,我們今天為芯片公司,為做云計(jì)算的公司,為做大模型的公司,我們來提供賦能,我們做好伴奏,我們做好共振,我們?nèi)ビ右粋€上善若水的,一個像右邊這樣,一個芯粒無所不在無處計(jì)算的新世界。我就說這些,謝謝。
科技賦能 全域服務(wù)
}隨著Web3.0技術(shù)的快速發(fā)展和大模型爆發(fā)式應(yīng)用場景驅(qū)動,基礎(chǔ)設(shè)施將迎來新的一輪重構(gòu),未來的云計(jì)算將是去中心化、面向算力調(diào)度和共建共創(chuàng)的基礎(chǔ)設(shè)施。~
大家下午好!非常高興在這樣一個下午跟大家分享我的主題。今天除了非常多的合作伙伴和我們一起分享,同時我們也邀請了互聯(lián)在過去二十多年一起陪伴的客戶和重要伙伴。
我今天分享的主題叫《科技賦能,全域服務(wù)》,相信很多人聽了上午的演講,確實(shí)心潮澎湃,有很多思想的碰撞,有很多大咖分享了非常精彩的觀點(diǎn),以及對未來的一些看法,甚至是上升到了哲學(xué)、社會學(xué)層面的很多議題,我覺得都是非常好的思想激蕩。下午的主題,我們更多會聚焦在這么一個科技浪潮蓬勃發(fā)展的時刻,怎么把這些好的想法、好的技術(shù)落地下來,所以我今天的主題叫《科技賦能,全域服務(wù)》。
在過去二十多年里面,其實(shí)我也是一個在IT行業(yè)、在云計(jì)算、在網(wǎng)絡(luò)領(lǐng)域的老兵,二十多年中我們的技術(shù)不斷發(fā)展,其實(shí)是一個非常跌宕起伏的過程,從傳統(tǒng)IT到私有云、公有云,上完云了以后有些人考慮要下來,兜兜轉(zhuǎn)轉(zhuǎn),其實(shí)誰也沒有完全戰(zhàn)勝誰,到最后的狀態(tài)你會發(fā)現(xiàn)非常多的客戶變成了混合IT的狀態(tài)。我就在想,這么多技術(shù)、這么多產(chǎn)品在變化,到底有哪些東西是不變的,其實(shí)是面向企業(yè)級的一站式IT服務(wù),企業(yè)希望獲得一站式IT服務(wù)這件事情在過去二十年從來沒有變過。
互聯(lián)是一個做IDC和網(wǎng)絡(luò)起步的廠商,在過去二十多年里,我們服務(wù)了大概6000多家大大小小的互聯(lián)網(wǎng)企業(yè),有非常多大家耳熟能詳?shù)钠髽I(yè)都是從我們的數(shù)據(jù)中心里面成長出來的。這個過程當(dāng)中非常有意思的是,在過去差不多十年時間中,我們也做了非常多的托管云項(xiàng)目,為什么會做這些托管云呢?有幾個特征:首先,有廣泛的IDC節(jié)點(diǎn);其次,有專業(yè)第三方運(yùn)維服務(wù);再次,能夠充分保障客戶的數(shù)據(jù)主權(quán),甚至是整個IT安全。它能夠很好地解決公有云和私有云存在的一些問題,和公有云、私有云是相互互補(bǔ)的關(guān)系。互聯(lián)科技走到今天這樣一個時間,再往下一步應(yīng)該怎么發(fā)展?這是我深刻思考的一個問題。我經(jīng)常在內(nèi)部講,其實(shí)互聯(lián)不需要太大步地往前走,只要往前跨半步就可以了,這半步是什么呢?就是我們二十多年一直沒有變的全域一站式服務(wù)和托管云服務(wù),把它們結(jié)合在一起就是全域托管云,全域托管云希望定位在我們面向客戶側(cè)的新基建提供全域一站式IT服務(wù),成為企業(yè)數(shù)字化轉(zhuǎn)型的合伙人。
為什么叫全域呢?這個圖是我們現(xiàn)在定義1.0版本的全域托管云,至少四個域:一是自有IT域;二是托管IT域,把自己的IT托管到第三方機(jī)房里面,比如托管在互聯(lián)的機(jī)房或者其他服務(wù)商的機(jī)房,托管IT域;三是彈性IT域,同一個機(jī)房有沒有彈性IT給客戶提供服務(wù);四是公有IT域。在四個IT域環(huán)境里面我們有沒有平臺或者工具能夠給他們提供一站式的運(yùn)維服務(wù)、一站式容災(zāi)服務(wù)、一站式算力服務(wù),甚至可能還有一站式的安全服務(wù)、一站式的數(shù)據(jù)倉庫服務(wù),我相信都是存在這樣的可能性的。
那么,這四個核心平臺是什么呢?下面我們分享的主題也會圍繞這四個平臺來展開,這個地方我需要和大家說明的是四個平臺第一期版本中只有兩個平臺是互聯(lián)自己完全開發(fā)的,另外兩個平臺是互聯(lián)和合作伙伴一起共研、共創(chuàng)、共贏的平臺,稍后我會邀請我們核心的合作伙伴一起分享這些平臺的核心能力。
我們通過四個平臺服務(wù)到四個域,通過自動化、在線化、智能化的能力幫助客戶實(shí)現(xiàn)全域托管的服務(wù)。
首先,第一個平臺是互聯(lián)科技自研的LCloud托管云平臺?;ヂ?lián)不會定位為云公司,但我們?yōu)槭裁醋鲈破脚_呢?道理很簡單,就是客戶需求。這樣的云平臺和過去傳統(tǒng)意義上的云平臺不同,需要四個統(tǒng)一:統(tǒng)一服務(wù)目錄、統(tǒng)一業(yè)務(wù)入口、統(tǒng)一的運(yùn)營計(jì)量、統(tǒng)一運(yùn)維監(jiān)控,我們可以用不同組件部署到相應(yīng)的域中,形成產(chǎn)品和方案。
在運(yùn)營管理層,可以納管到私有云,甚至多個公有云,這是互聯(lián)科技全域托管云要做的事情。值得一提的是,我們會站在用戶角度幫助他思考需要什么。做了這么長時間的IT服務(wù)、做了這么長時間的云,你會發(fā)現(xiàn)客戶非常需要站在自己的角度定義那朵云到底長什么樣,因?yàn)樗呀?jīng)不僅僅用一朵云或者一個IT現(xiàn)狀,混合IT就是目前的現(xiàn)狀,越是發(fā)展良好的用戶越會用混合IT支撐業(yè)務(wù)發(fā)展。所以,面向客戶多云的管理平臺,過去我們叫CMP,包括它的運(yùn)維標(biāo)準(zhǔn)是不是可以由客戶自己來定義或者由客戶視角來定義,這個是我們非常關(guān)心的問題。所以,從這個角度來講,我們希望至少把管理層面的產(chǎn)品完全開放給我們的客戶,后面也會有一個闡述。
我們一期實(shí)現(xiàn)了非常簡單的功能,但也非常實(shí)用,過去互聯(lián)有大量的DC客戶,但是很多DC客戶的機(jī)柜分布在不同的數(shù)據(jù)中心,通過這個平臺可以非常簡單地把分布在各地?cái)?shù)據(jù)中心的資源,用一個LCloud平臺插件管理起來,不僅僅管理到數(shù)據(jù)中心的機(jī)柜,還可以管理到機(jī)柜里面各類IT產(chǎn)品、服務(wù)器等等。通過這樣一個非常簡單的創(chuàng)新,讓我們客戶能夠?qū)C(jī)柜的網(wǎng)絡(luò)服務(wù)一目了然,對機(jī)柜里面的IT環(huán)境也能夠進(jìn)行實(shí)時的監(jiān)控管理。
同時,LCloud里面有非常簡單的插件,通過這個插件把整個公有云的一些平臺能力進(jìn)行實(shí)現(xiàn),它可以實(shí)現(xiàn)產(chǎn)品集成、賬號管理,包括折扣管理、資源運(yùn)營、服務(wù)支撐等,都在這個平臺上用一個小的插件完成,方便我們的用戶快速獲得公有云資源,提供整體方案的交付,并且實(shí)現(xiàn)一站式的服務(wù)。目前我們已經(jīng)開通了和阿里云、華為云的平臺,其他云廠商也在積極的對接過程當(dāng)中。
今天上午我們聊了非常多“城市就是一臺計(jì)算機(jī)”超互聯(lián)新算力這樣一個核心主題。我們要做一個面向客戶的全域托管云非常重要的一件事情就是連接,互聯(lián)是做連接起家的一家企業(yè),我們會為了全域托管云打造一個全新的NEOLINK CC(Cross Connect)平臺,網(wǎng)絡(luò)連接平臺。因?yàn)槲覀冋J(rèn)識到,只有把我們的數(shù)據(jù)中心和各家公有云、私有云通過高速網(wǎng)絡(luò)打通,才可以幫助用戶提供大量的混合組網(wǎng)、數(shù)據(jù)流通、跨域的多云調(diào)度。所以,這樣的CC平臺是非常重要的一部分。我們現(xiàn)在已經(jīng)在北上廣深,和微軟、阿里云、華為云、百度云這些云廠商開通了非常好的CC網(wǎng)絡(luò)連接服務(wù)。
今天上午這張圖分享過,這是我們對未來“城市即計(jì)算機(jī)”的一個認(rèn)知,或者是愿景,讓我們傳統(tǒng)IDC里面部署的過去DC級網(wǎng)絡(luò)怎么樣能夠推到城市邊緣,服務(wù)于我們的企業(yè)客戶,甚至服務(wù)于個人家庭用戶,用我們自研的HCCB(Hyper Connected Computing Bus)協(xié)議延展到城市每一個角落,幫助城市做成一個新的地鐵系統(tǒng)、城市新市政系統(tǒng)。這有別于過去一個完全不可靠或者帶寬不足夠?qū)挼墓幌到y(tǒng),我們已經(jīng)看到了這張網(wǎng)的巨大需求,就像鄭院士講到的,我們講這么多大模型、這么多超級計(jì)算中心,有個最簡單的需求,我到底能不能先把我的數(shù)據(jù)搬過去,現(xiàn)在都是用非常原始的辦法,把盤刻好,通過一個快遞給寄過去。其實(shí)不是一句玩笑話,我們在講“東數(shù)西算”的時候,在講跨廣域數(shù)據(jù)調(diào)度的時候,我們的基礎(chǔ)設(shè)施還沒有完全達(dá)到這樣的能力。過去一年多時間里面,我們頻繁和國家發(fā)改委、工信部溝通,大家都有一個共識,就是我們的目標(biāo)是完全正確的,但是我們的基礎(chǔ)設(shè)施還是要一步步走。在城市范圍內(nèi)去實(shí)現(xiàn)超互聯(lián)新算力,在我們看來,目前還是一個更加容易實(shí)現(xiàn)的目標(biāo),但這里面的難題也非常多,我會把它拋出來,今天沒辦法一一展開。
比如說城市大二層的網(wǎng)絡(luò),立體矩陣fullmesh架構(gòu),為了計(jì)算而生的網(wǎng)絡(luò)不可能像互聯(lián)網(wǎng)訪問一樣是多跳的環(huán)境,它必須是點(diǎn)到點(diǎn),所有的節(jié)點(diǎn)都是一跳達(dá)成的網(wǎng)絡(luò),通證化調(diào)度,“數(shù)據(jù)二十條”發(fā)展的背景下,算力和數(shù)據(jù)的確權(quán)、認(rèn)證、計(jì)費(fèi)這樣一個過程都需要基于一個有3A能力的基礎(chǔ)設(shè)施之上。所以它需要一個通證化調(diào)度的能力,還需要超高帶寬,我們現(xiàn)在非常高興地看到我們的客戶在他的數(shù)據(jù)中心里面,或在他的托管云里面已經(jīng)大量使用200G、400G,甚至800G的帶寬,這在過去是不可想象的,現(xiàn)在往往一個U都可以提供32位、64位的400G接口,這是一個非??鋸埖木W(wǎng)絡(luò)演進(jìn)。就是因?yàn)樗懔W(wǎng)絡(luò),其實(shí)是算力大量爆發(fā),導(dǎo)致我們的網(wǎng)絡(luò)帶寬快速增加,同時還有超低時延,以前我們的印象里面,網(wǎng)絡(luò)傳輸毫秒級網(wǎng)絡(luò)就已經(jīng)非常不錯了,但是在算力網(wǎng)絡(luò)里面是微秒級,1點(diǎn)幾微秒的算力時延都會覺得太長了,因?yàn)闀r延再大一些,或者再抖動的話,如果單任務(wù)的整個計(jì)算過程都有可能失敗。我們在過去和國內(nèi)幾個大模型頭部玩家交流的時候,他們提到當(dāng)真正把幾千張卡放到一個模型里的時候,最大的問題是機(jī)器啟動的成功率非常低,單任務(wù),如果說是一個分布式任務(wù),在一個非常大的集群里面,小小的網(wǎng)絡(luò)時延和網(wǎng)絡(luò)抖動都會造成計(jì)算過程的失敗。上次蘇州一個會議上,一位合作伙伴說算力到底能不能調(diào)度?我覺得大家如果參加了今天上午的會應(yīng)該會有答案。算力在目前這樣的階段最多是撮合、最多是數(shù)據(jù)傳送,還到不了調(diào)度。當(dāng)然,長遠(yuǎn)的目標(biāo)我相信是沒有問題的,從物理學(xué)的第一性原理,它終將實(shí)現(xiàn),需要我們要一步一步腳踏實(shí)地把這件事實(shí)現(xiàn)了。
近期非?;鸬募夹g(shù),比如RDMA、RoCE、infiniband、Nvlink、CXL,現(xiàn)在有這么多協(xié)議,因?yàn)閭鹘y(tǒng)互聯(lián)網(wǎng)已經(jīng)和算力網(wǎng)進(jìn)行交融,或者大家已經(jīng)有點(diǎn)模糊了邊界,我相信在未來相當(dāng)長一段時間里面這個領(lǐng)域會有非常大的技術(shù)突破,才能支撐算力網(wǎng)絡(luò)的演進(jìn)。這個是我們對整個超互聯(lián),包括超互聯(lián)在城市范圍內(nèi)落地的理解,也是我們這次整個活動的一個主題。
所以,互聯(lián)科技是一家中立的第三方運(yùn)營商,是一個以服務(wù)為核心的公司,我們可以用到這個世界上最好的產(chǎn)品和技術(shù),理解客戶的需求,做出支撐AGI和元宇宙的客戶側(cè)新基建,這個就是我們一個遠(yuǎn)大的理想。
未來我們會陸陸續(xù)續(xù)推出很多一站式服務(wù),面向四個域和全棧,業(yè)務(wù)應(yīng)用運(yùn)維、云平臺運(yùn)維、IT基礎(chǔ)架構(gòu)運(yùn)維、IDC基礎(chǔ)設(shè)施運(yùn)維,我們會和合作伙伴一起打造全棧全域托管云的能力。今天的主題一直在講AGI,大模型對IT運(yùn)維服務(wù)領(lǐng)域到底可以帶來哪些提升和服務(wù),它給的這幾個答案和我們的想象非常匹配。比如故障自動診斷,預(yù)測性維護(hù),安全監(jiān)控,自動化運(yùn)維等等。
上周,我在上海見一位非常重要的客戶,這個客戶現(xiàn)場給我們提了一個問題,他們過去在使用IT基礎(chǔ)設(shè)施和IDC時候,有一個困擾問題,整個設(shè)施運(yùn)維和IT運(yùn)維過程中有90%的誤報(bào)率,機(jī)器有很多時候錯誤誤報(bào),導(dǎo)致他經(jīng)常半夜三更接到報(bào)警電話,但其實(shí)是錯誤的,問我們有沒有辦法解決這個問題。我和ChatGPT做了一次溝通,ChatGPT說有幾個辦法,優(yōu)化監(jiān)控指標(biāo),包括調(diào)整閥值,做新的監(jiān)控濾波,優(yōu)化監(jiān)控系統(tǒng)、告警維護(hù)等等。
基于此,我又告訴他,如果有異常毛刺出現(xiàn),可以考慮哪些算法進(jìn)行優(yōu)化。它告訴我均值濾波、中值濾波、自適應(yīng)等等,我問它能不能寫一個算法出來,它寫了一個非常簡單的中值濾波算法,同時我們把一段數(shù)據(jù)導(dǎo)入進(jìn)去,直接給我輸出了一個濾波數(shù)據(jù),全部非常平穩(wěn)的數(shù)據(jù)流了。這應(yīng)該是一個非常簡單的客戶需求,在運(yùn)維領(lǐng)域,在前面幾個平臺之上,我們都在嘗試用這樣的方法來優(yōu)化AI和運(yùn)維相結(jié)合的基礎(chǔ)能力。所以這個我相信是值得期待的。
一站式算力服務(wù),我們今天講了很多一站式算力服務(wù),要把這個算力做好其實(shí)是不容易的,尤其像現(xiàn)在大模型的出現(xiàn),動輒上萬張卡,尤其對于中小創(chuàng)業(yè)者來講,挑戰(zhàn)非常大。我們的做法是除了幫助客戶提供托管云服務(wù)之外,在一些重要的數(shù)據(jù)中心為他提供彈性算力的補(bǔ)充,也就是說,當(dāng)他自有算力不夠用的時候,能夠非??焖俚卣{(diào)用彈性算力。由于我們CC網(wǎng)絡(luò)的存在,他也可以調(diào)用到目前非常主流的大玩家的算力資源和一些閑置的資源,我想這都是可以去做的一些工作。同時還有一站式容災(zāi)服務(wù),這是很小的功能。但非常有意思的是我們在多云多域的IT環(huán)境,一鍵恢復(fù)的云容災(zāi)解決方案,是一個效能非常高的備份容災(zāi)解決方案,我相信絕大多數(shù)客戶可以通過這樣的解決方案達(dá)成容災(zāi)需求。
最后,我們在開源和開放上的策略。中心側(cè)接口開放,包括測試版下載的開放,在開源這部分,我們在有些管理的組件上希望和合作伙伴把客戶側(cè)那一部分都開源,因?yàn)榭蛻粜枰凶约憾x的全域托管云平臺,定向開源,包括納管接入的開源。今天是典型的共創(chuàng)模式,大家一起應(yīng)用共創(chuàng)。我們講的主題是一站式全域托管云服務(wù),非常重要的兩點(diǎn),就是技術(shù)和服務(wù),技術(shù)講究先進(jìn)性,服務(wù)講的是溫度,我們到底能不能給客戶帶來有溫度的服務(wù)。AGI給我們帶來非常多的憧憬,也有很多大家對它的擔(dān)憂,擔(dān)心它會不會成為人的敵人,但我依然相信它會成為我們的朋友、我們的工具、我們的伙伴。我們應(yīng)該更多把技術(shù)留給AGI,把溫度留給我們的工程師,讓我們成為一個技術(shù)領(lǐng)先又有溫度服務(wù)的一家企業(yè)。
我希望能夠和合作伙伴一起提供一個有溫度、有技術(shù)的全域托管一站式服務(wù),謝謝。