啊灬啊灬啊灬快灬高潮了听书,XXXX高潮大喷水XXXX,男人添女人下部高潮全视频,少妇被躁爽到高潮,小柔在教室轮流澡到高潮视频,被黑人伦流澡到高潮Hnp动漫

確定性網(wǎng)絡(luò)為AI大模型發(fā)展提供重要支撐

尊敬的各位來(lái)賓，大家好！我跟大家分享的題目是“確定性網(wǎng)絡(luò)為AI大模型發(fā)展提供重要支撐”。

??? 大家知道，網(wǎng)絡(luò)在消費(fèi)領(lǐng)域取得很大成功以后，現(xiàn)在面臨著一個(gè)新的挑戰(zhàn)性機(jī)會(huì)。這個(gè)機(jī)會(huì)就是互聯(lián)網(wǎng)從消費(fèi)領(lǐng)域開(kāi)始進(jìn)入實(shí)體經(jīng)濟(jì)，進(jìn)入AI時(shí)代，這樣一個(gè)網(wǎng)絡(luò)的變革怎樣適應(yīng)新的需求？這就是一個(gè)非常現(xiàn)實(shí)的、非常嚴(yán)峻的挑戰(zhàn)。

??? 首先，我們看一看在制造業(yè)、工業(yè)界的需求。IEC圍繞整個(gè)產(chǎn)業(yè)界的發(fā)展、人工智能的發(fā)展提出了一些新的確定性標(biāo)準(zhǔn)，包括PLC云化、遠(yuǎn)程控制。

??? 能源領(lǐng)域也有一些新的需求，我國(guó)電力行業(yè)的二氧化碳排放量占整個(gè)能源系統(tǒng)的大概40%，碳中和、碳達(dá)峰戰(zhàn)略指標(biāo)怎樣實(shí)現(xiàn)，面臨非常大的挑戰(zhàn)。美國(guó)能源部為滿(mǎn)足電力行業(yè)的控制制定確定性的標(biāo)準(zhǔn)，推動(dòng)研究安全可靠的確定性電力及工業(yè)控制網(wǎng)絡(luò)，包括IEC在能源確定性的領(lǐng)域制定和發(fā)布相關(guān)的白皮書(shū)，這些都說(shuō)明確定性是下一代網(wǎng)絡(luò)必須面對(duì)和解決的問(wèn)題。

??? 剛才我們只是說(shuō)在消費(fèi)領(lǐng)域進(jìn)入實(shí)體經(jīng)濟(jì)，進(jìn)入AI人工智能領(lǐng)域需要確定性的網(wǎng)絡(luò)，現(xiàn)在發(fā)現(xiàn)在消費(fèi)領(lǐng)域也需要確定性的網(wǎng)絡(luò)。蘋(píng)果推出的可穿戴電子設(shè)備產(chǎn)品——Apple Vision Pro，有12個(gè)攝像頭，5個(gè)傳感器，6個(gè)麥克風(fēng)，可以在12毫秒內(nèi)把一幅非常高清的圖像展現(xiàn)在面前，（戴著這種設(shè)備）自己在一個(gè)屋子里可以看到滿(mǎn)天的星星，12毫秒內(nèi)就會(huì)變成挨著大海。這就是確定性網(wǎng)絡(luò)在消費(fèi)領(lǐng)域的典型應(yīng)用場(chǎng)景，將來(lái)尤其是AR和VR這些領(lǐng)域都會(huì)提出這樣新的需求。

??? 大模型對(duì)算力的需求也有提出更迫切的要求，2012年到2023年，整個(gè)算力需求增加了數(shù)十萬(wàn)倍，而且最近五年就GPU的算力增加了90倍，但整個(gè)網(wǎng)絡(luò)的帶寬才增加了10倍，這個(gè)差距現(xiàn)在預(yù)示著將來(lái)對(duì)整個(gè)網(wǎng)絡(luò)帶寬的能力、通訊能力提出更高的要求，因?yàn)槿笨跁?huì)越來(lái)越大。

??? 大家知道，數(shù)據(jù)要素的確權(quán)已經(jīng)成為了一個(gè)很重要的應(yīng)用領(lǐng)域，怎么把數(shù)據(jù)要素利用好、管理好，把安全性保護(hù)好是非常具有挑戰(zhàn)性的問(wèn)題。沒(méi)有數(shù)據(jù)要素，中國(guó)可能在AI方面也會(huì)遇到很大的障礙。韓國(guó)因?yàn)閿?shù)據(jù)要素沒(méi)有注意保護(hù)好，把半導(dǎo)體的設(shè)備和制造工藝通過(guò)AI的方式流失到國(guó)外，通過(guò)大模型把很多關(guān)鍵數(shù)據(jù)泄露的事故不斷地發(fā)生，所以在數(shù)據(jù)要素的隱私保護(hù)方面如果做不好，這些數(shù)據(jù)要素就沒(méi)法共享，就沒(méi)法流通，所以AI的發(fā)展就會(huì)遇到障礙。

??? 算力的發(fā)展是分布在各個(gè)地方，不可能集中在一個(gè)地方來(lái)做算力，電力的問(wèn)題就解決不了。我們國(guó)家東數(shù)西算的布局，怎樣能夠把這種算力布局服務(wù)到全國(guó)各個(gè)行業(yè)、各個(gè)大模型？網(wǎng)絡(luò)問(wèn)題怎么解決？這就面臨一個(gè)很大的挑戰(zhàn)。遠(yuǎn)距離的傳輸最大的技術(shù)挑戰(zhàn)，怎樣實(shí)現(xiàn)遠(yuǎn)距離無(wú)損的傳輸？RDMA是一種非常關(guān)鍵的技術(shù)，微軟的算力中心70%都是用這樣無(wú)損的協(xié)議進(jìn)行互聯(lián)，華為的試驗(yàn)數(shù)據(jù)顯示，100GE環(huán)境下，8節(jié)點(diǎn)的VGG16模型訓(xùn)練RDMA性能是TCP的8倍多。

??? 說(shuō)到新的RDMA協(xié)議，美國(guó)2008年就在做一個(gè)實(shí)驗(yàn)，就是從東海岸到西海岸，鋪設(shè)一條10G光纜，美國(guó)橡樹(shù)林實(shí)驗(yàn)室就在做這項(xiàng)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示丟包率大于1%的時(shí)候，傳輸效率下降50%，如果丟包率大于2%，效率下降到0，等于是100GB的帶寬有1%的丟包就變成50GB，如果是20%的丟包就會(huì)變成零，數(shù)據(jù)根本傳不過(guò)去。為什么？遠(yuǎn)距離無(wú)損傳輸是一項(xiàng)必須攻克的技術(shù)。

??? 因?yàn)锳I高端芯片對(duì)中國(guó)的封鎖，中國(guó)單點(diǎn)算力的差距跟美國(guó)會(huì)越來(lái)越大。H100的性能我們現(xiàn)在還沒(méi)有趕上，GB200又出來(lái)了，在網(wǎng)絡(luò)方面的能力，GB200相較于H100又有了成千上百被的提升，說(shuō)明什么問(wèn)題？每個(gè)芯片在互聯(lián)網(wǎng)能力方面大大提升，所以GPU算力跟網(wǎng)絡(luò)帶寬的需求量增長(zhǎng)的速度，通過(guò)NVIDIA的芯片就可以看出，將來(lái)對(duì)網(wǎng)絡(luò)帶寬的需求量是很大的。

??? 美國(guó)能源科研網(wǎng)ESnet，2022年10月發(fā)布的ESnet6，第六代的網(wǎng)絡(luò)開(kāi)通。每年業(yè)務(wù)量增長(zhǎng)55%，大概140個(gè)科研網(wǎng)提供服務(wù)，而且這個(gè)網(wǎng)絡(luò)號(hào)稱(chēng)全球最快的互聯(lián)網(wǎng)。主要的功能就是為國(guó)家實(shí)驗(yàn)室提供數(shù)據(jù)，包括能源，110億的風(fēng)電站數(shù)據(jù)節(jié)點(diǎn)通過(guò)整個(gè)超算中心并行進(jìn)行計(jì)算，包括對(duì)新能源的控制和調(diào)度，開(kāi)展這樣的服務(wù)，同時(shí)也進(jìn)行遠(yuǎn)距離的協(xié)同訓(xùn)練，邊緣的算力和本地的算力效率提高30倍，就是協(xié)同的訓(xùn)練需要1個(gè)月，自己?jiǎn)为?dú)訓(xùn)練需要300個(gè)月，都有非常好的結(jié)果。

??? 2022年10月發(fā)布第六代的ESnet6，2023年就要做ESnet7，為什么？發(fā)現(xiàn)了一些新的需求，本來(lái)ESnet開(kāi)通以后運(yùn)行三五年再啟動(dòng)下一代網(wǎng)絡(luò)，現(xiàn)在啟動(dòng)以后馬上發(fā)現(xiàn)新的功能的需求。第一個(gè)需求就是端到端的確定性，所以對(duì)算力網(wǎng)絡(luò)來(lái)講，確定性是一個(gè)非常重要的基礎(chǔ)，可以為海量數(shù)據(jù)遠(yuǎn)距離無(wú)損傳輸提供關(guān)鍵技術(shù)支撐。

??? 下面介紹一下確定性技術(shù)的研究情況：首先就是網(wǎng)絡(luò)架構(gòu)的變革，因?yàn)橐鉀QAI的需求，解決實(shí)體經(jīng)濟(jì)的需求，不是一個(gè)單一的技術(shù)就能夠解決的，整個(gè)網(wǎng)絡(luò)的架構(gòu)都要系統(tǒng)性地設(shè)計(jì)才能解決，但我們的架構(gòu)是服務(wù)定制網(wǎng)絡(luò)，主導(dǎo)思想就是要解決原來(lái)是盡力而為的架構(gòu)，變成一個(gè)確保所需的架構(gòu)。原來(lái)互聯(lián)網(wǎng)最大的成功就是經(jīng)濟(jì)、實(shí)惠、方便、靈活，但是盡力而為的。實(shí)體經(jīng)濟(jì)和AI領(lǐng)域是不確保你的需要，這些工作是沒(méi)法進(jìn)行的。

??? 互聯(lián)網(wǎng)需要大腦，原來(lái)互聯(lián)網(wǎng)沒(méi)有大腦，只有在設(shè)備里面有一個(gè)小腦，小腦的功能主要是轉(zhuǎn)發(fā)。原來(lái)我們的大腦還是采用統(tǒng)計(jì)分析的思路，現(xiàn)在我們要做的是生成式的大腦，就是大腦不斷地通過(guò)網(wǎng)絡(luò)的數(shù)據(jù)、網(wǎng)絡(luò)的大模型提高自己的智能，這是整個(gè)網(wǎng)絡(luò)最核心的一項(xiàng)技術(shù)。

??? 確定性的技術(shù)也是在不斷演進(jìn)，需要整個(gè)網(wǎng)絡(luò)底層跟光通訊進(jìn)行融合，因?yàn)閷?lái)大模型的訓(xùn)練需要400GB、800GB，甚至將來(lái)1.6TB更高的速率。AI大模型有各種維度的需求，有的是大模型，有的是中模型，有的是企業(yè)，有的是個(gè)人，都需要算力，各種維度的需求能不能量身定做，滿(mǎn)足每個(gè)用戶(hù)的需要？數(shù)據(jù)要素也好、大模型訓(xùn)練也好、推理模型也好，需要不同的帶寬、不同的網(wǎng)絡(luò)，自己可以隨時(shí)定制，這些是未來(lái)AI發(fā)展必須提供的一個(gè)功能。

??? 無(wú)損傳輸還需要一些相關(guān)的技術(shù)，400GB無(wú)損的網(wǎng)卡，包括整個(gè)控制的協(xié)議。通過(guò)RDMA技術(shù)傳輸效率提高到96%，就是100GB可以達(dá)到96GB的帶寬，這些效率對(duì)整個(gè)AI的算力來(lái)講都是非常重要的指標(biāo)。當(dāng)然，云原生的算網(wǎng)操作系統(tǒng)，將來(lái)的調(diào)度不光是算力，算力要跟網(wǎng)絡(luò)的能力匹配起來(lái)，一些算力需要網(wǎng)絡(luò)更高的質(zhì)量，一些算力就要求比較低，靈活的網(wǎng)絡(luò)和算力適配起來(lái)進(jìn)行調(diào)度，這些技術(shù)我們都要有所突破。

??? 網(wǎng)絡(luò)安全包括很多方面，我就講預(yù)防攻擊，如果發(fā)生意外情況，通過(guò)DDOS供給網(wǎng)絡(luò)，尤其是俄烏沖突以后，這是非常值得關(guān)注的領(lǐng)域，我們已經(jīng)突破了10GB以上的防護(hù)能力。

??? 下面介紹幾個(gè)確定性網(wǎng)絡(luò)在數(shù)字經(jīng)濟(jì)中的應(yīng)用案例。

??? 東數(shù)西算采用CENI建設(shè)安全新總線(xiàn)，因?yàn)槿筮\(yùn)營(yíng)商通過(guò)互聯(lián)網(wǎng)提供服務(wù)，我們通過(guò)安全新總線(xiàn)提供服務(wù)，它的傳輸效率和普通互聯(lián)網(wǎng)的效率相比可以提高10-20倍。

??? 西部的算力中心怎么和東部大模型的所在地以及使用西部算力的用戶(hù)和企業(yè)提供更好的服務(wù)？就像剛才講的需要400GB、100GB、10GB、1GB，能不能提供安全保證、方便、經(jīng)濟(jì)、實(shí)惠的網(wǎng)絡(luò)服務(wù)？我們提供這樣的能力，尤其是數(shù)據(jù)要素怎么承載、怎么交流、怎么共享？如果沒(méi)有網(wǎng)絡(luò)的保證，數(shù)據(jù)不敢上網(wǎng)傳輸和共享，因?yàn)楦悴缓煤芸炀蜁?huì)被國(guó)外拿走，尤其是行業(yè)的數(shù)據(jù)，如果沒(méi)有可靠的網(wǎng)絡(luò)保證，很快就會(huì)被拿走，我們?cè)谔峁┻@樣的實(shí)驗(yàn)和能力。

??? 我們?cè)陂L(zhǎng)三角的13個(gè)地市采用確定性網(wǎng)絡(luò)開(kāi)展服務(wù)，山東16個(gè)地市也用確定性網(wǎng)絡(luò)提供新的、不一樣的服務(wù)能力，這些服務(wù)能力都有支持當(dāng)?shù)氐陌l(fā)展。

??? 臨工集團(tuán)作為龍頭企業(yè)，把上下游的上千個(gè)企業(yè)串聯(lián)起來(lái)，因?yàn)樵瓉?lái)企業(yè)只關(guān)心自己的智能化改造、網(wǎng)絡(luò)化改造，現(xiàn)在整個(gè)上下游的產(chǎn)業(yè)價(jià)值鏈如果不連通起來(lái)就會(huì)受到制約，所以在人工智能時(shí)代，行業(yè)大模型的發(fā)展就顯得尤為重要。

??? 能源行業(yè)專(zhuān)網(wǎng)也是把新能源和傳統(tǒng)能源形成互補(bǔ)，電力系統(tǒng)和新能源系統(tǒng)，將來(lái)如何進(jìn)行互補(bǔ)，解決他們遇到的問(wèn)題，現(xiàn)在各個(gè)方面都做了很多成功的案例，就是通過(guò)確定性的網(wǎng)絡(luò)實(shí)現(xiàn)。

??? 我認(rèn)為中國(guó)的出路在于行業(yè)大模型，因?yàn)橥ㄟ^(guò)通用大模型，盡管是一項(xiàng)技術(shù)，必須要做，但搞不好通用大模型的差距越來(lái)越大，因?yàn)锳I高端芯片差距越來(lái)越大。行業(yè)的數(shù)據(jù)還沒(méi)有完全在網(wǎng)上流通，因?yàn)樵谥袊?guó)行業(yè)數(shù)據(jù)的完整性、系統(tǒng)性是最好的，尤其是在制造業(yè)，如果把這些行業(yè)數(shù)據(jù)利用好，通過(guò)行業(yè)大模型產(chǎn)生價(jià)值，這是中國(guó)發(fā)展新質(zhì)生產(chǎn)力的一個(gè)非常好的途徑。

??? 我覺(jué)得中國(guó)在這方面大有可為，但必須把行業(yè)專(zhuān)網(wǎng)提供出來(lái)，否則這些數(shù)據(jù)不可能通過(guò)專(zhuān)線(xiàn)，因?yàn)槌杀緦?shí)在太高了。南京正在開(kāi)展高速公路提供行業(yè)專(zhuān)網(wǎng)，通過(guò)網(wǎng)絡(luò)大科學(xué)裝置提供切片，提供行業(yè)專(zhuān)網(wǎng)，因?yàn)槲覀兊拇_定性網(wǎng)絡(luò)是可以提供成千上萬(wàn)個(gè)專(zhuān)網(wǎng)的公網(wǎng)，像專(zhuān)網(wǎng)一樣的質(zhì)量，公網(wǎng)一樣的方便，靈活和經(jīng)濟(jì)性，所以這種網(wǎng)絡(luò)的能力可以給行業(yè)專(zhuān)網(wǎng)提供敢流通、敢共享，能夠做到確權(quán)，就是支持整個(gè)行業(yè)的發(fā)展。

??? AI的機(jī)會(huì)是任何行業(yè)都沒(méi)法回避的領(lǐng)域，盡管有些不同的見(jiàn)解，但AI的大趨勢(shì)，我們要做好這一準(zhǔn)備。作為未來(lái)網(wǎng)絡(luò)團(tuán)隊(duì)，我們?cè)诰W(wǎng)絡(luò)方面會(huì)不斷地給大家一起提供知識(shí)和服務(wù)。

AI賦能能源轉(zhuǎn)型 AI推動(dòng)能源革命

各位專(zhuān)家、各位企業(yè)家，我站在上面腿肚子都在打抖，因?yàn)殛惿狙?qǐng)我來(lái)的時(shí)候，我是很膽怯的，我沒(méi)有資格來(lái)講，因?yàn)槲也皇沁@方面的專(zhuān)家。今天我是來(lái)匯報(bào)我學(xué)習(xí)的體會(huì)，里面有很多外行話(huà)，請(qǐng)大家批評(píng)指正。

??? 抓住能源轉(zhuǎn)型機(jī)遇，用好能源轉(zhuǎn)型工具。我學(xué)習(xí)互聯(lián)網(wǎng)大數(shù)據(jù)AI，這些會(huì)變成我的語(yǔ)言。ChatGPT剛出來(lái)，通過(guò)學(xué)習(xí)，我就寫(xiě)了這樣幾句話(huà)：ChatGPT是朋友、是助手、是老師、是新人類(lèi)。因?yàn)镃hatGPT吃的是全世界的糧食，喝的是全世界的奶水，匯聚的是全人類(lèi)的文明，集中的是全人類(lèi)的文化，ChatGPT要干什么？創(chuàng)造新文明，創(chuàng)造新人類(lèi)。

??? 大家都知道GPT4來(lái)了，語(yǔ)氣、語(yǔ)調(diào)、語(yǔ)速、語(yǔ)音、語(yǔ)義宛如自然生成，眼耳鼻舌身，儼然一活人，與你一起笑，與你一起哭，人力人體在線(xiàn)同步，進(jìn)入網(wǎng)絡(luò)新時(shí)代。

??? AI是新時(shí)代的必修課，AI是新時(shí)代的基本功，不懂得AI就是新時(shí)代文盲，不學(xué)AI就要被時(shí)代淘汰。AI正在賦能能源轉(zhuǎn)型，AI必將推動(dòng)能源革命。

??? 人類(lèi)在第二次走出非洲，SORA是人類(lèi)走出非洲的一聲禮炮。歷史的天空，興旺誰(shuí)人定，盛衰豈無(wú)憑，一頁(yè)風(fēng)云散，變幻了時(shí)空。

??? Altman說(shuō)，我們欠自己和未來(lái)的人們一個(gè)更好的世界，OpenAI的團(tuán)隊(duì)要干什么？他們?cè)趯?shí)現(xiàn)我們共產(chǎn)主義的理想，他們是共產(chǎn)主義的實(shí)踐者，需要人類(lèi)富裕、世界美麗。Transformer是人類(lèi)思想的一次大爆炸，抓住人工智能就抓住了未來(lái)。

??? 人工智能就是第四次工業(yè)革命，第四次工業(yè)革命滾滾而來(lái)。中國(guó)怎么辦？是擦肩而過(guò)還是被拋棄？以數(shù)字化培育新動(dòng)能，用新動(dòng)能推動(dòng)新發(fā)展，以新發(fā)展開(kāi)創(chuàng)新輝煌。我到處在呼吁，能源行業(yè)要強(qiáng)化利用人工智能。人工智能就是算力+能源，東數(shù)西算工程也是大數(shù)據(jù)+能源。世界進(jìn)入清潔能源新工業(yè)時(shí)代，我們要做地球的好兒女，當(dāng)合格的生態(tài)人。

??? 聯(lián)合國(guó)2030年可持續(xù)發(fā)展議程第七個(gè)指標(biāo)是能源，可負(fù)擔(dān)、可靠、可持續(xù)。烏克蘭戰(zhàn)爭(zhēng)以后，我加了一句話(huà)：可及。地球很危險(xiǎn)，人類(lèi)沒(méi)有出路。如果不終結(jié)化石燃料時(shí)代，人類(lèi)將付出自己生命的代價(jià)，這是COP28下的結(jié)論。聯(lián)合國(guó)秘書(shū)長(zhǎng)講過(guò)，人類(lèi)已經(jīng)打開(kāi)了通往地獄的大門(mén)，高雯正在產(chǎn)生可怕的影響。

??? 人類(lèi)發(fā)展的進(jìn)步取決于兩個(gè)問(wèn)題：科技創(chuàng)新和發(fā)明、能源的控制和利用，推動(dòng)人類(lèi)的文明合理進(jìn)步?？v觀人類(lèi)歷史，人類(lèi)文明的每一次重大進(jìn)步都伴隨著能源的改進(jìn)和更替，這次能源的更替必定將把我們帶入社會(huì)主義生態(tài)文明新時(shí)代。

??? 高質(zhì)量發(fā)展是中國(guó)式現(xiàn)代化的本質(zhì)要求，綠色化是高質(zhì)量發(fā)展的底色。綠色化謀生存，數(shù)字化圖發(fā)展。綠色化和數(shù)字化是人類(lèi)可持續(xù)發(fā)展的必由之路，是建設(shè)現(xiàn)代化國(guó)家的必由之路，是現(xiàn)代化國(guó)家的重要標(biāo)志。綠色化是高質(zhì)量發(fā)展的內(nèi)在動(dòng)力，數(shù)字化是高質(zhì)量發(fā)展的新型動(dòng)能。未來(lái)能源是什么？現(xiàn)代化能源要現(xiàn)代化能源人。兩化怎樣融合？瓦特實(shí)現(xiàn)數(shù)字化，能源實(shí)現(xiàn)比特化，瓦特比特一體化，比特加持瓦特行。

??? 科學(xué)無(wú)盡的前沿，視野無(wú)盡的擴(kuò)展，人類(lèi)無(wú)盡的進(jìn)化，認(rèn)知無(wú)盡的未來(lái)，認(rèn)知的停頓就是人的死亡。問(wèn)題來(lái)源于對(duì)手，靈感來(lái)源于對(duì)手，認(rèn)識(shí)來(lái)源于對(duì)手，創(chuàng)新來(lái)源于對(duì)手。

??? 看未來(lái)，看現(xiàn)在、看生態(tài)、看安全?？萍紱Q定能源未來(lái)，科技創(chuàng)造現(xiàn)代能源。未來(lái)科技的發(fā)展不取決于對(duì)資源的占有，取決于能源高科技的突破。這是溫家寶總理2012年1月15日在阿布扎比第五屆國(guó)際能源大會(huì)上的講話(huà)，總理講的就是總理的。

??? 大數(shù)據(jù)時(shí)代，每一秒鐘都在重新標(biāo)注世界。動(dòng)蕩的時(shí)代，關(guān)鍵是不能按照原來(lái)的邏輯采取行動(dòng)。新的科技帶來(lái)新的文化，新的文化帶來(lái)新的世界，新的世界帶來(lái)新的視角，新的視角帶來(lái)新的思維。

??? 我認(rèn)為，互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能根本上是改變我們的思維，讓我們重新認(rèn)識(shí)世界，重新認(rèn)識(shí)人類(lèi)，重新認(rèn)識(shí)宇宙，重新認(rèn)識(shí)自己。

??? 數(shù)字能源時(shí)代、高維度能時(shí)代、太空能源時(shí)代、綠色能源時(shí)代、永續(xù)能源時(shí)代。先進(jìn)科技思想若無(wú)先進(jìn)的通信手段支撐，很難深入人心。先進(jìn)科技主張若無(wú)快速多樣的通信技術(shù)傳播，便無(wú)法有效進(jìn)入生產(chǎn)生活經(jīng)濟(jì)社會(huì)各個(gè)領(lǐng)域?！笆奈逡?guī)劃”講的就是數(shù)字能源，無(wú)窮大的電力支撐AI，未來(lái)的電力系統(tǒng)是什么？碳中和是標(biāo)志，分布式是基礎(chǔ)，數(shù)字化是經(jīng)絡(luò)，智慧化是共享。

??? 未來(lái)的電力系統(tǒng)依靠氫能、靠?jī)?chǔ)能、靠智能。

??? 數(shù)字化正在重構(gòu)人類(lèi)能源，我們需要數(shù)字能源大腦、電力能源大腦，數(shù)字是能源、算力是引擎、算法是舵手、安全是保障。

??? 我們正在進(jìn)入新的電能時(shí)代、新的電氣時(shí)代、新的電驅(qū)時(shí)代、新的電力系統(tǒng)、確定用戶(hù)為本、實(shí)現(xiàn)凈零排放。中央提出建設(shè)源網(wǎng)荷儲(chǔ)希望發(fā)展，能源革命中很重要的就是上中下游幫助別人實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，這樣能源才能轉(zhuǎn)型，才能建設(shè)能源互聯(lián)網(wǎng)。只有幫助合作伙伴取得成功，自己才能取得成功。讓別人無(wú)路可走，自己研究無(wú)路可走。

??? 當(dāng)前是一場(chǎng)前所未有的認(rèn)知革命，徹底打破人們的思維慣性。為了電力系統(tǒng)平衡，我認(rèn)為要做到四句話(huà)：弄清自變量、平衡應(yīng)變量、調(diào)控可變量、納什新平衡。

??? 未來(lái)電力系統(tǒng)需要做到四個(gè)永不：永不中斷的能源、永不中斷的網(wǎng)絡(luò)、永不丟失的數(shù)據(jù)、永不丟失的誠(chéng)信。

??? 任何時(shí)間、任何地點(diǎn)、任何人、任何設(shè)備、任何網(wǎng)絡(luò)都能夠?qū)⑽覀儙У轿锢硎澜绾吞摂M世界，享受智能化的生活。未來(lái)的能源系統(tǒng)、電力系統(tǒng)可以這樣歸結(jié)：萬(wàn)物互聯(lián)網(wǎng)，處處區(qū)塊鏈。萬(wàn)物Token，事事新合約。設(shè)備全智能，后臺(tái)發(fā)指令。資源講平衡，生產(chǎn)講自主。消費(fèi)講共享，社會(huì)講自治。數(shù)字經(jīng)濟(jì)興，貨物天下通?；ヂ?lián)又互通，全球一家親。我的數(shù)據(jù)我做主，自由人住聯(lián)合體，白日做夢(mèng)夢(mèng)成真，桃花源里可耕田。

??? 未來(lái)電力系統(tǒng)和能源系統(tǒng)將由三維度走向四維度，三要素走向四要素，源網(wǎng)荷走向源網(wǎng)荷儲(chǔ)，建設(shè)新的電力生態(tài)系統(tǒng)，建設(shè)新的能源時(shí)代系統(tǒng)。過(guò)去是即發(fā)即送即用，未來(lái)是即用即送即發(fā)。

??? 真正改變世界的是生態(tài)系統(tǒng)，而不是某一項(xiàng)技術(shù)。烏克蘭戰(zhàn)爭(zhēng)之后，我寫(xiě)了四段話(huà)：沒(méi)有一個(gè)士兵孤軍作戰(zhàn)，沒(méi)有一臺(tái)設(shè)備單獨(dú)運(yùn)行，沒(méi)有一個(gè)零件不會(huì)說(shuō)話(huà)，沒(méi)有一個(gè)行業(yè)不能跨界。數(shù)字化不再是一種選擇，而是成為一種必然，它將決定未來(lái)的形態(tài)。數(shù)字素養(yǎng)是基本人權(quán)，收集數(shù)據(jù)是一種意識(shí)，使用數(shù)據(jù)是一種文化，開(kāi)放數(shù)據(jù)是一種態(tài)度，挖掘數(shù)據(jù)是一種智慧。

??? 全球數(shù)字化，人類(lèi)比特化，萬(wàn)物互聯(lián)網(wǎng)，人人互聯(lián)網(wǎng)，生物人數(shù)字人，現(xiàn)實(shí)人虛擬人，人生人機(jī)生人，如影所隨，數(shù)字一生。對(duì)歷史不要說(shuō)如果，對(duì)未來(lái)不說(shuō)不可能。數(shù)字化時(shí)代真的開(kāi)始了，戰(zhàn)略不是研究未來(lái)要做什么，戰(zhàn)略研究做什么才會(huì)有未來(lái)。

??? 蘇格拉底說(shuō)過(guò)“我知我無(wú)知”，現(xiàn)在有領(lǐng)導(dǎo)干部牛逼得很，以為自己什么都知道，實(shí)際上不知道。我知我無(wú)知不是妄自菲薄，而是應(yīng)有誠(chéng)實(shí)，不是自我貶抑，而是自知之明，不是自稱(chēng)美德，而是起碼教養(yǎng)。世界為何樣，誰(shuí)人能知曉？盲人摸大象，冰山識(shí)一角。

??? 我們不只是繼承了父輩的地球，而是繼承了兒孫的地球。人人知道有來(lái)年，家家盡種來(lái)年谷，人人知道有來(lái)生，何不修取來(lái)生福？做地球的好兒女，當(dāng)合格的生態(tài)人。能源革命的根本目標(biāo)就是建設(shè)能源生態(tài)體系，促進(jìn)能源生態(tài)文明，根本目的就是為中國(guó)人民謀幸福，為中華民族謀復(fù)興。黨的十九大以后，人民需要新的三高，不是高血糖高血脂高血壓，人民需要高顏值、高素質(zhì)、高品質(zhì)。讓人民過(guò)上好日子是共產(chǎn)黨人一切工作的出發(fā)點(diǎn)和落腳點(diǎn)，所以推動(dòng)能源革命，實(shí)現(xiàn)能源革命，實(shí)現(xiàn)雙碳目標(biāo)，就是能源人的不忘初心，牢記使命，讓人民過(guò)上好日子。

心中有信仰，腳下有力量，不忘初心，方得始終。共建人類(lèi)百花園，各美其美是智慧，美人之美是胸懷，美美與共是文明，天下大同是理想。讓我們發(fā)展自己的大數(shù)據(jù)、AI、互聯(lián)網(wǎng)，為人類(lèi)建設(shè)美麗的百花園！

?

（完）

高能效算力芯片的發(fā)展趨勢(shì)與思考

尊敬的各位嘉賓、各位專(zhuān)家，大家下午好！非常高興能夠代表我們團(tuán)隊(duì)來(lái)到大會(huì)進(jìn)行分享。我叫朱建峰，來(lái)自清華大學(xué)集成電路學(xué)院，是魏少軍老師領(lǐng)導(dǎo)的可重構(gòu)計(jì)算團(tuán)隊(duì)。

??? 前面已經(jīng)聽(tīng)了劉院士和徐教授的報(bào)告，學(xué)習(xí)了很多東西，收獲非常大。我們了解到能源和智能是未來(lái)發(fā)展非常重要的，需要考慮的因素。我們團(tuán)隊(duì)主要做的是芯片設(shè)計(jì)，因此我們會(huì)從自己的設(shè)計(jì)角度考慮，我們?cè)鯓訛槟茉吹膯?wèn)題提供自己的解決方案，也對(duì)現(xiàn)在高能效的算力芯片如何發(fā)展提出一些自己的思考和分析。

??? 圖中是全球總的數(shù)據(jù)量，我們生活在信息化的社會(huì)中，所有互聯(lián)網(wǎng)上獲得的信息，經(jīng)過(guò)各種攝像頭、傳感器產(chǎn)生的信息都是非常大量的，需要處理的信息。去年這些信息就已經(jīng)超過(guò)100ZB，我們一般說(shuō)GB、TB、PB、EB到ZB，這就已經(jīng)是非常多的數(shù)量級(jí)，處理算力的需求也提出了更高的要求。

??? 隨著AI訓(xùn)練的發(fā)展，我們對(duì)AI算力的需求也是不斷提高。圖中是通過(guò)更高更好的工藝，現(xiàn)在我們用不了7納米、5納米的工藝，工藝的發(fā)展能夠帶來(lái)多少？就是摩爾定律每?jī)赡攴环?，但AI的需求是每?jī)赡?50倍，這已經(jīng)是不能單單依靠工藝的進(jìn)步提高的事情，所以對(duì)算力的需求必要性也是非常高的。

??? 算力的需求在全球都是非常熱門(mén)的方向，美國(guó)總統(tǒng)顧問(wèn)委員會(huì)提出要做一臺(tái)ZB級(jí)別的計(jì)算機(jī)，說(shuō)明對(duì)算力的需求已經(jīng)達(dá)到ZB級(jí)別的水平，OpenAI提出7萬(wàn)億美元的計(jì)劃，就是做算力芯片，需要達(dá)到ZB級(jí)別，超過(guò)7萬(wàn)億美金才能實(shí)現(xiàn)，這可能是很宏偉、過(guò)于激進(jìn)的計(jì)劃，但反映出對(duì)算力的需求是永無(wú)止境的，一些學(xué)術(shù)機(jī)構(gòu)也在追求更高算力。

??? 馬斯克提到AI計(jì)算第一年可能是芯片的短缺，但很容易發(fā)展到下一個(gè)周期，短缺的就是電力和變壓器，再到明年就沒(méi)有足夠的電力驅(qū)動(dòng)所有的芯片。

??? 圖中就是對(duì)能源算力的制約，而從芯片的角度怎樣去做？這些就是我們需要討論的問(wèn)題，怎樣去做高能效的算力芯片。

??? AMD總裁Lisa Su在去年集成電路的奧林匹克大會(huì)上做了一個(gè)分享，指出我們需要真正實(shí)現(xiàn)未來(lái)的高算力，需要的不是性能，而是高能效的計(jì)算芯片，考慮的就是目前算力最高的超級(jí)計(jì)算機(jī)Frontier，能量效率達(dá)到50GFlops，但未來(lái)計(jì)算需要達(dá)到2T甚至更高，大概就是20-30倍的提升。這里給出的路線(xiàn)有三種：工藝的進(jìn)步，通過(guò)更先進(jìn)的工藝實(shí)現(xiàn)工作頻率的提升。架構(gòu)的優(yōu)化，這是芯片設(shè)計(jì)需要做的事情。更新型的存儲(chǔ)和互聯(lián)，提高我們的數(shù)據(jù)帶寬。頻率、算力密度和數(shù)據(jù)，構(gòu)成我們提高算力最主要的三個(gè)因素。

??? 怎樣從工藝中獲得更高的能源效率？我們可以使用更高的集成電路工藝，通過(guò)集成電路和架構(gòu)技術(shù)減少關(guān)鍵路徑的延遲，提高芯片的性能。如果我們不通過(guò)架構(gòu)的改進(jìn)，只是通過(guò)電路和工藝的改進(jìn)，很早就已經(jīng)達(dá)到了極限。大概2000年到2010年左右就已經(jīng)達(dá)到了停滯的狀態(tài)，現(xiàn)在我們用的CPU、GPU的頻率都是2GB、3GB，已經(jīng)沒(méi)有辦法做得更高，主要是由于功耗和散熱的限制，所以通過(guò)工藝提升性能已經(jīng)達(dá)到極限。

??? 提高單個(gè)CPU的性能主要是主頻和多發(fā)射，需要進(jìn)行更多的流水線(xiàn)，包括最開(kāi)始的5級(jí)流水線(xiàn)到30多級(jí)流水線(xiàn)，為什么現(xiàn)在又回到了10多級(jí)流水線(xiàn)？大家發(fā)現(xiàn)我們提高性能沒(méi)有用，必須提高能量效率，而提高再多的流水線(xiàn)級(jí)數(shù)并不能夠帶來(lái)更多的能效提升，所以從CMOS工藝達(dá)到極限，這也是摩爾定律已經(jīng)快要結(jié)束的情況。

??? 除了工藝以外，我們?cè)诩軜?gòu)上可以做哪些事情？圖中就是從各種文獻(xiàn)中討論的主流三種計(jì)算芯片的問(wèn)題。CPU計(jì)算資源占比只有0.1%，大家可以想像就在800平米的芯片，可能只有不到8平方毫米的芯片在真正計(jì)算，其它地方的東西都是在保證能夠更快的速度計(jì)算。GPU會(huì)比CPU更好一些，因?yàn)榭梢宰霾⑿校驗(yàn)槭侵噶铗?qū)動(dòng)的東西，所以效率仍然是低于40%，一般的話(huà)可能只有20%的水平，利用率也是非常低的。FPGA是更加靈活，利用率只有5%左右。云端的幾類(lèi)主要芯片都是受限于在硬件上的利用率，所以能量效率其實(shí)還是存在很大問(wèn)題的。

??? 我們?cè)鯓幼龀赡茉葱矢叩男酒?？?zhuān)用芯片，能量效率非常高，但靈活性是非常差的。我們做這樣的芯片，如果不能被廣泛地使用起來(lái)，不能銷(xiāo)售更多的數(shù)量，成本就是沒(méi)有辦法接受的，也就是失去意義的東西。我們需要做的是表上兩個(gè)維度的均衡，希望兼顧更多的領(lǐng)域，同時(shí)達(dá)到更多的能量效率，能夠達(dá)到兼顧更多結(jié)構(gòu)的優(yōu)化。

??? 如何從新的架構(gòu)、新的存儲(chǔ)、新的封裝、新的工藝、新的互聯(lián)尋找提高能量效率？達(dá)到每秒計(jì)算1TB、10TB這樣的算力，但供給數(shù)據(jù)的部分就成為了瓶頸，綠色的線(xiàn)就是從存儲(chǔ)器里面的計(jì)算單元，帶寬和真正計(jì)算的能力已經(jīng)隔了非常大的Gap，而這個(gè)Gap就是我們需要考慮彌補(bǔ)的東西。

??? 我們計(jì)算的時(shí)候需要把數(shù)據(jù)搬進(jìn)來(lái)，不僅是通過(guò)DRAM，也是需要通過(guò)互聯(lián)從外部搬進(jìn)來(lái)，無(wú)論是外部IO還是DRAM，Gap都會(huì)是我們現(xiàn)在面臨的一個(gè)巨大的問(wèn)題。我們有這種計(jì)算能力，但沒(méi)有這么多數(shù)據(jù)。一次計(jì)算的能耗其實(shí)遠(yuǎn)遠(yuǎn)小于搬一次數(shù)據(jù)的能耗。DRAM里面搬一次數(shù)據(jù)的能耗是把數(shù)據(jù)完成一次計(jì)算，消耗能耗的6000多倍，很多能耗根本不需要真正擔(dān)心算力沒(méi)有達(dá)到，而是計(jì)算和存儲(chǔ)之間不夠緊，計(jì)算和IO之間不夠緊，計(jì)算之間連接的不夠。

??? 現(xiàn)在主流的方向就是新型的存儲(chǔ)和封裝，把計(jì)算和存儲(chǔ)放得更近一些，存儲(chǔ)里面讀取數(shù)據(jù)的功耗降得更少。我們看到這樣的發(fā)展方向，包括現(xiàn)在最流行的GPU各個(gè)加速芯片都會(huì)用到的高速存儲(chǔ)，把存儲(chǔ)和計(jì)算的距離通過(guò)先進(jìn)封裝的方式拉得更近，通過(guò)走線(xiàn)拉得非常短，使得功耗能夠降低。

??? 我們把計(jì)算邏輯和存儲(chǔ)邏輯通過(guò)封裝的方式放得更近，這也是一種方法，然后就是通過(guò)存內(nèi)計(jì)算，這是現(xiàn)在非常流行的做法，就是在存儲(chǔ)單元里面計(jì)算，甚至不需要把數(shù)據(jù)從存儲(chǔ)器芯片里面搬出來(lái)。通過(guò)在工藝上減少計(jì)算邏輯和存儲(chǔ)的物理距離和開(kāi)銷(xiāo)，包括減少延遲，真正實(shí)現(xiàn)剛才提到的高能效的目標(biāo)。

??? 現(xiàn)在一個(gè)比較特殊的路徑就是晶圓級(jí)別的芯片，基本思路是什么？我們需要獲取芯片的數(shù)據(jù)，需要通過(guò)網(wǎng)絡(luò)和PCIe高速互聯(lián)獲取，要是能夠更好地把更多的芯片在更小的面積集成，我們就不需要經(jīng)過(guò)大量的網(wǎng)絡(luò)和高速串口進(jìn)行數(shù)據(jù)的搬運(yùn)，通過(guò)這樣的方式在一顆大的晶圓把很多芯片集成上百顆，形成這樣大的系統(tǒng)，通過(guò)IO和互聯(lián)把功耗降到最低。

??? 總結(jié)一下國(guó)內(nèi)外最新的產(chǎn)品和技術(shù)路線(xiàn)。

??? 看一看NVIDIA的GPU架構(gòu)演化，不考慮工藝簡(jiǎn)化，只考慮架構(gòu)提高。我們把NVIDIA的GPU分為三個(gè)時(shí)代：2016年前都是向量計(jì)算（Vector），只有二維的向量，典型產(chǎn)品就是Pascal架構(gòu)，最主要的創(chuàng)新就是通過(guò)先進(jìn)封裝可以提供更大的存儲(chǔ)帶寬，讓計(jì)算更快地獲得數(shù)據(jù)，也就是近存計(jì)算的模式，能夠?qū)⒏叩幕ヂ?lián)帶寬實(shí)現(xiàn)算力提高，同時(shí)把功耗控制。2017年到2020年是深度學(xué)習(xí)的時(shí)代，包括CNN、RNN，各種深度神經(jīng)網(wǎng)絡(luò)的東西都出來(lái)了，所以向量計(jì)算是不夠的，增加專(zhuān)用量的計(jì)算單元，可以?xún)?yōu)化神經(jīng)網(wǎng)絡(luò)中需要的矩陣和預(yù)防，通過(guò)這樣的方式為神經(jīng)網(wǎng)絡(luò)進(jìn)行更多的加速。V100開(kāi)始增加Tensor Core，對(duì)此進(jìn)行功耗的節(jié)省，所以就增加更低精度、更結(jié)構(gòu)化的優(yōu)化。2022年開(kāi)始就是生成式AI大模型時(shí)代，跟前面深度學(xué)習(xí)的時(shí)代主要在于以Transformer模型為主要基石進(jìn)行加速，更加規(guī)律，規(guī)模更大，因此精度上考慮更低精度、更快速的推理，引入更多的精度，去做更快的計(jì)算，通過(guò)降低精度降低功耗，GPU架構(gòu)發(fā)展為了高能效做了很多改變。最后就是Blackwell架構(gòu)，主要在于FP6、FP4甚至更低的FP2，超低精度的方式來(lái)做大模型，通過(guò)這種方式降低功耗，消耗更少的能源。

??? 可以看到B200沒(méi)有很大的性能提升，相比H100提升非常不明顯，就是通過(guò)B200兩顆芯片封裝，單顆性能提升已經(jīng)達(dá)到非常大的極限，功率上會(huì)有光罩大小的極限，工藝發(fā)展已經(jīng)達(dá)到4納米以下，成本很高，獲得的收益也很小。解決方案就是多個(gè)芯片、多個(gè)管線(xiàn)的封裝，通過(guò)更多的管線(xiàn)封裝在一起提高性能，B200就是B100性能的2倍。其它的有存儲(chǔ)數(shù)據(jù)、NV-Link都是按照幾倍的速度發(fā)展，但NVSwitch今年提出500多個(gè)GPU，提供這樣一個(gè)大的集群，目的也是為我們應(yīng)用的大模型考慮。

??? 最開(kāi)始的FP64、原來(lái)的Vector、再到BF16、TF32、DPX這些非常專(zhuān)用的，面向基因和其它高性能計(jì)算的指令集，加上FP6和FP4都是可以通過(guò)架構(gòu)更新實(shí)現(xiàn)能效的提升。

??? 除了GPU之外，現(xiàn)在的初創(chuàng)公司還有一個(gè)非常多的路線(xiàn)就是專(zhuān)用AI芯片，2015年開(kāi)始Google推出TPU v1版本，用的不是GPU SMT單指令多數(shù)據(jù)的方式，而是二維的，好處就是更加專(zhuān)用化，能夠通過(guò)在架構(gòu)上的優(yōu)化達(dá)到更高的能量效率。Google提出做這樣的架構(gòu)能夠比GPU能效提高數(shù)倍，用更少的能量做到一樣的性能。

??? 2019年，晶圓級(jí)別的加速引擎出現(xiàn)，就是在單個(gè)晶圓集成多個(gè)芯片，減少I(mǎi)O功耗提升整個(gè)集群的算力和能效。美國(guó)獨(dú)角獸公司的思路是可重構(gòu)計(jì)算，通過(guò)改變GPU架構(gòu)實(shí)現(xiàn)計(jì)算量效的提升?？梢钥吹皆诩軜?gòu)上有更多的專(zhuān)用，可以做到更有力的特性。

??? 我們總結(jié)了幾家初創(chuàng)公司在架構(gòu)、存儲(chǔ)和工藝上的特點(diǎn)，剛才已經(jīng)提到了一些，體系架構(gòu)基本上都是擯棄GPU的方式，主要采用的都是Data Flow數(shù)據(jù)流的方式。

??? 以上就是我的報(bào)告的全部?jī)?nèi)容，謝謝大家！

?

?

算力+數(shù)據(jù)——AI原生世界的基石

非常感謝各位領(lǐng)導(dǎo)、各位嘉賓、各位朋友蒞臨本次會(huì)議，也非常高興有機(jī)會(huì)和大家分享矩陣起源和世紀(jì)互聯(lián)在AIDC方面的合作和進(jìn)展。

??? 矩陣起源2021年開(kāi)始創(chuàng)業(yè)，從創(chuàng)立到現(xiàn)在所有事情都是圍繞數(shù)據(jù)來(lái)做的，但這一年發(fā)生了很大的變化。

??? AI原生自2023年10月ChatGPT3.5發(fā)布以后又爆發(fā)了一個(gè)新的Hype，核心標(biāo)志是人機(jī)交互界面的全面優(yōu)化。我還記得發(fā)布的時(shí)候，我的整個(gè)朋友圈都爆了，因?yàn)檫@完全是用自然語(yǔ)言實(shí)現(xiàn)人和機(jī)器的交互。時(shí)間來(lái)到十幾個(gè)月以后的現(xiàn)在，我們看到當(dāng)時(shí)的想象力是遠(yuǎn)遠(yuǎn)不夠的。大模型和之前幾波AI浪潮結(jié)合起來(lái)的應(yīng)用、創(chuàng)新，包括數(shù)字人、數(shù)字孿生、AR和VR、生物醫(yī)藥結(jié)合起來(lái)以后，爆發(fā)出了比當(dāng)時(shí)剛發(fā)布的時(shí)候還要大出百倍的力量，影響到了整個(gè)行業(yè)。

??? 原來(lái)我在騰訊云負(fù)責(zé)大數(shù)據(jù)和人工智能，在上一波浪潮的時(shí)候，我們經(jīng)常說(shuō)AI的瓶頸是什么決定？是由數(shù)據(jù)、算法和應(yīng)用場(chǎng)景再加上算力，因此，需要用合適的算力搭載合適的數(shù)據(jù)，用優(yōu)秀的算法做出一個(gè)模型，最后找到合適的場(chǎng)景落地，這些是我們當(dāng)時(shí)經(jīng)常強(qiáng)調(diào)的。

??? 今天我們發(fā)現(xiàn)一個(gè)很有意思的問(wèn)題，數(shù)據(jù)、算法、應(yīng)用場(chǎng)景、算力以外又多了一個(gè)電力?，F(xiàn)在Microsoft、OpenAI和Meta用電量已經(jīng)接近甚至趕超了一個(gè)歐洲小國(guó)，而且還在持續(xù)加速。這里就有一個(gè)很有意思的問(wèn)題，如果說(shuō)2016年，我們的軟件和AI應(yīng)用只需要考慮怎么用，但現(xiàn)在得再往上走，想一想電力怎么調(diào)度。

大家都知道 GPT就是Generative Pre-trained Model，Transformer加上Scaling Law激發(fā)了這一波浪潮，但這對(duì)算力產(chǎn)生的影響是什么？以前都叫做摩爾定律，GPT出來(lái)以后不再是每18個(gè)月，每幾個(gè)月就會(huì)翻1倍，而會(huì)變成每18個(gè)月可能會(huì)翻10倍，因此算力需求的增長(zhǎng)遠(yuǎn)超以往。舉個(gè)例子，GPT3.5當(dāng)時(shí)是用H100，1萬(wàn)張芯片實(shí)現(xiàn)的，大家就已經(jīng)很驚嘆了；而GPT4是用3萬(wàn)多張芯片。為什么OpenAI要搞7萬(wàn)億美元的融資？據(jù)說(shuō)GPT5需要10萬(wàn)張H100。大家都在這個(gè)行業(yè)，知道3萬(wàn)張H100意味著每天的消耗量和成本是1個(gè)億，需要6-8周訓(xùn)練1個(gè)模型?？梢韵胂褚幌?，40-60億元人民幣才能迭代出一個(gè)新的模型，算力瓶頸如果持續(xù)存在，可以看到一個(gè)會(huì)嚴(yán)重制約AI發(fā)展的因素：要是每?jī)蓚€(gè)月才能迭代新模型，可能回到二三十年前的開(kāi)發(fā)模式，現(xiàn)在敏捷開(kāi)發(fā)都是按天迭代，但是AI大模型退回兩個(gè)月迭代一次，其實(shí)這非常限制AI在各行各業(yè)的落地。

??? 為什么這一波AI浪潮比上一波更加吸引人，更加有機(jī)會(huì)？因?yàn)樯弦徊ㄉ疃葘W(xué)習(xí)以后，大家都在找場(chǎng)景，找到合適的，能夠使用AI的場(chǎng)景。現(xiàn)在大家都知道安防，大模型剛誕生的時(shí)候就已經(jīng)有場(chǎng)景了，換句話(huà)說(shuō)就已經(jīng)能夠賺錢(qián)了，但依然還有很大的問(wèn)題。我們都知道大模型繼承于深度學(xué)習(xí)，所以有一個(gè)問(wèn)題，就是一個(gè)黑盒子，這些賺錢(qián)的場(chǎng)景能不能擴(kuò)大？每個(gè)賺錢(qián)的場(chǎng)景里面能不能賺得更多？需要知道哪個(gè)大模型更好，哪個(gè)大模型更有優(yōu)化空間，也需要知道大模型怎么使用。雖然大模型應(yīng)用已經(jīng)百花齊放，但還有更多的空間需要更多的機(jī)會(huì)發(fā)掘，這也是前面陳升董事長(zhǎng)提到的：我們還是處于Pre-AI時(shí)代。

??? 矩陣起源和世紀(jì)互聯(lián)的合作是強(qiáng)強(qiáng)聯(lián)合，本質(zhì)上是形成了一個(gè)共識(shí)。軟件創(chuàng)造價(jià)值一般都是降本增效創(chuàng)新，以前AI時(shí)代之前，降本增效創(chuàng)新鏈路主要是人，本質(zhì)是怎么節(jié)約人力、流程、時(shí)間、增加效率。IDC領(lǐng)域正在發(fā)生變化，因?yàn)?0%的價(jià)值已經(jīng)在算力上了。去年一年全世界AI領(lǐng)域的融資是800多億，80%拿去購(gòu)買(mǎi)NVIDIA的卡，軟件如果要?jiǎng)?chuàng)造價(jià)值，從矩陣起源的角度就必須找到最有機(jī)會(huì)創(chuàng)造價(jià)值的領(lǐng)域。我和陳升董事長(zhǎng)是有這種共識(shí)的，一定要軟硬一體，軟件也要向價(jià)值鏈條的上游和下游延展和傳遞。我們本來(lái)是以數(shù)據(jù)為核心的公司，因?yàn)楫?dāng)前場(chǎng)景發(fā)生了變化，我們就必須要考慮怎樣把軟件技術(shù)能力放在價(jià)值鏈最大的環(huán)節(jié)，所以就一拍即合。

??? Neolink.AI是在世紀(jì)互聯(lián)這么多年的行業(yè)積累，及現(xiàn)存的算力上全新搭建的軟件系統(tǒng)，是由矩陣起源開(kāi)發(fā)的MatrixOS，包含幾個(gè)組件：

??? MatrixDC是算力調(diào)度和納管平臺(tái)，以前有個(gè)詞叫做Software defined Data Center，現(xiàn)在是Software defined AI Data Center，可以針對(duì)性地滿(mǎn)足客戶(hù)的需求。

??? 我們內(nèi)部把專(zhuān)注于高性?xún)r(jià)比、能夠快速完成大模型迭代的GPU集群，稱(chēng)之為L(zhǎng)arge GPU Cluster，幫助100B大模型訓(xùn)練時(shí)間縮短到6周以?xún)?nèi)。客戶(hù)如果更加在意平衡，想要國(guó)產(chǎn)芯片或推理芯片、訓(xùn)練芯片結(jié)合降低成本，世紀(jì)互聯(lián)可以和我們提供GPU Cluster，滿(mǎn)足用戶(hù)端到端網(wǎng)絡(luò)傳輸?shù)捏w驗(yàn)，同時(shí)具備足夠好的地理位置，讓用戶(hù)可以訪(fǎng)問(wèn)和加載數(shù)據(jù)。

??? Flexible GPU Cluster主要作用是幫助客戶(hù)用最低時(shí)延、最好方式進(jìn)行大模型推理。

??? MatrixOne是我們過(guò)去幾年致力于開(kāi)發(fā)的軟件，大家都知道1ZB是10萬(wàn)億億Byte，但GPT訓(xùn)練的時(shí)候數(shù)據(jù)量是幾十TB。GPT的訓(xùn)練數(shù)據(jù)是要從160EB的數(shù)據(jù)中寨選出來(lái)，清洗和標(biāo)注成幾十TB再拿去訓(xùn)練，所以數(shù)據(jù)的挑戰(zhàn)也是非常大的，比如：怎么管理海量數(shù)據(jù)，海量數(shù)據(jù)到有價(jià)值的知識(shí)數(shù)據(jù)沉淀的過(guò)程成本能不能降下來(lái)等。

??? 基于矩陣起源部署在世紀(jì)互聯(lián)數(shù)據(jù)中心的算力調(diào)度平臺(tái)，我們把MatrixOne加載在上面，讓我們對(duì)客戶(hù)的服務(wù)可以更進(jìn)一步，也讓客戶(hù)從互聯(lián)網(wǎng)數(shù)據(jù)到物聯(lián)網(wǎng)數(shù)據(jù)以及企業(yè)軟件數(shù)據(jù)都能夠在一個(gè)平臺(tái)上實(shí)現(xiàn)自動(dòng)化管理，同時(shí)還能夠更加高性?xún)r(jià)比地使用，不管是企業(yè)交易還是分析或是AI。

??? 但這些夠不夠呢？我們認(rèn)為不夠，我們還需要幫助客戶(hù)打造更加全鏈路的解決方案，所以開(kāi)發(fā)一個(gè)新的產(chǎn)品叫做MatrixGenesis。我們已經(jīng)有了算力平臺(tái)MatrixDC、數(shù)據(jù)平臺(tái)MatrixOne，具備了一個(gè)很好的地基，但是對(duì)很多客戶(hù)只有一個(gè)好的地基還不夠，他希望有更好的交鑰匙工程。通過(guò)MatrixGenesis可以實(shí)現(xiàn)推理服務(wù)，把大模型評(píng)測(cè)、診斷、優(yōu)化、Finetune的能力全部?jī)?nèi)置在平臺(tái)，通過(guò)MatrixGenesis可以大幅度縮減開(kāi)發(fā)AI應(yīng)用的時(shí)間，降低落地的成本。

??? MatrixOS是矩陣起源開(kāi)發(fā)的開(kāi)源軟件，它和世紀(jì)互聯(lián)合作的平臺(tái)叫做NeoLink.AI，也是秉持開(kāi)放的理念。NeoLink.AI未來(lái)不僅連接世紀(jì)互聯(lián)自有的AI算力，目標(biāo)是未來(lái)三年能夠滿(mǎn)足世紀(jì)互聯(lián)規(guī)劃的10萬(wàn)卡算力。世紀(jì)互聯(lián)和矩陣起源會(huì)把平臺(tái)開(kāi)放出來(lái)，希望和所有合作伙伴，不管是算力的提供者還是數(shù)據(jù)的提供者，或者是算法模型的提供者，最后的應(yīng)用開(kāi)發(fā)者，我們都能夠聚集在這樣的平臺(tái)。

??? 大家都知道單卡算力其實(shí)已經(jīng)是被限制了，需要有更多的人去網(wǎng)絡(luò)化提供算力，所以NeoLink.AI也會(huì)開(kāi)放出來(lái)各種各樣的接口，讓算力合作伙伴、各種合作伙伴都能夠把他們的能力在NeoLink.AI體現(xiàn)出來(lái)。

??? 非常感謝大家，希望開(kāi)源社區(qū)合作伙伴都加入到NeoLink.AI這樣的AI Native的創(chuàng)新社區(qū)。

超大規(guī)模智算集群設(shè)計(jì)與實(shí)踐

各位領(lǐng)導(dǎo)、各位嘉賓，大家下午好！我是基流科技的創(chuàng)始人胡效赫?；魇侨ツ陱膶W(xué)校科技成果轉(zhuǎn)化出來(lái)的一家快速發(fā)展的創(chuàng)業(yè)公司，現(xiàn)在成立大概一年多一點(diǎn)，專(zhuān)注在做中大型的計(jì)算集群建設(shè)和運(yùn)維，包括高速的網(wǎng)絡(luò)互聯(lián)通信、算力的調(diào)度和優(yōu)化。目前已經(jīng)實(shí)現(xiàn)百卡、千卡到萬(wàn)卡的互聯(lián)，也正在做10萬(wàn)卡互聯(lián)的解決方案。去年我們累計(jì)到現(xiàn)在是在清華校友，累計(jì)做了10個(gè)左右的集群，目前大概是1.7萬(wàn)張卡，今年P(guān)ipeline可以做到3萬(wàn)卡以上的規(guī)模。

??? 下面我從三個(gè)方面分享在超大規(guī)模智算集群方面的演進(jìn)：算力網(wǎng)絡(luò)演進(jìn)趨勢(shì)、實(shí)踐經(jīng)驗(yàn)、廣域網(wǎng)訓(xùn)練方面的進(jìn)展。

??? 大模型時(shí)代從去年到現(xiàn)在已經(jīng)一年左右的時(shí)間，未來(lái)基礎(chǔ)設(shè)施就是算力和網(wǎng)絡(luò)直接構(gòu)成的，每一臺(tái)GPU是每一臺(tái)的算力，把網(wǎng)絡(luò)加上以后會(huì)變成集群?；ヂ?lián)網(wǎng)到算力網(wǎng)，無(wú)論是帶寬、時(shí)延還是擁塞程度，業(yè)務(wù)流量會(huì)發(fā)生非常大的變化，在這種情況下就是和原來(lái)互聯(lián)網(wǎng)相比采用更高速的協(xié)議發(fā)展邏輯，通過(guò)RDMA機(jī)制替換TCP。超算到云計(jì)算十年的發(fā)展時(shí)間，我們陸續(xù)支持在通用的以太網(wǎng)上實(shí)現(xiàn)高速、遠(yuǎn)程內(nèi)存訪(fǎng)問(wèn)的機(jī)制，帶寬、協(xié)議到機(jī)制。

??? 整個(gè)大模型基礎(chǔ)設(shè)施的變化會(huì)更加復(fù)雜，這也是整個(gè)大模型基礎(chǔ)設(shè)施的演進(jìn)全流程圖，包括硬件站和軟件站。我們可以看到除了GPU以外，涉及到的東西還是非常多和非常復(fù)雜。這里引用OpenAI基礎(chǔ)設(shè)施負(fù)責(zé)人的一段話(huà)：“我們只拿到1000張卡和1萬(wàn)張卡沒(méi)有辦法把集群調(diào)試完整，需要經(jīng)過(guò)大量的系統(tǒng)優(yōu)化和設(shè)計(jì)?！?/p>

??? 去年開(kāi)始，大模型的計(jì)算特性和前十年的云計(jì)算計(jì)算特性是完全反著的。云計(jì)算是講微服務(wù)，大模型是宏服務(wù)。云計(jì)算是把一個(gè)任務(wù)切分到不同的CPU，就是一趨多，大模型是多趨一。一個(gè)任務(wù)放在上百臺(tái)機(jī)器，多臺(tái)機(jī)器在一個(gè)任務(wù)上的穩(wěn)定性是梯次降低的，穩(wěn)定性能夠掉到50%甚至50%以下。

??? 怎么去做軟件站和硬件站所有的配置和優(yōu)化，包括并行框架，通信層、協(xié)議層和硬件層的配置?？赡苡?個(gè)參數(shù)沒(méi)有配對(duì)，整個(gè)性能會(huì)掉30%-50%，在這種情況下可靠性很低，復(fù)雜性很高。我們的時(shí)間很短，一兩年很難有非常成熟的工具和生態(tài)解決這個(gè)問(wèn)題，所以在這個(gè)過(guò)程中也是需要有大量的實(shí)踐經(jīng)驗(yàn)和以前非常堅(jiān)實(shí)的分布式系統(tǒng)支持才能把這件事情做好。

??? 去年最開(kāi)始就講這三件事情，講到今年和明年也還是這三件事情，就是穩(wěn)定性、高效性和開(kāi)放。所謂的穩(wěn)定就是一個(gè)任務(wù)跑在多個(gè)節(jié)點(diǎn)，可靠性是非常低的，在這種情況下怎么進(jìn)行異步加速、容錯(cuò)和定位，變得尤為重要。我們的任務(wù)能夠跑起來(lái)才能跑得好，然后就是進(jìn)一步通過(guò)優(yōu)化計(jì)算、優(yōu)化通信，提高GPU的利用率，軟硬件的聯(lián)合優(yōu)化提升能力，然后就是在大的背景下去做異構(gòu)和國(guó)產(chǎn)化，包括自有的生態(tài)其實(shí)也是長(zhǎng)期發(fā)展的主題。

??? 目前我們專(zhuān)注于大模型的智算平臺(tái)，2022年之前也有AI，因?yàn)槿四樧R(shí)別有些特效，其實(shí)也用了很久，因?yàn)楫?dāng)時(shí)沒(méi)有分布式的需求，但2023年以后開(kāi)始做AI基礎(chǔ)設(shè)施，分布式需求開(kāi)始變得越來(lái)越明顯，越來(lái)越重要。我們是從三個(gè)層面提供大模型的智算平臺(tái)底層能力：硬件層面提供高速RDMA互聯(lián)的硬件，交換機(jī)、光模塊、組網(wǎng)方面都有持續(xù)的解決方案提升，底層分布式計(jì)算引擎怎樣去做并行策略、負(fù)載均衡、異步容錯(cuò)，包括集群上怎么去做任務(wù)的調(diào)度、故障的容錯(cuò)、管控和運(yùn)維提升穩(wěn)定性，這些是我們持續(xù)在做的大模型智算平臺(tái)的系統(tǒng)方案。

??? 看一看去年典型案例中的實(shí)踐，我們做AI基礎(chǔ)設(shè)施和算力集群分為三個(gè)部分：機(jī)架內(nèi)的互聯(lián)也在快速演進(jìn)，今天主要是講后面的部分，就是數(shù)據(jù)中心互聯(lián)、跨數(shù)據(jù)中心的互聯(lián)。去年開(kāi)始，大家認(rèn)為這件事情比較神秘，但到今年怎么去做百卡、千卡、萬(wàn)卡的互聯(lián)，其實(shí)已經(jīng)是業(yè)界的Common Sense，我們?cè)O(shè)計(jì)基于高速網(wǎng)絡(luò)、多軌道、多平面的設(shè)計(jì)，就像幾何拓普一樣，可以比較容易地從1000卡到4000卡，萬(wàn)卡到10萬(wàn)卡進(jìn)行Scale。

??? 去年我們進(jìn)行256臺(tái)機(jī)器經(jīng)典設(shè)計(jì)，包括高速的網(wǎng)絡(luò)，25.6TB的設(shè)備，通過(guò)8個(gè)多軌道的方式連接NVIDIA最新的GPU集群，每個(gè)GPU里面會(huì)配備存儲(chǔ)的邏輯，上面是接入整個(gè)管控系統(tǒng)。麻雀雖小，五臟俱全。集群搭建的過(guò)程中，我們慢慢積累下來(lái)算法和系統(tǒng)的能力，剛開(kāi)始這個(gè)事情比較新，出來(lái)以后大家沒(méi)有業(yè)界的規(guī)范，原來(lái)超算用什么我們就用什么。但我們慢慢發(fā)現(xiàn)，超算的業(yè)務(wù)、HPC業(yè)務(wù)和AI業(yè)務(wù)邏輯是不一樣的。HPC應(yīng)用是時(shí)延敏感性，但AI應(yīng)用不是時(shí)延敏感性，而是帶寬敏感性，我們用以太網(wǎng)的方案是可以做到相同的帶寬，要是網(wǎng)絡(luò)設(shè)備堆在那里做以太網(wǎng)的方案，穩(wěn)定性、性能是沒(méi)有辦法保證的。

??? RDMA以太網(wǎng)的協(xié)議是一個(gè)底子，但是真正跑在AI的場(chǎng)景中，需要完成的是一套GPU的方案，需要在通信層、RDMA協(xié)議層去做端網(wǎng)融合、算法優(yōu)化、系統(tǒng)優(yōu)化，才能保證和超算集群一樣的穩(wěn)定性和帶寬的效率。在這種情況下，因?yàn)槲覀兪情_(kāi)放和通用的方案，千卡到萬(wàn)卡集群，供貨的周期、性?xún)r(jià)比上差異其實(shí)是可以到上億的量級(jí)。

??? 在此過(guò)程中，我們也有積累起自己的產(chǎn)品能力，通過(guò)Venus自動(dòng)化的集群管控運(yùn)維調(diào)優(yōu)的軟件，數(shù)千卡的環(huán)境中支持組件的一鍵部署，狀態(tài)監(jiān)測(cè)、端網(wǎng)一體化的優(yōu)化，進(jìn)一步增強(qiáng)GPU的集群通信能力，保證端到端訓(xùn)練的可擴(kuò)展性和穩(wěn)定性。

??? Mercury提供基礎(chǔ)硬件，我們灌輸自己的軟件系統(tǒng)，支持一些國(guó)產(chǎn)化的設(shè)備提供，通過(guò)國(guó)產(chǎn)化的方案在未來(lái)保持一個(gè)行業(yè)更開(kāi)放的邏輯。我們繼續(xù)推進(jìn)怎么去做長(zhǎng)距離、分布式的智算集群，長(zhǎng)距離上跑的是訓(xùn)練而不是存儲(chǔ)。

??? 大的背景已經(jīng)說(shuō)得比較多了，這里引用最近一兩個(gè)月Twitter里面的討論。微軟現(xiàn)在正在和OpenAI訓(xùn)練GPT6，他們就在聊，其實(shí)已經(jīng)在多數(shù)據(jù)中心之間拉超高帶寬的方案，因?yàn)槿绻阉械目ǚ诺揭粋€(gè)集群里面跑10萬(wàn)卡甚至更大集群，可能會(huì)把整個(gè)州的電力Crush，所以在尋求分布式計(jì)算方案。

??? 微軟2022年已經(jīng)在數(shù)據(jù)中心完成計(jì)算和存儲(chǔ)的廣域網(wǎng)互聯(lián)，我們剛才在做數(shù)據(jù)中心內(nèi)部的互聯(lián)和訓(xùn)練，能不能做跨數(shù)據(jù)中心的互聯(lián)和訓(xùn)練？其實(shí)這些是去年最開(kāi)始的CyberNext實(shí)驗(yàn)，把2臺(tái)A800跨10公里去做長(zhǎng)距離的訓(xùn)練，當(dāng)時(shí)跑的是LAMA的數(shù)據(jù)，可以通過(guò)一些調(diào)度的策略做到等效算力基本不變。

??? 今年3月到4月在上海開(kāi)展實(shí)驗(yàn)，我們找了4臺(tái)A800，拉了20公里的帶寬，單次迭代的TFlops基本一樣，可以做到20公里，訓(xùn)練的效率基本不變，進(jìn)一步拉長(zhǎng)到50公里，也是通過(guò)一些設(shè)計(jì)的邏輯可以做到訓(xùn)練效率和放在一起相比，等效算力可以做到99%左右。

??? 我們?cè)诩軜?gòu)層面做了算存協(xié)同的廣域網(wǎng)組網(wǎng)調(diào)度方案，物理層面打破傳統(tǒng)光傳輸高投入的方案，采用分離式軟件定義的方式降低成本，網(wǎng)絡(luò)層面長(zhǎng)距離的RDMA協(xié)議有些突破，訓(xùn)練層面是做了更多的拓普感知和并行策略。

??? 通過(guò)軟件定義的方式，我們把整個(gè)光傳輸?shù)某杀窘档?，可以在城市?nèi)幾十公里到上百公里的方案里面拉到T級(jí)別的帶寬，物理實(shí)驗(yàn)做到毫秒級(jí)別的時(shí)延，存儲(chǔ)需要互聯(lián)、計(jì)算需要互聯(lián)，整體上就是基本設(shè)計(jì)方案。

??? 從數(shù)據(jù)中心內(nèi)部到數(shù)據(jù)中心間對(duì)比較復(fù)雜的參數(shù)調(diào)優(yōu)，包括負(fù)載均衡的能力去做一些拓普感知、擁塞控制的調(diào)配，可以把整個(gè)帶寬做到限速的邏輯。

??? 為什么說(shuō)AI計(jì)算是帶寬敏感性而不是時(shí)延敏感性？因?yàn)檎嬲ヅ蹵I計(jì)算的話(huà)，尤其是千億參數(shù)模型，每次迭代時(shí)間大概是5-10秒鐘的量級(jí)，真正在廣域網(wǎng)互聯(lián)的話(huà)，一個(gè)城市內(nèi)到百公里單次RTT也就是1毫秒的量級(jí)，只要保證數(shù)據(jù)傳輸量是最小的，不是單次迭代的多次數(shù)據(jù)傳輸，可以把跨廣域網(wǎng)傳輸?shù)腛verhead負(fù)擔(dān)拉下來(lái)。

??? 真正的3D并行策略怎樣去做流水線(xiàn)并行和數(shù)據(jù)并行，我們其實(shí)是有些切分的邏輯，未來(lái)可能會(huì)有專(zhuān)家并行、Context Parallel，需要分析每個(gè)計(jì)算領(lǐng)域?qū)挼男枨?、?duì)通信頻次的需求，找到真正影響最低的通信方式，跨廣域網(wǎng)進(jìn)行互聯(lián)，整體效率就可以做到100%的等效帶寬或者99%左右的等效帶寬。

??? 目前我們已經(jīng)在上海搭建512卡國(guó)產(chǎn)環(huán)境，5.2TB跨數(shù)據(jù)中心帶寬，6月會(huì)做千卡H800集群，也是30公里帶寬，做到12.8TB，差不多在數(shù)據(jù)中心內(nèi)部1：1，數(shù)據(jù)中心之間是1：16，也是爭(zhēng)取通過(guò)各種優(yōu)化層面做到99%左右的等效帶寬，就是讓整個(gè)城市內(nèi)部所有分布式算力等效成為集中大的算力池，進(jìn)行整體的訓(xùn)推一體的方案。

《開(kāi)源中國(guó)：開(kāi)源x AI的狂飆》

大家好，我的名字特別吉利，叫馬越，意味著大家見(jiàn)到我，馬上就會(huì)越來(lái)越好。因緣際會(huì)，對(duì)的人，對(duì)的事情只有在對(duì)的時(shí)間才能對(duì)上。我是做軟件的，也是人生中第一次被邀請(qǐng)參加算力大會(huì)。任何一個(gè)演講者，最難銷(xiāo)售的就是聽(tīng)眾，算力硬件上對(duì)大家沒(méi)有幫助，怎么能夠讓大家有效地通過(guò)他山之石可以攻玉，通過(guò)我們這一路的思考和實(shí)踐，這些軟件從業(yè)者、互聯(lián)網(wǎng)平臺(tái)的從業(yè)者，對(duì)這個(gè)時(shí)代采取了什么樣的思考？希望給大家一些我們自己的心得體會(huì)，有助于硬件越做越軟，軟件越做越硬。

??? 開(kāi)源中國(guó)不是一個(gè)初生的公司，也是經(jīng)過(guò)了十六個(gè)年頭，到今天迭代了四個(gè)版本出來(lái)：2008年，我們剛成立的時(shí)候做的就是開(kāi)源內(nèi)容的普及，直到今天有人還在問(wèn)我們，你們跟CSDN有什么區(qū)別？2008年，我們剛做的時(shí)候其實(shí)是CSDN的分支，為天下開(kāi)發(fā)者提供了所有的技術(shù)內(nèi)容，而開(kāi)源中國(guó)只提供了開(kāi)源的相關(guān)內(nèi)容。

??? 由于開(kāi)源精神上的利他主義、技術(shù)上的徹底分享，人人為我，我為人人的社會(huì)化協(xié)作方法論，導(dǎo)致今天偉大的技術(shù)好像無(wú)一不是開(kāi)源。

我們IT從業(yè)者多會(huì)造名詞？互聯(lián)網(wǎng)是我們?cè)斐鰜?lái)的名詞，移動(dòng)互聯(lián)網(wǎng)是我們?cè)斐鰜?lái)的名詞，云計(jì)算是我們?cè)斐鰜?lái)的，大數(shù)據(jù)是我們?cè)斐鰜?lái)的，區(qū)塊鏈?zhǔn)俏覀冊(cè)斐鰜?lái)的，物聯(lián)網(wǎng)是我們?cè)斐鰜?lái)的，后來(lái)又有了機(jī)器學(xué)習(xí)，之后又有了AIGC，到今天AGI，明年大概率還會(huì)造出來(lái)一個(gè)詞。在這些眼花繚亂、一年一更新的時(shí)髦名詞背后，開(kāi)源一直發(fā)揮著巨大的創(chuàng)新價(jià)值。

移動(dòng)互聯(lián)網(wǎng)時(shí)代，操作系統(tǒng)是Unix和Windows的天下，于是有了Linux的技術(shù)，現(xiàn)在服務(wù)器90%安裝的都是基于Linux的開(kāi)源系統(tǒng)，而這是開(kāi)源的。移動(dòng)互聯(lián)網(wǎng)有IOS蘋(píng)果操作系統(tǒng)，但也有Android和開(kāi)放鴻蒙。之后又到了云計(jì)算時(shí)代，有了OpenStack開(kāi)源軟件，大數(shù)據(jù)得益于Hadoop，而機(jī)器學(xué)習(xí)也是如此，比如Tensorflow。

??? 今天大家可能會(huì)想，為什么OpenAI不開(kāi)源了？開(kāi)源在人工智能扮演什么角色？技術(shù)決定領(lǐng)先，不開(kāi)源收錢(qián)的更快，商業(yè)的反射弧更短，但因?yàn)閴艛嘣谝粋€(gè)大行業(yè)是不可能的，因此開(kāi)源也形成了有效的制衡、商業(yè)壟斷的過(guò)程。今天以L(fǎng)LaMA為代表的，包括國(guó)內(nèi)的智譜、通義都選擇了開(kāi)源，包括百川等等，這些是開(kāi)源的力量。

??? 相信過(guò)去無(wú)論是互聯(lián)網(wǎng)時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代、云計(jì)算、大數(shù)據(jù)時(shí)代還是未來(lái)的人工時(shí)代，開(kāi)源依然以勃勃生機(jī)激發(fā)更大的創(chuàng)造力。

??? 作為通過(guò)開(kāi)源內(nèi)容起家的公司，2013年，我們和CSDN就不一樣了，看到國(guó)外有一個(gè)偉大的開(kāi)源平臺(tái)叫做GitHub，于是2013年，我們迎來(lái)了公司第一次轉(zhuǎn)型，從一個(gè)內(nèi)容社區(qū)升級(jí)為工具平臺(tái)。今天我們的數(shù)據(jù)也彌足安慰，今年是我們Gitee平臺(tái)的第十一個(gè)年頭，已經(jīng)成為我們軟件工程生產(chǎn)資料庫(kù)?，F(xiàn)在我們代碼倉(cāng)有2800萬(wàn)個(gè)，二進(jìn)制的組件超過(guò)3.5億，實(shí)際上是軟件工程生產(chǎn)資料庫(kù)，必然會(huì)吸引生產(chǎn)者，所以我們平臺(tái)已經(jīng)超過(guò)1200萬(wàn)軟件工程師，這些是數(shù)字化轉(zhuǎn)型和創(chuàng)新最有力量的一組人群。

??? 到今天十一年，我們也服務(wù)了超過(guò)30萬(wàn)家企業(yè)。雪球已經(jīng)滾起來(lái)了，大家可以想像過(guò)去十年，軟件工程、軟件創(chuàng)新以什么樣的加速度成長(zhǎng)，因?yàn)榈浇裉烀刻煳覀儠?huì)新增5000個(gè)個(gè)人注冊(cè)用戶(hù)，2萬(wàn)多個(gè)代碼倉(cāng)，可以想像每天有2萬(wàn)個(gè)新的軟件應(yīng)用被做出來(lái)。

??? GitHub是全球的，Gitee長(zhǎng)在中國(guó)，過(guò)去十年完成的使命，通過(guò)開(kāi)源的力量讓中國(guó)的軟件工程在過(guò)去的十年與時(shí)俱進(jìn)，讓中國(guó)1200萬(wàn)開(kāi)發(fā)者軟件開(kāi)發(fā)能力跟美國(guó)人是并駕齊驅(qū)的。我們完全沒(méi)有落后，甚至我們的場(chǎng)景比美國(guó)做得更優(yōu)秀，這是過(guò)去我們已經(jīng)在踐行的時(shí)代使命。

??? 目前我們?cè)诹髁恐挥蠫itHub壓我們一頭，我們是他們的75%左右，但我們這樣一個(gè)小公司，技術(shù)能力其實(shí)阿里、騰訊都可以提供，但流量在國(guó)內(nèi)是碾壓式的，所以友商在國(guó)內(nèi)的流量加在一起可能不到10%。

??? 軟件工程只有代碼管理是遠(yuǎn)遠(yuǎn)不夠的，因?yàn)橐粋€(gè)軟件工程的生命周期是產(chǎn)品經(jīng)理驅(qū)動(dòng)、項(xiàng)目經(jīng)理執(zhí)行，有需求分析師，有架構(gòu)師，才有了編程人員，之后還有配置管理員，運(yùn)維工程師、測(cè)試工程師等等。我們3.0的升級(jí)版是從代碼托管平臺(tái)升級(jí)為軟件工程一體化的國(guó)產(chǎn)替代解決方案，軟件工程的所有角色都可以在平臺(tái)上提高效率，所有軟件工程數(shù)字化轉(zhuǎn)型相關(guān)的管理者都通過(guò)我們的平臺(tái)可以更有效地去做軟件工程的管理，這又是我們對(duì)軟件工程新的貢獻(xiàn)。

??? 說(shuō)到人工智能，去年開(kāi)始，我們就在想怎樣破局？大家都焦慮，覺(jué)得這個(gè)太牛了，改朝換代了，但我們每一個(gè)人怎么基于過(guò)去的福報(bào)，過(guò)去已經(jīng)有的積累，Knowhow也好、資源也好，怎么躬身入局切入進(jìn)來(lái)？我們還是用過(guò)去的思路。今天很多名詞我們都在踐行，創(chuàng)新的確定性和創(chuàng)新的不確定性，這些是我剛剛的思考。創(chuàng)新是不確定的，要是確定的創(chuàng)新就不是創(chuàng)新了，但創(chuàng)新的過(guò)程和使用工具的范式某種意義上是高度收斂的，也是確定性的。在軟件時(shí)代，軟件工程是確定的，軟件應(yīng)用是不確定的，無(wú)論是淘寶還是微信都是創(chuàng)新性的平臺(tái)，但背后的軟件人員、流程、角色，每天干的活是確定性的。

??? 過(guò)去十幾年，我們已經(jīng)打造了中國(guó)開(kāi)源的基礎(chǔ)設(shè)施，是中國(guó)開(kāi)源的淘寶，未來(lái)有沒(méi)有可能再打造一個(gè)中國(guó)的HugginngFace？我們用了十年讓我們成為中國(guó)的GitHub，現(xiàn)在全世界遙遙領(lǐng)先的模型聚合平臺(tái)就是HuggingFace。

??? HuggingFace很紅，但意識(shí)形態(tài)不同，我們需要中國(guó)的HuggingFace，我們要做一些HuggingFace還沒(méi)有做的事情，因?yàn)樵谶@個(gè)時(shí)代，我們的算力是被卡脖子的，我們得支持異構(gòu)算力，所以過(guò)去只是開(kāi)源軟件的大市場(chǎng)，算力跟我們沒(méi)關(guān)系，所以過(guò)去我也不會(huì)參加算力的會(huì)議，但在今天和以后，算力跟我們休戚相關(guān)。除了NVIDIA之外，我們必須支持國(guó)產(chǎn)的異構(gòu)算力，支持曙光，支持華為，支持寒武紀(jì)，支持摩爾線(xiàn)程，打造平臺(tái)的最底層邏輯是異構(gòu)算力市場(chǎng)。誰(shuí)有算力？裸金屬也好、包了一層的算力平臺(tái)也好，通過(guò)我們的納管就可以上架為這個(gè)平臺(tái)的可調(diào)度或者可售賣(mài)算力，所以底層搭建算力市場(chǎng)。

??? 算力不是目的，目的是支持我們訓(xùn)練、微調(diào)和運(yùn)行模型。在算力之上，我們又搭建起開(kāi)源模型和開(kāi)源數(shù)據(jù)集市場(chǎng)，讓我們的AI工程師極大地降低自己入局的成本和門(mén)檻。模型和數(shù)據(jù)集依然不是目的，最終算力支持人工智能工程師、模型和數(shù)據(jù)集，只有人工智能工程師做出千千萬(wàn)萬(wàn)個(gè)應(yīng)用，就像全員上了移動(dòng)互聯(lián)網(wǎng)一樣，最終卷的還是應(yīng)用。

??? 三層結(jié)構(gòu)，今天準(zhǔn)備得不太充足，其實(shí)我已經(jīng)快講完了，但給大家準(zhǔn)備了一個(gè)產(chǎn)品的DEMO。因?yàn)槲覀冘浖袠I(yè)一般不講PPT，直接給大家運(yùn)行產(chǎn)品，PPT太抽象，看到產(chǎn)品大家就都懂了。你們沒(méi)見(jiàn)過(guò)淘寶之前想像不出來(lái)淘寶是什么樣，但跑起來(lái)淘寶，馬上就知道什么是淘寶了。很遺憾，今天的條件不允許我給大家展示具體產(chǎn)品，我會(huì)把產(chǎn)品的鏈接告訴大家，歡迎大家來(lái)玩，上面有模型、數(shù)據(jù)集、異構(gòu)算力和應(yīng)用。

??? 我們要讓你在線(xiàn)上完成所有的部署、調(diào)優(yōu)和推理的過(guò)程，怎么計(jì)費(fèi)呢？世紀(jì)互聯(lián)批發(fā)來(lái)的算力，可以按小時(shí)零售給你，運(yùn)行一個(gè)應(yīng)用，每小時(shí)收你多少錢(qián)，而且可以選擇GPU和CPU，要NVIDIA的卡還是要國(guó)產(chǎn)卡，這是一種計(jì)費(fèi)方式。按照推理次數(shù)收錢(qián)，200萬(wàn)Token的文生圖像，兩種計(jì)費(fèi)方式完成繼承了云計(jì)算時(shí)代的彈性計(jì)算。通過(guò)這種方式，我們某種意義上也是把人工智能工程的門(mén)檻給千千萬(wàn)萬(wàn)的從業(yè)者和未來(lái)全社會(huì)的使用者降到極致。

??? 有幸站在開(kāi)源偉大事業(yè)的肩膀上，過(guò)去十年我們已經(jīng)成為實(shí)至名歸的中國(guó)GitHub，用過(guò)去十幾年的時(shí)間蓋了一棟90層的高樓，其實(shí)地基已經(jīng)住了1200萬(wàn)個(gè)開(kāi)發(fā)者、30多萬(wàn)家企業(yè)，有著基礎(chǔ)運(yùn)行能力、運(yùn)營(yíng)能力、運(yùn)維能力，而且看不見(jiàn)的地基也極其深厚。因?yàn)樵谥袊?guó)還有一個(gè)合規(guī)的監(jiān)管，這是大家看不到的，所以今天我們的思路是別人要蓋一座100層的人工智能大樓，先得挖地基，然后先蓋90層再蓋10層，也得吸引這些用戶(hù)，來(lái)了以后還得把物業(yè)管好、把運(yùn)維管好、把衛(wèi)生管好、把消防管好，我們這些全有了，只是在過(guò)去90層的基礎(chǔ)上再蓋10層就好了。

??? 最后的10層樓，相信是開(kāi)源中國(guó)十六年如一日金字塔的塔尖，畢竟人工智能來(lái)得太快，而我們的思考又是站在開(kāi)源普惠利他的核心價(jià)值觀，通過(guò)技術(shù)的降門(mén)檻，讓全員AI化，讓我們的國(guó)家、我們的開(kāi)發(fā)者、我們千行百業(yè)的用戶(hù)不要錯(cuò)過(guò)人工智能的潮流，早點(diǎn)躬身入局，變成在人工智能這一片藍(lán)海的探索者。

??? 打個(gè)廣告，歡迎來(lái)到ai.gitee.com。這是一個(gè)算力的市場(chǎng)、模型和應(yīng)用級(jí)的市場(chǎng)，更是人工智能應(yīng)用的市場(chǎng)。

??? 過(guò)去十年，開(kāi)源中國(guó)的Gitee成為了中國(guó)的GitHub，讓中國(guó)的軟件工程師與時(shí)俱進(jìn)，跟美國(guó)并駕齊驅(qū)。未來(lái)十年，我們要把自己從軟件工程的一體化平臺(tái)升級(jí)為人工智能工程的一體化平臺(tái)，已有的1200萬(wàn)軟件工程師，他們應(yīng)該是最快最容易變成人工智能工程師的，依然可以在技術(shù)上與時(shí)俱進(jìn)，做出有中國(guó)特色、充滿(mǎn)奇思妙想、Fulfill中國(guó)場(chǎng)景的大量應(yīng)用，也能夠讓中國(guó)人工智能工程水平繼續(xù)跟美國(guó)并駕齊驅(qū)，這也是未來(lái)的政治和經(jīng)濟(jì)環(huán)境下開(kāi)源中國(guó)責(zé)無(wú)旁貸，要為我國(guó)做出的貢獻(xiàn)。

??? 為什么我們躬身入局、參與算力？因?yàn)镹ative。當(dāng)年有個(gè)Cloud Native云原生，現(xiàn)在大家都在談AI Native人工智能原生。云原生和AI原生最大的區(qū)別是什么？我的體會(huì)就是在AI時(shí)代，AI Native比Cloud Native更加Native。在開(kāi)源時(shí)代，大家可以把一個(gè)開(kāi)源軟件下載到自己的筆記本上，都可以有自己的機(jī)房，一個(gè)X86服務(wù)器能值幾個(gè)錢(qián)？但在云計(jì)算時(shí)代，且不說(shuō)GPU昂貴，但還是卡脖子，所以大量用戶(hù)真的使用人工智能會(huì)是在云平臺(tái)上面。當(dāng)年我們做開(kāi)源淘寶的時(shí)候可沒(méi)想到今天我們做開(kāi)源人工智能可以賣(mài)算力，歡迎在座的算力合作伙伴跟我們聯(lián)系，我們就是提供龐大的流量入口，從您那里批發(fā)的算力可以零售出去，這些就是AI Native時(shí)代更加順?biāo)浦鄣慕Y(jié)果。我們也會(huì)大量推出一體機(jī)的合作，如果大家有國(guó)有的GPU芯片，部署開(kāi)源的模型就可以支持企業(yè)的私有化部署。

??? 開(kāi)源×AI狂飆。毛主席老人家有一首詞“狂飆為我從天落”，我特別感慨，當(dāng)年他老人家寫(xiě)這首詞的時(shí)候說(shuō)的“我”，不是指他個(gè)人，而是指紅軍和所有堅(jiān)信共產(chǎn)主義信仰的革命家。今天這個(gè)“我”也不是開(kāi)源中國(guó)，也可能不是世紀(jì)互聯(lián)，是像我們這些開(kāi)始信仰人工智能的這群人，又落到一個(gè)關(guān)鍵詞叫做原住民。我相信，我們都會(huì)早日成為原住民，只要我們都成為人工智能的原住民，“狂飆”就是為我們從天而落的。

??? 咱們Gitee上再見(jiàn)，謝謝大家！祝大家晚飯有個(gè)好胃口！