智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
Coremo 液壓動力液壓制動器的工業(yè)應(yīng)用的制動系統(tǒng)
品牌
在6月1日召開的2021北京智源大會上，北京智源人工智能研究院發(fā)布了新版超大規(guī)模智能模型“悟道2.0”，這是在今年3月20日發(fā)布的“悟道1.0”基礎(chǔ)上更新迭代而來，具備大規(guī)模、高精度、高效率的特點。
“悟道”模型旨在打造數(shù)據(jù)和知識雙輪驅(qū)動的認(rèn)知智能，讓機器像人一樣思考，實現(xiàn)“超越圖靈測試的機器認(rèn)知能力”。“悟道”團隊在大規(guī)模預(yù)訓(xùn)練模型研發(fā)上做了很多基礎(chǔ)性工作，形成了自主的超大規(guī)模智能模型技術(shù)創(chuàng)新體系，擁有理論、工具、模型構(gòu)建和測評的完整鏈條。
“悟道2.0”模型的參數(shù)規(guī)模達(dá)到1.75萬億，是GPT-3的10倍，打破了之前由Google Switch Transformer預(yù)訓(xùn)練模型創(chuàng)造的1.6萬億參數(shù)記錄，是目前中國首個、全球最大的萬億級模型。
Google萬億模型的核?技術(shù)MoE(Mixture of Experts)與其分布式訓(xùn)練框架和其定制硬件強綁定。“悟道”團隊研究并開源的FastMoE是首個支持PyTorch框架的MoE系統(tǒng)，具有簡單易用、靈活、高性能等特點，并且支持大規(guī)模并行訓(xùn)練。新一代FastMoE，支持Switch、GShard等復(fù)雜均衡策略，支持不同專家不同模型，是實現(xiàn)“萬億模型”的關(guān)鍵技術(shù)。
“悟道2.0”模型在中英雙語共4.9T的高質(zhì)量大規(guī)模清洗數(shù)據(jù)上進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)包含WuDaoCorpora中的1.2TB中文文本數(shù)據(jù)、2.5TB中文圖文數(shù)據(jù)，以及Pile數(shù)據(jù)集的1.2TB英文文本數(shù)據(jù)。
據(jù)介紹，“悟道2.0”在世界公認(rèn)的9項Benchmark基準(zhǔn)測試任務(wù)上取得較好的成績。
新版模型的另一突破在于減少了算力資源、訓(xùn)練時間等方面的巨大消耗。為提升大規(guī)模預(yù)訓(xùn)練模型的產(chǎn)業(yè)普適性和易用性，悟道團隊搭建高效預(yù)訓(xùn)練框架，在編碼、模型、訓(xùn)練、調(diào)參和推理等方面效率大幅提升。
(1)高效編碼：研發(fā)了最高效、最抗噪的中文預(yù)訓(xùn)練語言模型編碼，解決生僻字等問題；
(2)高效模型：構(gòu)建了世界首個純非歐空間模型，只需要一半的參數(shù)量即可達(dá)到近似歐式模型的效果；
(3)高效訓(xùn)練：世界首創(chuàng)大規(guī)模預(yù)訓(xùn)練模型融合框架，形成高效訓(xùn)練新模式，訓(xùn)練時間縮短27.3%，速度提升37.5%；
(4)高效微調(diào)：世界首創(chuàng)多類別Prompt微調(diào)，只需訓(xùn)練0.001%參數(shù)即可實現(xiàn)下游任務(wù)適配；
(5)高效推理：世界首創(chuàng)低資源大模型推理系統(tǒng)，單機單卡GPU即可以進(jìn)行千億參數(shù)規(guī)模的模型推理。
“悟道”模型在3月首發(fā)時已經(jīng)預(yù)告要和一些龍頭企業(yè)共同研發(fā)應(yīng)用成果，本次發(fā)布時就宣布了與新華社、美團、小米、快手、搜狗、360、寒武紀(jì)、第四范式、好未來、智譜華章等22家合作企業(yè)正式簽約。同時啟動“悟道之巔”模型應(yīng)用大賽，鼓勵開發(fā)者利用該模型開發(fā)應(yīng)用案例。
(原標(biāo)題：超大規(guī)模智能模型“悟道2.0”發(fā)布 參數(shù)規(guī)模達(dá)GPT-3的10倍)
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
