智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
威綸通
近日，人工智能公司DeepSeek在海外社交平臺(tái)上發(fā)布了一份技術(shù)論文報(bào)告，聚焦于原生稀疏注意力(NSA)機(jī)制的研究。該論文引起了業(yè)界的廣泛關(guān)注，不僅因?yàn)槠溲芯績?nèi)容的創(chuàng)新性，更因?yàn)檎撐牡氖鹈邪艘馔獾娜宋铩?br />
論文的第一作者袁景陽是在DeepSeek實(shí)習(xí)期間完成了這項(xiàng)研究，這一成果的取得對他個(gè)人以及DeepSeek來說都是一大喜訊。令人感到驚喜的是，DeepSeek的創(chuàng)始人梁文鋒也作為著作者之一出現(xiàn)在論文署名中，排名倒數(shù)第二，這一舉動(dòng)在業(yè)內(nèi)引起了不小的討論。
論文摘要指出，DeepSeek團(tuán)隊(duì)認(rèn)識到長上下文建模對于下一代大型語言模型的重要性。然而，現(xiàn)有的標(biāo)準(zhǔn)注意力機(jī)制隨著序列長度的增加，其高復(fù)雜度成為了性能提升的瓶頸。NSA機(jī)制的提出，正是為了解決這一問題。
NSA通過高效處理長序列的能力，使模型能夠直接處理如整本書籍、代碼倉庫或長輪對話等大規(guī)模數(shù)據(jù)，極大地?cái)U(kuò)展了大型語言模型在文檔分析、代碼生成、復(fù)雜推理等領(lǐng)域的應(yīng)用范圍。
此外，NSA針對現(xiàn)代硬件的優(yōu)化設(shè)計(jì)不僅提高了推理速度，還降低了預(yù)訓(xùn)練的成本，同時(shí)保持了模型的性能。在通用基準(zhǔn)測試、長文本任務(wù)和基于指令的推理中，NSA的表現(xiàn)均能達(dá)到或超越全注意力模型。
DeepSeek團(tuán)隊(duì)認(rèn)為，稀疏注意力機(jī)制為提高模型效率同時(shí)保持能力提供了一條有希望的途徑。
根據(jù)公開資料，NSA是一種專為長文本訓(xùn)練與推理設(shè)計(jì)的稀疏注意力機(jī)制，它通過動(dòng)態(tài)分層稀疏策略等先進(jìn)技術(shù)，對傳統(tǒng)AI模型的訓(xùn)練和推理過程進(jìn)行了顯著優(yōu)化。
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
