近日,以ChatGPT為代表的聊天
機器人掀起了一股人工智能熱潮,微軟、谷歌、百度、阿里等公司紛紛推出了類似競品。這股熱潮在無形中帶動了云計算服務的需求增長。
面對這一市場變化,英偉達CEO黃仁勛在近期與投資者的電話會議上宣布,英偉達將做自己的人工智能(AI)云計算服務。
ChatGPT擁有豐富的知識儲備庫,在文本理解、文本生成、代碼生成等任務上遠超初代聊天工具,但它仍處于云計算的下游運用領域。
ChatGPT的訓練需要高算力的支撐
據Lambda Labs首席科學官Chuan li介紹,擁有1750億個參數的GPT-3單次訓練成本達到460萬美元。問答形式的變化或許將使搜索引擎的廣告業(yè)務受到嚴重沖擊。為增強ChatGPT的盈利能力,微軟擬在ChatGPT與用戶的對話中插入廣告。
云計算的核心是計算與存儲,由于數據存儲在云端,它為大量數據運行提供了一個可靠的處理方式。而高質量的人工智能正需要強大的算力、算法和數據來豐富應用場景、建立語言模型以及處理和運用數據。
哪些廠商宣布入局ChatGPT
截至目前,宣布有類ChatGPT技術儲備、準備發(fā)布和已經發(fā)布類ChatGPT產品服務的國內大廠有:阿里巴巴、騰訊、華為、字節(jié)跳動、京東、360、科大訊飛、快手、網易有道等,超過10余家互聯網大廠進軍火熱的ChatGPT。
ChatGPT的戰(zhàn)略意義何在
ChatGPT表面上看是一款聊天機器人,但他是基于大語言模型GPT-3,該模型由1750億個統計性聯系組成,在約三分之二互聯網、整個維基百科和兩個大型圖書數據中集中訓練。
OpenAI曾在一篇博客文章中表示,用戶輸入的提示和人工智能生成的結果通過網絡反饋給付費人工智能培訓師,來進一步微調模型。在這一過程中,微軟和OpenAI從數百萬用戶身上獲取了海量數據。
在當今的機器學習中,數據至關重要,由于數據錯誤,研究者可能花費大量時間進行查錯,甚至會影響到模型精度。
盡管國內各大廠商紛紛宣布推出類ChatGPT應用,但目前來看,付諸行動的卻是為數不多,百度便是其中之一。
百度語言模型的發(fā)展歷程
2010年初,百度對NLP的工作進行了重新梳理與規(guī)劃,成立百度自然語言處理部。
2013年,百度設立深度學習研究院,連投十年,超過1000億元。2018年,百度將深度學習平臺“飛槳”升級為操作系統(文心一言的支持系統),并不計成本投入人力財力。
2019年3月,百度提出知識增強的語義理解框架ERNIE(文心一言的前身),在深度學習的基礎上融入知識,同時具備持續(xù)學習能力,曾一舉登頂全球權威數據集GLUE榜單。
2021年9月,百度發(fā)布了PLATO-XL,這是全球首個百億參數的對話大模型,一舉超過Facebook的Blender、谷歌的Meena和微軟的DialoGPT。
現在,該模型已更新迭代至文心ERNIE3.0,參數規(guī)模高達2600億,幾乎比谷歌LaMDA(1350億)高了一倍,也高于ChatGPT(1750億),是全球的中文單體模型。
百度在語言模型上的成果建立在對于云計算的部署上。在2022年的世界人工智能大會上,李彥宏回顧了百度在數字化摸爬滾打的10年。提到,每年研發(fā)占比都超過15%,目前累計研發(fā)投入超過1000億!百度智能云以“云計算為基礎”,以“人工智能為引擎”,注重強化自身在產業(yè)智能化升級過程中的差異化定位和競爭力。
日前,百度已宣布3月將發(fā)布新一代大語言模型“文心一言”,一時間各大企業(yè)、機構紛紛宣布接入“文心一言”。借助當下云計算的火熱,百度的“文心一言”有望開辟自己的另一片搜索樂土。