長三角主要城市2小時可達，相鄰城鎮30分鐘就到
2023-09-01 10:27:43
浪潮信息Owen ZHU：大模型百花齊放，算力效率決定速度
2023-09-01 10:27:43 來源: 電子創新網
(相關資料圖)
與狹義的人工智能相比，通用人工智能通過跨領域、跨學科、跨任務和跨模態的大模型，能夠滿足更廣泛的場景需求、實現更高程度的邏輯理解能力與使用工具能力。2023年，隨著 LLM 大規模語言模型技術的不斷突破，大模型為探索更高階的通用人工智能帶來了新的曙光。通用人工智能進入了快速發展期，在中國，大模型已經呈現出百花齊放的態勢，各種大模型層出不窮。
要想在"百模爭秀"的時代占得先機，AI開發團隊需要著力化解算力、算法、數據層面的巨大挑戰，而開發效率和訓練速度是保障大模型市場競爭力的核心關鍵因素，也是未來的核心發力點。近日，浪潮信息人工智能與高性能應用軟件部 AI 架構師Owen ZHU參與首屆由CSDN、《新程序員》聯合主辦的NPCon大會，發表重要技術演講，分享面向新一輪AIGC產業革命，AI大模型的算力系統解決之道，并強調算力、算法、數據和系統架構等多個方面的綜合優化對大模型訓練到了至關重要的作用。
以下為Owen ZHU在NPCon大會的演講實錄整理：
"百模爭秀"時代的算力瓶頸
大模型研發的核心技術是由預訓練與Alignment組成的，第一部分就是預訓練，需要用大量的數據使模型收斂速度更快、性能更好。第二部分則是Alignment，Alignment不完全等于強化學習，其通過使用多種方式/策略優化模型輸出，讓AI在和人的交流反饋中學會如何溝通表達，這兩部分是提升大模型質量的核心要素。
目前來看，模型基礎能力取決于數據、模型參數量和算力。模型參數量越大、投入的訓練數據越大，模型泛化能力越強。由于資源限制，在兩者不可兼得的時候，應該如何進行取舍呢？OpenAI的研究結論認為，與增加數據量相比，先增大模型參數量受益則會更好，用一千億的模型訓練兩千億的Token和兩千億模型訓練一千億的Token，后者的模型性能會更高。
由此可見，參數量是衡量模型能力的一個重要指標，當模型參數量增長超過一定閾值時，模型能力表現出躍遷式的提升，表現出來語言理解能力、生成能力、邏輯推理能力等能力的顯著提升，這也就是我們所說的模型的涌現能力。
模型規模多大能產生涌現能力呢？現在來看，百億參數是模型具備涌現能力的門檻，千億參數的模型具備較好的涌現能力。但這并不意味著模型規模就要上升到萬億規模級別的競爭，因為現有大模型并沒有得到充分訓練，如GPT-3的每個參數基本上只訓練了1-2個Token，DeepMind的研究表明，如果把一個大模型訓練充分，需要把每個參數量訓練20個Token。所以，當前的很多千億規模的大模型還需要用多10倍的數據進行訓練，模型性能才能達到比較好的水平。
無論是提高模型參數量還是提升數據規模，算力依舊是大模型能力提升的核心驅動力：需要用"足夠大"的算力，去支撐起"足夠精準"模型泛化能力。當前大模型訓練的算力當量還在進一步增大，從GPT-3到GPT-4算力當量增長了68倍。算力當量越大，交叉熵越小，模型能力越強。隨著訓練的token數、模型參數、計算量的增加，語言模型的loss在平滑下降，這就意味著大語言模型的精度可以隨著計算量、參數規模、token數擴展進一步提升。
關鍵詞：
您可能也感興趣:
今日熱點
為您推薦
鈷礦上市公司概念龍頭股有哪些？（2023/8/31）
2023-09-01 10:27:43
謝娜張杰帶三娃被拍，女兒們乖巧可愛超活潑，一家五口惹人羨
2023-09-01 10:27:43
土耳其經濟放緩幅度小于預期 央行有底氣繼續加息
2023-09-01 10:27:43
排行
最近更新
- 幼兒居家防疫不能忽略運動和心理引導
- 浪潮信息Owen ZHU：大模型百花齊放，算力效率決定速度
- 喜大普奔！已有銀行正在制定預案！蕪湖存量房貸利率真的要降...
- 鶴壁示范區古城街道扎實開展第五次全國經濟普查工作
- “認房不認貸”，武漢、廈門、中山跟進！
- 傲藍得環境(2023)第四屆員工技能比武大賽成功舉辦！
- 寒氣_關于寒氣介紹
- 8月30日順丁橡膠市場行情上漲
- 適合體弱人群的力量鍛煉法
- 四川一家長吐槽中學多間女寢沒門，只有矮墻，教體局：正在改造
- 中州期貨：焦炭首輪提降全面落地，震蕩運行
- 8月30日上海瑞洵天然橡膠主流報價平穩
- 8月30日華北地區醋酸行情整理運行
- 吉利汽車銷量增13%新能源滲透率近30% 極氪交付量大漲127...
- 男子被困礁石受傷 消防員暖心“公主抱”
- 山東威海暴雨致多處發生險情 消防緊急救援
- 舌尖上也要防“疫”
- 馬云：種草種茶種葡萄 研究養魚養牛還有釀酒
- 銀河娛樂(00027.HK)根據獎勵計劃向受托人發行389.46萬股
- 如何設置路由器wifi信號強度（如何設置路由器wifi）
- 官下村（關于官下村介紹）
- 對首次認定通過的高企獎勵20萬元
- 推動優質醫療資源下沉 讓更多群眾就近就醫
- 又一個女明星翻車了，再怎么賣慘也沒用
- 亮馬橋到香山公園怎么走？
- A股異動 | 雙環傳動漲超7% 上半年營收凈利雙增
- 中物聯：1-7月全國社會物流總額189.9萬億 延續平穩恢復勢頭
- 愛爾蘭PTSB銀行將定期存款利率提高至3%
- 南歐國家力推太陽能發電
- 民生銀行濟南歷山支行真情服務暖人心