博思軟件（300525）：8月18日北向資金減持2.56萬股
2023-08-19 15:04:34
大模型權威報告：訊飛星火得分第一 被評為“最聰明”的國產大模型
2023-08-19 15:04:34 來源: 快科技
國內“千模大戰”下，誰是最聰明的大模型？《麻省理工科技評論》中國最新發布的大模型評測報告給出了答案。
(相關資料圖)
報告顯示，在8個一級大類的600道題目的測試和盲評中，訊飛星火認知大模型V2.0在6個大類中得分率排名第一，在此次評測中表現突出，以 81.5 分（百分制計）的成績在本次評測中登頂，榮獲“最聰明”的國產大模型稱號。
圖：大模型評測綜合得分率
圖：4個大模型各項能力雷達圖
《麻省理工科技評論》中國從研發和商業化能力、外界態度以及發展趨勢等維度全方位檢測大模型的能力，力圖評出“最聰明”的國產大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問”作為中文大模型平臺的代表，展開系統、科學的評測。
本次評測使用的測試集包含600道題目，覆蓋了語言專項、數學專項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個一級大類，126 個二級分類，290 個三級標簽，并針對問題的豐富性和多樣性做了優化。
在題目類型上，為了兼顧定量、定性的評價與測試，設置了“單選”、“多選”、“填空”、“簡答”4個題型，分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式，客觀評估國產大模型的聰明程度。
作為“最聰明”的大模型的基礎能力，語言專項評測包含對話理解、多語種、諷刺、古詩詞理解、文本生成、要點總結、情感分析、語義判斷等 61 個二級分類，題型則以簡答為主。結果顯示，訊飛星火 85.73%的得分率排名第一，明顯高于平均值。
圖：語言專項評測得分率
數學專項評測，是“最聰明”大模型必不可少的評測維度。本次評測包含代數、幾何、解方程、復雜數學、統計學等 9 個二級分類，以選擇題為主。
其中，訊飛星火以77.75% 的得分率名列第一，遠高于平均得分率 56%，其他平臺得分率基本相當。報告稱，在大模型普遍“數學不好”的情況下，訊飛星火這一成績頗為難得，其在數學專項上的領先同樣體現在二級分類的評分結果上，在 77.8%的二級分類中得分率第一，遠超其他平臺，初步判斷其擅長幾何與情景應用。
圖：數學專項評測得分率
作為體現大模型“聰明程度”不可或缺的“硬核”部分，理科綜合評測包含表格問答、化學、生物、物理、醫學 5 個二級分類，題型上以單選和簡答為主。
評測結果中，訊飛星火 78.50% 的得分率排名第一。另外，訊飛星火在理科綜合大類下 80% 的二級分類評測中得分率為第一，化學與生物較為突出。
圖：理科綜合評測得分率
邏輯思維也是“最聰明”大模型的重要體現，本次邏輯思維評測在邏輯推理、思維鏈等方面設計了較多的題目，包含類比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等 19 個二級分類，題型上相對平均，其中填空題最多，多選題最少。
在邏輯思維題目中，訊飛星火 81.25%的得分率名列第一，明顯高于 72.6% 的平均值。此外，訊飛星火在邏輯思維 63.2% 的二級分類問題上得分率第一。邏輯思維對于大模型真正理解物理世界相當重要。
圖：邏輯思維評測得分率
編程能力是大模型比較高階的能力，本次的編程能力評測包含 ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機 6 個二級分類，其中 Python 主要以簡答形式評估大模型的代碼生成能力和正確率，其他則以客觀題的形式考察。
結果顯示，訊飛星火 80% 的得分率明顯高于 71%的平均值，其他平臺得分率基本相當。值得一提的是，在許多人關心的生成代碼的簡答題單項上，訊飛星火的得分率高達 82%，遠高于其他平臺，表現頗為亮眼。
圖：編程能力評測綜合得分率
作為比較難的評測維度，綜合知識對大模型的“聰明”程度要求也很高，涉及的題目較雜，包含百科問答、常識、科學知識、事實問答、工作技巧、謎語等 13 個二級分類，題型以多選為主。
在綜合知識評測上，訊飛星火 80.61% 的得分率排名第一，在 84.6% 的二級分類上得分率第一，初步顯示出在百科問答和歷史人文上的“過人之處”。
圖：綜合知識評測得分率
報告指出，在本輪大模型評測中，訊飛星火以 81.5 分的成績拔得頭籌，成為“最聰明”的國產大模型。
訊飛星火在編程能力、理科綜合、邏輯思維、數學專項、語言專項和綜合知識這 6 個一級大類中得分率排名第一，在此次評測中表現十分全面，尤其是在代碼生成、數學能力、理科與邏輯等方面優勢明顯，是本次“最聰明的理科生”。
值得一提的是，從題型角度來看，主觀簡答題中訊飛星火憑借 83.98% 的得分率位居第一；而在客觀題上，訊飛星火以 75.7% 的得分率排名第一，在主客觀體型中均有良好表現。
此外，就在8月12日，新華社研究院中國企業發展研究中心發布的《人工智能大模型體驗報告2.0》中，訊飛星火V1.5以總分1013分位列本次國產主流大模型測評榜首位，在四大評測維度中的智商指數和工具提效指數兩個維度獲得第一，《報告》認為訊飛星火“在工作提效方面優勢明顯”。
在剛剛過去的8月15日，訊飛星火認知大模型V2.0如期發布，進一步突破代碼能力和多模態能力。
技術獲得重大突破的同時，搭載訊飛星火V2.0核心能力的應用和產品也越來越豐富：
既有輔助程序員高效工作的智能編碼助手iFlyCode1.0、能夠進行視頻創作的訊飛智作2.0、能夠便捷搭建輕應用的教育數字基座應用開發助手，還有幫助教師設計教學活動、一鍵生成課件的星火教師助手、面向英語學習者口語練習的星火語伴2.0，訊飛AI學習機也升級AI 1對1智能編程助手和AI 1對1創意繪畫伙伴。
此外，科大訊飛還和華為聯合發布星火一體機，讓每一家企業都有機會構建專屬大模型。
關鍵詞：
您可能也感興趣:
為您推薦
長安深藍SL03 2022款 705純電版詳細信息
2023-08-19 15:04:34
工資增速創新高 英國央行9月加息預期升溫
2023-08-19 15:04:34
大模型權威報告：訊飛星火得分第一 被評為“最聰明”的國產大模型
2023-08-19 15:04:34
排行
最近更新
- 大模型權威報告：訊飛星火得分第一 被評為“最聰明”的國產...
- 食品加工制造板塊漲0.91% 惠發食品漲4.76%居首
- 天潤工業：上半年凈利潤同比增長61.91%
- 磚匠文化復興40歲男性的心靈之禮
- 證監會同意德冠新材深市主板IPO注冊
- 萬科企業(02202)：萬科海外為Champion Estate (HK) Limited貸款提供擔保
- 準備隊召開2023年下半年職代會
- 總預算超70億！遵義市紅花崗區、匯川區城鄉環衛一體化特許經...
- 天津三江源國家公園雙色銅合金紀念幣公眾防偽特征
- 三江源國家公園及大熊貓國家公園紀念幣四川發行量+預約入口
- 上海高境環境衛生服務有限公司招聘信息
- 2023年8月18日國內現貨市場錫價匯總
- 《長相思》太夫人到死不知，是她的“好心”，害死涂山璟和涂山篌
- 輕質光伏--工商業光伏下一輪風口
- 怎樣把保費全部退回來？一招教你全額退保
- 開啟越野車新紀元，比亞迪方程豹攜“583”震撼來襲！
- 垃圾分類全動員，北京大屯街道開展趣味運動會
- 證監會：加快投資端改革 大力發展權益類基金
- 《孤注一擲》：一念地獄，千金散盡
- 全國仍有超1400萬人口承受極端通勤！這類群體平均通勤時間更長
- 淘寶升級商品銷量展示規則，從月銷量改成年銷量
- excel表格中sheet代表什么意思_excel表格中sheet代表什么意思？
- 學校為什么要修改規章制度_學校為什么要種石楠樹
- 勝利股份2023年上半年凈利8125.07萬 同比減少9.98%
- “最美醫生”張國英：如此“渺小”，卻如此“被需要”！
- 4億元借款糾紛，一天內化解！廣州法院高效為民營企業解決糾紛
- 市司法局為昌都市江達縣巖比鄉干部開展線上專場普法活動
- NYMEX原油短線下看79.26美元
- 古鰲科技（300551）：8月18日北向資金減持87.51萬股
- 博思軟件（300525）：8月18日北向資金減持2.56萬股