央行發布《中央銀行存款賬戶管理辦法》 8月15日起施行
2023-07-08 05:54:18
新華網聯合權威機構發布《國內LLM產品測試報告》 百度文心一言多維度整體領先
2023-07-08 05:54:18 來源: 新華網
人工智能技術不斷迭代引發新一輪科技革命和產業變革，進一步提升人們對經濟社會更加美好的體驗。當前，全球信息科技巨頭紛紛入局，智能化應用走向了以大語言模型（簡稱：LLM即Large Language Model，大語言模型）為代表的大模型時代。
為反映當前LLM發展最新情況特點，了解LLM產品應用情況。近日，新華網與國內權威科研機構聯合推出《國內LLM產品測試報告》。選取文心一言、GPT-3.5、訊飛星火和ChatGLM等四個LLM產品（各測試模型基本情況如下圖），從內容安全問答、常識問答、數學運算、閱讀理解和主觀問答等五個維度對LLM進行多維度能力測試和分析。為便于評估和展示，測試分數將分別轉換為百分制。
(相關資料圖)
報告顯示，以文心一言為代表的國產大模型在內容安全、閱讀理解、常識問答，數學運算等方面的表現普遍較好，能準確回應測試問題。尤其在內容安全和數學運算方面，國產大模型的優勢相對更加明顯。國產大模型中，文心一言在內容安全方面普遍能給出積極準確的正面回應；在常識問答，閱讀理解、主觀題目和數學運算等方面表現均較為出色，具備更豐富的常識知識和更強大的邏輯運算能力。
圖為多維度測試結果
具體來看，在內容安全方面，文心一言獲得了115分，在本次測試中領跑，對于內容安全問題的敏感度也最高。而GPT-3.5和開源模型ChatGLM由于沒有做相關嚴格約束，可能回答出一些存在政治或者文化偏見的內容。此外，所有的LLM均對涉黃類問題很敏感，都未在相關回答上誘導。
在常識問答方面，文心一言獲得了88分，GPT-3.5和訊飛星火均得到60分左右，ChatGLM僅獲得33分的成績。整體來說，大多數國內LLM均具備基本的文化、歷史、地理和生活常識知識，能準確回答絕大多數常識問題。而對于一些相對冷門的常識問題，除文心一言外其他模型都給出了不同的錯誤答案。
在數學運算方面，文心一言獲得93分、訊飛星火和GPT-3.5分別獲得75、68分，而ChatGLM僅僅獲得11分。當題目涉及一些基礎直接的數學運算，所有的大模型基本都能算對，這說明當前的大模型都能理解基本的計算規則。但是隨著題目變得復雜，只有文心一言和訊飛星火能正確回答該問題。說明包括文心一言和訊飛星火在內的國產大模型在數學邏輯能力方面會優于其他模型。另外，文心一言在解題目時會采用直接的算數解法，而訊飛星火等模型會采用解方程操作，說明文心一言具有一定的逆向邏輯思維能力，解題方式更加簡潔直接。
在閱讀理解方面，文心一言得到95分、GPT-3.5得到67分， 訊飛星火和ChatGLM分別獲得57分和33分。雖然大模型的部分輸出結果不能完全對應正確答案，但大都角度正確且言之有理，說明現有LLM在中文長文本閱讀理解方面均具備較高水平。
在主觀題方面，各個模型的性能表現相差不多。其中，GPT-3.5取得了最好的結果，文心一言次之。具體而言，從流暢度方面來看，GPT-3.5的輸出文本最為流暢，不存在語言重復或者表述不清晰的現象。而文心一言存在少數表述重復的情況。從規范性角度來看，所有的模型均具備較為標準的回答格式，如包括解釋、分析、總結等基本步驟。這主要是因為大模型的數據輸入都具備固定數據模板，導致模型記住了這些特定模式。從理解力來看，GPT-3.5對主觀題的理解最為準確，極少出現文不對題的情況，文心一言次之。文心一言在回答該類組織創意問題時，更加傾向于表述活動的組織細節，比如介紹時間、地點、流程、活動預算等信息。從事實性和全面性角度來看，均是GPT-3.5表現最好，說明了其蘊含的語義知識相對更加豐富。但在測評中國的一些風俗習慣或者傳統文化相關的知識時，它的性能遜色于國產語言模型。
此外，在所有被測LLM產品，目前僅文心一言可公開使用由文生圖的多模態功能，但目前對一些易混淆的成語理解還有所欠缺。
LLM已經成為人工智能技術應用場景發展的新階段。隨著人工智能技術的不斷演進，必將引發一場經濟社會應用的人工替代化新思考。一方面，LLM的應用場景將進一步多元化。隨著技術的演進，LLM將不再局限于文本、音頻和視覺等基本形態，還將具備嗅覺、觸覺、味覺、情感等多重信息感知和認知能力，以數字化形式傳輸并指導人工智能進行內容創作。另一方面，大模型重新定義了人機交互，催生AI原生應用，服務千行百業。大模型會深度融合到實體經濟當中去，助力中國數字經濟開創新一代人工智能發展階段。
未來LLM競爭關鍵是算法是否更為接近和超越人類的思維方式。目前LLM在邏輯推理的計算能力，靈活能力以及快速自學習能力決定領先的優勢。在邏輯推理中更能理解人類情感和接近超越人類思維方式，使得模型更加智能，也是很多頭部LLM廠商的共同研發升級的追求。
關鍵詞：
您可能也感興趣:
為您推薦
新股消息 | 中國證監會對升輝清潔出具境外上市反饋意見 要求說明該公司剝離境內公司的原因等
2023-07-08 05:54:18
2023版1克熊貓金幣現在是多少價錢（2023年07月07日）
2023-07-08 05:54:18
視頻：陜西鄉村產業振興帶頭人“頭雁”體驗式培育蘋果產業班開班
2023-07-08 05:54:18
排行
最近更新
- 新華網聯合權威機構發布《國內LLM產品測試報告》 百度文心一...
- 7月7日國內氫氟酸產業鏈價格走勢暫穩
- “商湯日日新”大模型體系全面升級，飛速迭代賦能百業日日生新
- 喜報！新田縣健康縣建設獲評國家優秀案例
- 7月7日國內DOP企業報價上漲
- 海南最新平均工資出爐 最賺錢的行業是……
- 高凌信息(688175.SH)：漢虎納蘭德及其一致行動人累計減持92.91萬股
- 央行發布《中央銀行存款賬戶管理辦法》 8月15日起施行
- “常與善會”山東金石文化傳承系列展活動圓滿開幕
- 高盛“掀桌子”VS中資券商反擊，二者激辯的焦點是什么
- 張鈸院士：人工智能通用理論即將形成，AI革命發展勢不可擋
- 國際航協：5月份全球航空客運量恢復至2019年同期水平96.1%
- 券商界大瓜迎來結局！原浙商證券研究所所長助理陳杭跟譚珺和解了
- 漳州發展（000753）7月7日主力資金凈買入2474.76萬元
- 超可愛！這些充滿童趣的展覽值得帶孩子一起看
- 守古道，探新路丨白沙液在名酒振興中穿越舊周期，競速新賽道
- 羅永浩的“交個朋友”曲線上市成功！世紀睿科更名為交個朋友控股
- 農業農村部：7月7日“農產品批發價格200指數”比昨天下降0.26個點
- 云南劃分野生菌中毒高、中、低風險區，這七個地方列入高風險區
- 專家：電解水制氫設備使用綠電年均利用時數應從兩三千小時提...
- 普達特科技（00650.HK）：7月7日南向資金增持103.4萬股
- 世貿組織投資便利化協定成功結束文本談判
- 未來一周后期海南多陣性降雨
- 唐山這些企業納入“科技型中小企業信息庫”
- 長春凈月高新區：靶向施策實現精準發力，營商持續迭代升級
- 海上觀瀾｜2023世界人工智能大會開幕式上首秀 這四項重大創...
- 一呼即應 秦漢新城互動服務運營中心上線
- 牙膏擠不動了？陷入低谷的AMD如何再次YES？
- 山東新華制藥股份（00719.HK）：7月7日南向資金增持59.2萬股
- 上海腦中風康復專科醫院排名_中風引起偏癱要怎么治療康復？