資金流向（8月21日）丨東方財富、中信證券、人民網獲融資資金買入排名前三，東方財富再獲買入超8億元
2023-08-22 19:04:58
在輕薄本上跑 Stable Diffusion 和端側大模型？英特爾說沒問題
2023-08-22 19:04:58 來源: 快科技
不管被動還是主動，大模型，AIGC，ChatGPT，Stable Diffusion，MidJourney 等等名詞在大家的新聞列表里狂轟濫炸，經歷了上半年的驚喜、恐慌、期待和擔憂之后，AIGC 現今已不是天降福音或者天網再臨，人們開始正視它，理解它，適度利用它。
(資料圖)
當然，這一輪 AIGC 浪潮主要發生在云端，無論是 ChatGPT，還是文心一言，通義千問這類大語言模型應用，亦或是 MidJourney 這類 AI 生成圖片的應用，還有不少像 Runway 這樣 AI 生成視頻的應用，都需要聯網，因為 AI 計算都發生在千里之外的云端服務器上。
畢竟一般而言，服務器端能夠提供的算力和存儲，要遠大于電腦端和手機端，但情況也并非絕對，響應快，無需聯網的端側 AI 毫無疑問是另一個趨勢，和云端 AI 能夠相互互補。
在前不久的小米年度演講中，小米創始人雷軍表示，小米 AI 大模型最新一個 13 億參數大模型已經成功在手機本地跑通，部分場景可以媲美 60 億參數模型在云端運行結果。
雖然參數量不太大，但說明了大模型在端側的可行性和潛力。
在算力大得多的 PC 端，是否也有端側大模型等 AIGC 運用的可行性和潛力呢？8 月 18 日，英特爾舉辦了一場技術分享會，著重分享了 2 個方面的信息：英特爾銳炫顯卡 DX11 性能更新，并推出全新英特爾 PresentMon Beta 工具，以及展示英特爾在 AIGC 領域的進展。
去年英特爾銳炫臺式機產品發布時，就承諾過英特爾銳炫顯卡會持續優化升級，帶來更出色的體驗。
通過最新 Game On 驅動的發布，英特爾銳炫顯卡在運行一系列 DX11 游戲的時候，能夠獲得 19% 的幀率提升，以及平均約 20% 的99th Percentile幀率流暢度提升（相較于首個驅動版本）。此前購買使用過英特爾銳炫 A750 顯卡的用戶，可以直接下載最新驅動，在《守望先鋒 2》、《DOTA 2》、《Apex Legends》等游戲中獲得體驗升級。
對于在顯卡選擇上有點猶豫的用戶來說，1700 元檔位上的銳炫 A750 顯卡也成為了頗有競爭力的選擇。
PresentMon Beta 則是英特爾推出的圖形性能分析工具，提供了 Overlay（疊加視圖）等功能，可以在運行游戲時在屏幕上顯示性能數據，幫助玩家實時遙測 GPU 的電壓和溫度等，實時分析大量信息。同時也可以查看 99th Percentile 幀時間與 GPU 占用率圖表。
另外，PresentMon Beta 也帶來了名為「GPU Busy」的全新指標。這里可以解釋一下，用戶通過它可以看到 GPU 實際使用了多少時間進行實際渲染而不是處于等待狀態，或者在運行游戲的 PC 是否處于 CPU 和 GPU 平衡。
游戲是 PC 永恒的主題，而 AI 則是新晉的主題。
實際上，這一輪 AIGC 浪潮發生的主陣地設備，就是 PC，無論是 ChatGPT，還是 MidJourney，或者 Stable Diffusion 等等應用，包括基于大模型的微軟 Office Copilot，亦或是金山辦公的 WPS AI，都是在 PC 上才可以獲得更好的體驗。
但 PC 相較于其他設備，諸如手機，平板和優勢，不僅在于屏幕更大，交互輸入更高效，還在于芯片性能。
在英特爾談 PC 上的 AIGC 之前，我們關注到 PC 端側跑 AIGC，往往就是用高性能游戲本去跑圖，但輕薄本往往被排除在外。
現在，英特爾明確表示了，基于英特爾處理器的輕薄本能跑大模型，也可以跑大模型和 Stable Diffusion。
英特爾基于 OpenVINO PyTorch （英特爾推出的一個開放源碼工具包，旨在優化深度學習模型的推理性能，并將其部署到不同的硬件平臺上）后端的方案，通過 Pytorch API 讓社區開源模型能夠很好地運行在英特爾的客戶端處理器、集成顯卡、獨立顯卡和專用 AI 引擎上。
比如開源的圖像生成模型 Stable Diffusion （具體講，是 Automatic1111 WebUI）就可以通過這種方式，在英特爾 CPU 和 GPU（包括集成顯卡和獨立顯卡）上運行 FP16 精度的模型，用戶實現文字生成圖片、圖片生成圖片以及局部修復等功能。
（圖片來自：愛極物）
比如這張 512 x 512 分辨率的蜂蜜薄餅圖在英特爾處理器輕薄本（只用 i7-13700H 的核顯）上，只需要十幾秒就可以生成出來。
這主要得益于 13 代酷睿處理器在核心數、性能、功耗比還有圖形性能上的進步，以 14 核心 20 線程的 i7-13700H 處理器為例，它的 TDP 達到了 45W，集成的 Intel Iris Xe Graphics (96EU) 顯卡也不容小覷。
作為目前最高規格的核顯之一，Intel Iris Xe Graphics (96EU) 相較于 Iris Plus 核顯最高 64EU，基本規格提升明顯，FP16、FP32 浮點性能提升幅度高達 84％，還引入了 INT8 整數計算能力 ，這些都加強了它的 AI 圖形計算能力，也是英特爾輕薄本能夠很好支持 Stable Diffusion 的主要原因。
在以往，TDP 45W 左右的英特爾處理器很難裝進輕薄本，不過到了 13 代酷睿，已經出現了一大批在 1.4KG 左右的輕薄本把 14 核心 20 線程的 i7-13700H 處理器乃至性能更高的 i7-13900H 處理器塞了進去，所以，在筆記本上跑 Stable Diffusion 快速出圖已經不是高性能獨顯游戲本的專屬，今后輕薄本同樣能夠勝任這項工作。
當然，Stable Diffusion 本身主要跑在本地，輕薄本通過芯片性能的提升和優化來運行合乎邏輯，不過本地的端側大模型則屬于較為新生的事物。
通過通過模型優化，降低了模型對硬件資源的需求，進而提升了模型的推理速度，英特爾讓一些社區開源模型能夠很好地運行在個人電腦上。
以大語言模型為例，英特爾通過第 13 代英特爾酷睿處理器 XPU 的加速、low-bit 量化以及其它軟件層面的優化，讓最高達 160 億參數的大語言模型，通過 BigDL-LLM 框架運行在 16GB 及以上內存容量的個人電腦上。
雖然離 ChatGPT3.5 的 1750 億參數有量級差距，但畢竟 ChatGPT3.5 是跑在一萬顆英偉達 V100 芯片構建的 AGI 網絡集群上。而這通過 BigDL-LLM 框架運行 160 億參數大模型是跑在英特爾酷睿 i7-13700H 或 i7-13900H 這樣為高性能輕薄本打造的處理器上。
不過這里也可以看到，PC 端側的大語言模型，也比手機端側的大語言模型高一個量級。
出現了數十年的 PC，并非運行云端大模型的工具人，得益于硬件進步，英特爾處理器支持的 PC 已經能夠快速對接新興模型，兼容 HuggingFace 上的 Transformers 模型，目前已經驗證過的模型包括但不限于：LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等。
（圖片來自：愛極物）
在技術分享會現場，英特爾演示了基于酷睿 i7-13700H 設備跑大模型的表現：ChatGLM-6b 可以做到首個 token 生成 first latency 241.7ms，后續 token 平均生成率為 55.63ms/token。在在自然語言處理領域，「token」 是指文本中的一個基本單元，可以是一個單詞、一個字、一個子詞（subword）、一個標點符號，或者其他可以進行語義處理的最小單元。可以看到，這個處理器速度相當不錯。
目前還可以得到的消息是，英特爾的下一代處理器 Meteor Lake 具備獨特的分離式模塊架構的優勢，更好地為 AI 服務，包括像 Adobe Premiere Pro 中的自動重新構圖和場景編輯檢測等多媒體功能，并實現更有效的機器學習加速。
雖然 AIGC 是 2023 年的一個關鍵詞，但是 AI 并不新鮮，而且也是英特爾這幾年來經常掛在嘴邊的關鍵詞。
更早之前的 AI 視頻通話降噪，AI 視頻通話背景降噪等等，其實都是 AI 的應用。
可以看到，未來處理器的競爭力，將不局限于核心數、線程數、主頻這些，能否更好地驅動 AI 功能，將成為愈發重要的維度，也會是今后消費者選購產品會考慮的因素之一。
關鍵詞：
您可能也感興趣:
為您推薦
連續作戰！衡山公安抓獲多名“幫信”犯罪嫌疑人
2023-08-22 19:04:58
熱門車訊比亞迪L3超A跑車長春車展上市
2023-08-22 19:04:58
再見哈登！5換1重量級交易方案曝光！恩比德或聯手水花，勇士穩了
2023-08-22 19:04:58
排行
最近更新
- 在輕薄本上跑 Stable Diffusion 和端側大模型？英特爾說沒問題
- AI透過胸片估測患者年齡 可揭示其患慢性病風險
- 滄州海洋館門票多少錢?（附購票入口）
- 科技賦能+綜合治理 旱堿地里種好中國糧
- 臨港在建最高標志性建筑迎新進展：西島金融中心主樓核心筒 9...
- 23日將迎本年度第二次水星逆行
- 中年“預”失業，該何去何從？
- 第四批銀齡教師支援西部計劃啟動
- 韓國民間團體集會抗議韓美聯合軍演
- 柬埔寨國民議會投票選舉洪瑪奈為新首相
- "電風扇"行情來襲，如何應對？基金經理發聲：長期的收益來自時間
- 國家統計局：2022年我國經濟發展新動能指數比上年增長28.4%
- 2023暑期檔票房破190億
- 社保斷交一個月生育津貼有影響嗎？一文講清楚
- 2023年中國IGBT行業發展現狀及趨勢預測
- 行駛記錄儀應用場景更加多樣化 未來智能行車記錄儀市場規模...
- 零碳“加速度”！寧德時代首個儲能電池為主的零碳工廠正式誕生
- NYMEX原油上看82.28美元
- 建安區教體局做好“雙減”工作 提升班主任素質
- 《暗黑破壞神4》戰利品過濾器功能有望實現
- 上海臨港新片區高質量發展邁出新步伐
- 為什么5年期房貸利率下降落空？因為還有更重要的事情
- 紫荊觀察丨多元消費“點燃”夏日經濟活力
- 古人的文具
- 外媒：柬埔寨國民議會投票選舉洪瑪奈為新首相
- “文化周末”奏響惠州
- 歐足聯官網盤點梅西上賽季最出彩的三場比賽，戰馬卡比2球2助
- 宏創控股：8月21日獲融資買入151.01萬元
- 悅達起亞智跑
- 法國蘭蔻官方網（法國蘭蔻官網中文官網）