免費、打折！一大批景區暑期限時優惠！這些證很有用
2023-06-25 04:30:24
天天動態:MosaicML 推出 300 億參數模型，訓練成本 70 萬
2023-06-25 04:30:24 來源: OSCHINA
(相關資料圖)
AI 創業公司 MosaicML 近日發布了其語言模型 MPT-30B，單從參數來看，這個模型具有 300 億參數，放在如今動則上千億參數的模型領域中并沒有什么突出的地方。但這個新模型的訓練成本卻只有其他模型的零頭，有望擴大模型在更廣泛領域的運用。
MosaicML 的首席執行官兼聯合創始人 Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬美元，遠低于訓練 GPT-3 所需的數千萬美元。此外，MPT-30B 模型的質量超過了 OpenAI 在 2020 年發布的初版 GPT-3。由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓練，并部署在本地硬件設備上。
MosaicML 使用了 Alibi 和 FlashAttention 技術來優化模型，可以實現更長的文本長度和對 GPU 計算的高利用率。MosaicML 也是少數幾個能夠使用 Nvidia H100 GPU 的實驗室，相比以往，這使得每 GPU 的吞吐量增加了 2.4 倍以上，帶來更快的完成時間。
300 億參數這是一個在大模型領域經常看到的數字，300 億參數為什么這么特殊呢？MosaicML 首席科學家 Frankle 則解釋道，首先 300 億參數能夠確保它可以在本地硬件上輕松運行，同時保持質量與 GPT-3 差不多或略優于它。
其次任何超過 300 億參數限制的模型都需要將模型分解成多個平行段，通常也需要更加昂貴的多 GPU 設置。
除了讓 AI 技術更容易獲得之外，MosaicML 還專注于提高數據質量，以提高模型性能。他們目前正在開發工具，幫助用戶在預訓練過程中分層加入特定領域的數據。這確保了多樣化和高質量的數據組合。將模型擴展到 300 億參數只是 MosaicML 的第一步，接下來他們將以降低成本為前提，推出更大的、更高質量的模型。
開發者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎模型，開發者還可以在自己的硬件上用自己的數據對模型進行微調。
關鍵詞：
您可能也感興趣:
今日熱點
為您推薦
2023年黑龍江省高考錄取控制分數線劃定|今日最新
2023-06-25 04:30:24
快消息！感冒喝蜂蜜水有用不_感冒喝蜂蜜水有用
2023-06-25 04:30:24
給護士送錦旗寫什么(給醫生送錦旗說什么感謝的話)
2023-06-25 04:30:24
排行
最近更新
- 天天動態:MosaicML 推出 300 億參數模型，訓練成本 70 萬
- 【天天快播報】意媒：庫利巴利從未考慮加盟國米，因曾遭遇國...
- 水果酵素怎么做 ？分享發酵方法和比例，出現這個特征就可以用了
- 恩施市：碧波漾影南里渡
- “國寶”紅樹林！“海洋綠肺”的生態密碼 每日看點
- 2023年貴州高考文史、理工類分數線劃定！
- 要聞：香港一客機中止起飛 11人受傷 8人穩定3人已出院
- 端午假期交通部門加強多種出行方式聯動 今日關注
- 填志愿，怎樣看待專業“冷熱”
- 遠域懾阻 協同作戰！東部戰區空軍航空兵出擊 天天熱聞
- 關注：假期最后一天迎返程高峰，鄭州這些高速收費站易堵
- 每日訊息!甜~
- 熱訊：廣圖曬新館開放十周年成績單：讀者訪問量居全國公共圖...
- 俄國防部否認襲擊俄雇傭軍營地 消息和視頻都是不真實的-報道
- 重要提醒！事關余杭家家戶戶！ 環球時快訊
- 當前播報:電影《八角籠中》點映及預售總票房破5000萬
- “低價股群體”領跌變抗跌 掘金可選盈利與國資控股 快播報
- 西藏：學校師生“粽”享歡樂
- 環球快資訊：西安文明旅游志愿服務系列活動啟動
- 巴媒列有資格參加2025世俱杯的32支球隊：曼城、皇馬、切爾西在內
- 天天觀察：和仁科技——2023企業能力分析研究報告浙江和仁科
- 要聞速遞：薪資專家：湖人不會追歐文 他們專注于留住里夫斯...
- 世界視點！車保險到期了不開可以先不交嗎
- 一考生查分 全家一起喊出“666”：打算沖擊復旦、交大 天天熱消息
- 《賺錢周期效應》讀后感（聲明：邏輯來源于大V向龍而升，班門...
- 環球快看點丨媒體:警惕“網紅”言論誤導志愿填報
- 最新消息：【文體市場面面觀】鄉村賽事要平衡好“商味”和“...
- 非遺游、避暑游、文化游……端午假期這些消費新體驗等你打卡！
- 海口市應急管理局：專家研判近期海南發生破壞性地震可能性不...
- 【全球報資訊】我們的節日丨島城市民如何過端午？熱鬧場面來啦
今日要聞
- 環球最新：大小S宣布起訴葛斯齊，網友：挽回名譽，毛發驗毒比起訴有用
- 天天動態:MosaicML 推出 300 億參數模型，訓練成本 70 萬
- 我市全面開展燃氣安全隱患排查整治
- 速訊：全面提升供熱運行保障水平 供熱設施“冬病夏治”正當時
- 當前通訊！市場監管總局：推動氣瓶安全排查整治 加強燃氣用品質量安全監管
- 臧天朔：抽梅婷耳光，砸成龍場子，楊鈺瑩一個電話讓他差點被銷戶 焦點熱訊|熱文
- 巴媒列有資格參加2025世俱杯的32支球隊：曼城、皇馬、切爾西在內
- 【數說經濟】發揮好服務業穩定器作用
- 2023年6月中旬流通領域重要生產資料市場價格變動情況_環球觀熱點-環球看點
- 國泰航空客機起飛滑行時爆胎，乘客搭逃生梯緊急撤離，11人受傷