觀熱點(diǎn)：各自奔天涯哈弗茨曬與科瓦西奇、克里斯滕森合照：三個(gè)好朋友
2023-06-25 06:46:43
全球新動(dòng)態(tài)：MosaicML 推出 300 億參數(shù)模型，訓(xùn)練成本 70 萬
2023-06-25 06:46:43 來源: OSCHINA
(相關(guān)資料圖)
AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語言模型 MPT-30B，單從參數(shù)來看，這個(gè)模型具有 300 億參數(shù)，放在如今動(dòng)則上千億參數(shù)的模型領(lǐng)域中并沒有什么突出的地方。但這個(gè)新模型的訓(xùn)練成本卻只有其他模型的零頭，有望擴(kuò)大模型在更廣泛領(lǐng)域的運(yùn)用。
MosaicML 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示，MPT-30B 的訓(xùn)練成本為 70 萬美元，遠(yuǎn)低于訓(xùn)練 GPT-3 所需的數(shù)千萬美元。此外，MPT-30B 模型的質(zhì)量超過了 OpenAI 在 2020 年發(fā)布的初版 GPT-3。由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓(xùn)練，并部署在本地硬件設(shè)備上。
MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來優(yōu)化模型，可以實(shí)現(xiàn)更長的文本長度和對 GPU 計(jì)算的高利用率。MosaicML 也是少數(shù)幾個(gè)能夠使用 Nvidia H100 GPU 的實(shí)驗(yàn)室，相比以往，這使得每 GPU 的吞吐量增加了 2.4 倍以上，帶來更快的完成時(shí)間。
300 億參數(shù)這是一個(gè)在大模型領(lǐng)域經(jīng)常看到的數(shù)字，300 億參數(shù)為什么這么特殊呢？MosaicML 首席科學(xué)家 Frankle 則解釋道，首先 300 億參數(shù)能夠確保它可以在本地硬件上輕松運(yùn)行，同時(shí)保持質(zhì)量與 GPT-3 差不多或略優(yōu)于它。
其次任何超過 300 億參數(shù)限制的模型都需要將模型分解成多個(gè)平行段，通常也需要更加昂貴的多 GPU 設(shè)置。
除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專注于提高數(shù)據(jù)質(zhì)量，以提高模型性能。他們目前正在開發(fā)工具，幫助用戶在預(yù)訓(xùn)練過程中分層加入特定領(lǐng)域的數(shù)據(jù)。這確保了多樣化和高質(zhì)量的數(shù)據(jù)組合。將模型擴(kuò)展到 300 億參數(shù)只是 MosaicML 的第一步，接下來他們將以降低成本為前提，推出更大的、更高質(zhì)量的模型。
開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型，開發(fā)者還可以在自己的硬件上用自己的數(shù)據(jù)對模型進(jìn)行微調(diào)。
關(guān)鍵詞：
您可能也感興趣:
今日熱點(diǎn)
為您推薦
這個(gè)端午節(jié) 四川發(fā)放消費(fèi)券1.5億元_天天視點(diǎn)
2023-06-25 06:46:43
流動(dòng)性與機(jī)構(gòu)行為周度跟蹤：稅期后資金再度轉(zhuǎn)松跨半年波動(dòng)料將可控_環(huán)球速訊
2023-06-25 06:46:43
每日消息!強(qiáng)降雨襲多地，6月24日預(yù)報(bào)
2023-06-25 06:46:43
更多
- Xbo老大斯賓塞淡化主機(jī)戰(zhàn)爭 稱其只是一種社會建構(gòu) 世界快資訊
- 銀川當(dāng)?shù)毓膊块T通報(bào)“富洋燒烤店爆炸事故”調(diào)查情況 環(huán)球...
- 41℃高溫把盆里的衣服曬冒煙了 衣服有被火燒過的痕跡|環(huán)球看點(diǎn)
- 啟程薩格勒布！樊振東呆萌可愛，孫穎莎開心熱聊，王楚欽大牌傍身
- 世界觀天下！媒體:警惕“網(wǎng)紅”言論誤導(dǎo)志愿填報(bào)
- IMF俄羅斯執(zhí)行董事：美國一手造成全球“去美元化” 全球觀察
- 全球鉆石價(jià)格較峰值暴跌18%：人造鉆石市場規(guī)模不斷擴(kuò)大-全球...
- 天天最資訊丨散戶是什么意思
更多
- 最普通簡單的蝴蝶結(jié)系法?-熱訊
- 焦點(diǎn)快看：神界傳說動(dòng)漫11集（神界傳說動(dòng)漫全集）
- 做到這 6 點(diǎn)，提高團(tuán)隊(duì)協(xié)作不是夢
- 全球速遞！盛夏已至，來濟(jì)寧高新區(qū)尋一處清涼！
- 俄羅斯聯(lián)邦儲蓄銀行：今日照常營業(yè)，現(xiàn)金或外幣需求沒有增加_...
- 桌面工具欄跑到左邊了拖回來還是不對（桌面工具欄跑到右邊）|...
- 保護(hù)知識產(chǎn)權(quán)激發(fā)創(chuàng)新活力
- 黃浦區(qū)將規(guī)劃布局“兩點(diǎn)一線” 打造外灘法律服務(wù)集聚帶_天天...
排行
- 世界快播：多地再掀購車補(bǔ)貼潮：車市“價(jià)格戰(zhàn)”仍將持續(xù)？
- 當(dāng)前觀察：中科院院士吳一戎：遙感數(shù)據(jù)呈爆炸式增長 “蠻力...
- 勞務(wù)輸出是什么意思網(wǎng)絡(luò)用語_勞務(wù)輸出是什么意思 全球關(guān)注
- net framework4.8下載_net framework 4 0 32位下載 世界短訊
- 廣州希爾頓酒店多少錢一晚_希爾頓酒店多少錢一晚 環(huán)球最新
- 孕婦可以吃杏呢_孕婦可以吃杏嗎-焦點(diǎn)熱文
- t17_關(guān)于t17的介紹
- 紫牛拍咖丨天空的禮物！京杭大運(yùn)河上空粉色晚霞好浪漫
- 全球今頭條！打造標(biāo)桿綠色建筑 臺泥大陸運(yùn)營總部封頂
- 花壇展“新顏”，小河街道“盛裝”迎亞運(yùn)
最近更新
- 全球新動(dòng)態(tài)：MosaicML 推出 300 億參數(shù)模型，訓(xùn)練成本 70 萬
- 焦點(diǎn)熱文：一問“醫(yī)”答丨高溫?zé)崂擞蛛p叒叕來了！如何防護(hù)？
- 環(huán)球播報(bào):北京中考首日高溫“烤驗(yàn)”突出 或現(xiàn)40℃三連擊警惕中暑
- 巴中旅游景點(diǎn)大全排名（四川巴中旅游景點(diǎn)大全）|世界今日訊
- 2019款奔馳C260L 4MATIC怎么樣及保時(shí)捷Cayenne 3.0T多少錢
- 上汽大眾全新Polo Plus怎么樣及廣汽謳歌TLX-L 2.4L多少錢|天天資訊
- 山東農(nóng)信網(wǎng)上銀行下載（山東農(nóng)信網(wǎng)上銀行）|世界最資訊
- 訊息：澳芒為什么不甜（澳芒）
- 黃金消費(fèi)旺 吉祥又時(shí)尚
- 端午檔總票房達(dá)8.48億，暫列影史第二_環(huán)球速讀
- 每日消息!問天要地 “工業(yè)上樓”能否引領(lǐng)產(chǎn)業(yè)投資新風(fēng)潮？
- 熱頭條丨事關(guān)你的房貸！疆內(nèi)商業(yè)銀行下調(diào)貸款利率
- 世界視訊！美失事潛艇5名富豪或0.03秒內(nèi)死亡 專家猜測發(fā)生了...
- 創(chuàng)維EV6 II汽車上市：CLTC續(xù)航最高620公里，15.68萬元起
- 全省城鎮(zhèn)燃?xì)獍踩ぷ鲗ｍ?xiàng)督導(dǎo)，首站走進(jìn)成都液化石油氣充裝...
- 正在播放綺麗叔母（正在播放叔母）
- 如何將excel轉(zhuǎn)換成圖片格式（如何將excel轉(zhuǎn)換成圖片）-天天即時(shí)
- 廈門會展走出去招展引展，“廈門之夜”亮相上海_世界訊息
- 播報(bào)：2023年中國建筑裝飾行業(yè)現(xiàn)狀分析：城市化率穩(wěn)步提升，...
- 全球快看點(diǎn)丨《索尼克：未知邊境》生日派對更新加入新游戲+模式
- ESPN曬灰熊新賽季潛在首發(fā)&替補(bǔ)：他們下賽季能贏多少場？
- 當(dāng)前焦點(diǎn)!韓立明深入老舊小區(qū)農(nóng)貿(mào)市場等察看城市環(huán)境整治情況
- 模塊化大模型來了！IBM公開WastonX核心架構(gòu)技術(shù)細(xì)節(jié)-天天快看點(diǎn)
- 會用五筆的人是不是很厲害? 現(xiàn)在還用五筆打字的，究竟是些什...
- 最普通簡單的蝴蝶結(jié)系法?-熱訊
- 系蝴蝶結(jié)的方法?_全球速讀
- 方媛帶倆女兒出游，郭富城視角下母女仨手牽手，同款雙辮超可愛
- “電競+文旅+體育” 烏魯木齊市天山區(qū)首屆電子競技大賽舉行-...
- 世界看點(diǎn)：南方16條河流發(fā)生超警洪水
- 全球今日訊！廣西2023年普通高校招生錄取最低控制分?jǐn)?shù)線公布
今日要聞
- 環(huán)球訊息：天安云谷 聯(lián)手兩“龍頭” 共話“數(shù)字人”
- 把“空間站”建在地球上|全球今日訊
- 相美好的事情即將即將發(fā)生—數(shù)據(jù)要素
- 系蝴蝶結(jié)的方法?_全球速讀
- 最普通簡單的蝴蝶結(jié)系法?-熱訊
- 焦點(diǎn)快看：神界傳說動(dòng)漫11集（神界傳說動(dòng)漫全集）
- 景區(qū)待客超500萬人次
- 快報(bào)：外交部發(fā)言人就美方以涉芬太尼問題逮捕和起訴中國公民和企業(yè)答記者問
- 看熱訊：爆炸果實(shí)背鍋！BLG不用訓(xùn)練都能翻盤WBG，劉青松不敢指出曬哥失誤
- 百事通！女生高考712分 查完分就睡覺 媽媽：女兒一直都挺乖的