“新三樣”乘風(fēng)破浪領(lǐng)跑出口
2023-06-26 15:32:46
GPT-4 由 8 個 MoE 模型組成，真的嗎？|環(huán)球快看點(diǎn)
2023-06-26 15:32:46 來源: 商業(yè)新知網(wǎng)
(相關(guān)資料圖)
讓大家沒想到的是，被傳的神乎其神的GPT-4依舊是大力出奇跡的產(chǎn)物。回到ensemble的老路上去了，OpenAI一直在畫的AGI的大餅感覺又離我們遠(yuǎn)了。
黑客 George Hotz 在一個播客中透露，GPT-4 是由 8 個 2200 億參數(shù)的 MoE 模型組成的，每個模型都針對不同的數(shù)據(jù)和任務(wù)分布進(jìn)行了訓(xùn)練，然后通過一些小技巧將它們混合起來。他還說，這樣做是因?yàn)閱蝹€模型的參數(shù)規(guī)模已經(jīng)達(dá)到了極限，而且訓(xùn)練時間越長效果越差，所以他們采用了多模型集成的方法來提高性能。他認(rèn)為，OpenAI 對此保密的原因是不想讓別人知道他們的模型并不是那么先進(jìn)，只要花更多的錢就能復(fù)制。
這個說法得到了 PyTorch 創(chuàng)始人 Soumith Chintala 的認(rèn)可2，他表示自己也聽過類似的傳聞，但只有 George Hotz 在公開場合說出來了。不過，也有人對這個說法表示懷疑或質(zhì)疑134，認(rèn)為這樣的模型推理成本太高，而且沒有充分利用 GPT-4 的潛力。目前，OpenAI 還沒有對這個爆料做出任何回應(yīng)或證實(shí)。
這件事情很可能是真的，理由如下：
已知的Prior：
1.多個信源認(rèn)為GPT4比GPT3.5參數(shù)量大至少一個數(shù)量級，也就是1.7萬億以上。
2. OpenAI去年六月發(fā)表過技術(shù)報(bào)告說他們訓(xùn)練LLM用了MoE.
現(xiàn)在的觀測：
有人說GPT4是一個1.76萬億參數(shù)的MoE
網(wǎng)友得知秘訣后，打算自己也要訓(xùn)練一個LLaMA集合體與GPT-4競爭。
關(guān)鍵詞：
您可能也感興趣:
今日熱點(diǎn)
為您推薦
大量《王者榮耀》主播參與盲盒宣傳：現(xiàn)已道歉退款！_每日關(guān)注
2023-06-26 15:32:46
街拍禁止，三里屯太古里潮牌變遷史
2023-06-26 15:32:46
天天快消息！緋色是什么顏色 玄色（緋色是什么顏色）
2023-06-26 15:32:46
更多
- 德凱奧特曼：試圖用斯菲亞致富的商人彰人笑了：這科技力弱爆...
- 世界微動態(tài)丨讓幼兒成長環(huán)境更安全，他們走進(jìn)幼兒園
- 端午當(dāng)日創(chuàng)新高 鐵路端午小長假發(fā)送旅客7037.9萬人次
- 當(dāng)前觀點(diǎn)：中船防務(wù)午后漲超4% 地緣事件強(qiáng)化安全需求 軍工...
- 為愛守護(hù)“豫見”幸福童年 華夏保險(xiǎn)河南分公司2023客戶嘉年...
- 【環(huán)球新視野】【短期融資券新發(fā)公告】23南山開發(fā)SCP001今日...
- 復(fù)興號預(yù)計(jì)7月1日在青藏鐵路正式運(yùn)營-世界即時
- 世界看熱訊：邯鄲冀南新區(qū)召開2023年地方政府專項(xiàng)債券項(xiàng)目及...
排行
- 劉徹得皇后_漢朝皇帝劉徹的皇后有哪些 全球觀點(diǎn)
- "中國主權(quán)養(yǎng)老基金"？財(cái)政部官員：支持設(shè)立并續(xù)擴(kuò)規(guī)模
- 地方支持民企“高含金量”政策正在醞釀
- 銀保監(jiān)會通報(bào)馬上消費(fèi)金融，存在7項(xiàng)違規(guī)行為
- 移動支付市場規(guī)模達(dá)47.2萬億元
- 6月起客戶可跨網(wǎng)點(diǎn)變更撤銷銀行賬戶
- 關(guān)注：東莞不再新批“產(chǎn)業(yè)轉(zhuǎn)型升級示范基地”
- 北京將全面清理無序、違投、廢棄“共享單車”
- 在線旅游消費(fèi)維權(quán)難 游客窘困誰來管
- 國內(nèi)成品油零售限價(jià)存“二連跌”可能
最近更新
- GPT-4 由 8 個 MoE 模型組成，真的嗎？|環(huán)球快看點(diǎn)
- 異動快報(bào)：ST通脈（603559）6月26日13點(diǎn)2分觸及漲停板
- 廈門：461個省市重點(diǎn)項(xiàng)目建設(shè)提速 世界速遞
- 今日聚焦!公安部：快偵快破打架斗毆、尋釁滋事等夏季多發(fā)案件
- 中國今年做到的，“超過美國過去50年的總和”
- 世界看熱訊：中央氣象臺：我國近海海域?qū)⒂?-7級風(fēng)
- 蛋仔派對熊貓保育員皮膚怎么獲得 熊貓保育員皮膚獲取方法[多圖]
- 持續(xù)做強(qiáng)養(yǎng)老“第三支柱”（財(cái)經(jīng)眼·創(chuàng)新金融服務(wù) 助力“...
- 看點(diǎn)：年輕人為養(yǎng)老行業(yè)帶來“新機(jī)” 托舉起更美的夕陽紅
- “上汽紅巖杯”第四屆上海市集裝箱運(yùn)輸行業(yè)駕駛員（新能源車...
- 環(huán)球熱資訊！什么牌子的化妝品好(女士化妝護(hù)膚品哪個牌子好?)
- 環(huán)球滾動:【受權(quán)發(fā)布】北京26日發(fā)布雷電黃色預(yù)警
- 東離劍游紀(jì)官網(wǎng)在哪下載 最新官方下載安裝地址_環(huán)球短訊
- 轉(zhuǎn)發(fā)學(xué)習(xí)精密減速器人形機(jī)器人關(guān)鍵零部件，產(chǎn)業(yè)格局解析 每...
- 每日播報(bào)!社企聯(lián)盟聚力 共創(chuàng)幸福鄰里 ——浦發(fā)銀行福州路支...
- 世界微動態(tài)丨讓幼兒成長環(huán)境更安全，他們走進(jìn)幼兒園
- 均價(jià)沒漲 距離7號線僅500米！寶山大華“親兒子”又來了
- prada全球代言人有哪些？十大高奢品牌一覽表
- 焦點(diǎn)消息！即將召開的全國人大常委會會議看點(diǎn)前瞻
- 快訊：志愿填報(bào)系統(tǒng)、志愿填報(bào)輔助系統(tǒng)和志愿填報(bào)智能參考系...
- SHEIN推出“希有引力”百萬賣家計(jì)劃 今日精選
- 武漢集中供地第二日：聯(lián)發(fā)、中鐵、德信東西湖區(qū)各得一宗
- 天天速讀：無處方販賣管制精神藥品 診所經(jīng)營者被判有期徒刑八年
- 天天新消息丨未來兩天將有對流性降水，大部地區(qū)伴有雷暴、短...
- 【全球熱聞】楊浦區(qū)軍工路快速路高架橋梁主體結(jié)構(gòu)成型
- 海南碧城黎客國際酒店二手房子怎么樣？三亞二手房的利弊~|天...
- 世界快播：基金業(yè)績“中考”臨近 “含AI量”成決勝關(guān)鍵...
- 天天微速訊：2021奇妙陪伴季開啟 萬科上海區(qū)域60多萬戶家庭...
- 2023對講機(jī)發(fā)展需求與未來行業(yè)趨向預(yù)測|世界速遞
- 太陽兜售艾頓卻無人問津 沃格爾能將他調(diào)教為新版希伯特嗎？
今日要聞
- 司法部發(fā)布公告 準(zhǔn)予這些外國律師事務(wù)所在華設(shè)立代表處 全球頭條
- 今日熱門!如何重裝系統(tǒng)win11（如何重裝系統(tǒng)）
- @山東考生 西北大學(xué)報(bào)考指南：位次2萬以內(nèi)可報(bào)，中外合作辦學(xué)3.5萬以內(nèi)可報(bào)_焦點(diǎn)資訊
- 焦點(diǎn)消息！即將召開的全國人大常委會會議看點(diǎn)前瞻
- GPT-4 由 8 個 MoE 模型組成，真的嗎？|環(huán)球快看點(diǎn)
- 天天速看：美方以涉芬太尼問題逮捕和起訴中國公民和企業(yè) 中國駐美使館回應(yīng)
- 武漢集中供地第二日：聯(lián)發(fā)、中鐵、德信東西湖區(qū)各得一宗
- 德凱奧特曼：試圖用斯菲亞致富的商人彰人笑了：這科技力弱爆了 新資訊
- 世界微動態(tài)丨讓幼兒成長環(huán)境更安全，他們走進(jìn)幼兒園
- 相似的話再說出已是別樣心情