近十年財(cái)險(xiǎn)業(yè)務(wù)快速發(fā)展 財(cái)產(chǎn)保險(xiǎn)業(yè)風(fēng)險(xiǎn)保障水平不提升
2022-12-13 09:56:44
全球快播：英特爾、Habana Labs與Hugging Face推動(dòng)Transformer業(yè)務(wù)在訓(xùn)練和推理優(yōu)化及擴(kuò)展取得關(guān)鍵進(jìn)展
2022-12-13 09:56:44 來源: 電子創(chuàng)新網(wǎng)
在過去的一年中，英特爾、Habana Labs和Hugging Face基于開源項(xiàng)目、集成開發(fā)者體驗(yàn)與科學(xué)研究，不斷提升人工智能應(yīng)用的效率并降低使用門檻，在創(chuàng)建和訓(xùn)練高質(zhì)量Transformer模型上取得了重大進(jìn)展。
Transformer模型為包括自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）、語音等在內(nèi)廣泛的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)提供先進(jìn)的性能。大規(guī)模訓(xùn)練這些深度學(xué)習(xí)模型需要龐大的算力，這個(gè)過程非常復(fù)雜，不僅需要大量時(shí)間，而且成本高昂。
(資料圖)
通過英特爾顛覆者計(jì)劃（Intel Disruptor Program）與Hugging Face密切合作，能夠幫助用戶更廣泛地采用基于最新英特爾?至強(qiáng)?可擴(kuò)展處理器、Habana Gaudi?以及Gaudi?2處理器優(yōu)化的訓(xùn)練和推理解決方案。此次合作將英特爾AI工具包中先進(jìn)的深度學(xué)習(xí)創(chuàng)新技術(shù)引入Hugging Face的開源生態(tài)系統(tǒng)中，并以此推動(dòng)未來英特爾?架構(gòu)的創(chuàng)新發(fā)展，在英特爾至強(qiáng)平臺上的分布式調(diào)優(yōu)、內(nèi)置優(yōu)化、配合Habana Gaudi加速訓(xùn)練，以及小樣本學(xué)習(xí)方面均取得了重大進(jìn)展。
當(dāng)使用單節(jié)點(diǎn)CPU進(jìn)行訓(xùn)練速度不佳時(shí)，數(shù)據(jù)科學(xué)家們就需要分布式訓(xùn)練。在分布式訓(xùn)練中，集群中的每臺服務(wù)器都保留一個(gè)模型副本，利用訓(xùn)練數(shù)據(jù)集的一部分進(jìn)行訓(xùn)練，并通過英特爾?oneAPI集體通信庫（Collective Communications Library）在各節(jié)點(diǎn)之間交換結(jié)果，從而更快地收斂到最終模型。目前，Transformer可原生支持該功能，并使數(shù)據(jù)科學(xué)家們更容易地進(jìn)行分布式調(diào)優(yōu)。
例如，在英特爾至強(qiáng)可擴(kuò)展處理器的分布式集群上加速Transformer模型的PyTorch訓(xùn)練時(shí)，為在PyTorch中能夠有效利用英特爾?高級矩陣擴(kuò)展（英特爾?AMX）、AVX-512以及英特爾矢量神經(jīng)網(wǎng)絡(luò)指令（VNNI）等最新英特爾至強(qiáng)可擴(kuò)展處理器所支持的硬件性能，英特爾為PyTorch設(shè)計(jì)了英特爾擴(kuò)展，該軟件庫可為訓(xùn)練和推理提供開箱即用的加速功能。
此外，Hugging Face Transformer提供Trainer API，使用戶可以無需手動(dòng)編寫訓(xùn)練循環(huán)，更輕松地開始訓(xùn)練。該Trainer為超參數(shù)搜索提供API，目前可支持多個(gè)搜索后端，其中包括可托管的超參數(shù)優(yōu)化服務(wù)英特爾SigOpt。得益于此，數(shù)據(jù)科學(xué)家們可以更有效地訓(xùn)練并獲取最佳模型。
非凡的開發(fā)者體驗(yàn)
Optimum是Hugging Face創(chuàng)建的一個(gè)開源庫，用于在日益增長的訓(xùn)練及推理設(shè)備中簡化Transformer的加速。通過其內(nèi)置的優(yōu)化技術(shù)和現(xiàn)成的腳本，初學(xué)者可以輕松地上手使用Optimum，而專家則可以通過不斷調(diào)整以獲得最佳性能。
“Optimum Intel”是Transformer庫與英特爾所提供的不同工具和庫之間的接口，用于加速英特爾架構(gòu)上的端到端管線。該接口基于英特爾?神經(jīng)壓縮器所開發(fā)，為包括量化、剪枝、知識提取等多項(xiàng)網(wǎng)絡(luò)壓縮技術(shù)提供跨多個(gè)深度學(xué)習(xí)框架的統(tǒng)一體驗(yàn)。此外，開發(fā)人員亦可使用Optimum Intel來進(jìn)行針對評估數(shù)據(jù)集的模型指標(biāo)對比，從而更加輕松地在Transformer模型上運(yùn)行訓(xùn)練后量化（PTQ）。
與此同時(shí)，Optimum Intel還提供了一個(gè)簡單的接口來優(yōu)化Transformer模型，并將模型轉(zhuǎn)換為OpenVINO的中間層表示（IR），從而使用OpenVINO進(jìn)行推理。
利用Habana Gaudi加速訓(xùn)練
現(xiàn)階段，Habana Labs正攜手Hugging Face更簡易、快速地訓(xùn)練大規(guī)模、高質(zhì)量的Transformer模型。得益于Habana的SynapseAI? 軟件套件與Hugging Face Optimum-Habana開源庫，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師能夠通過在Habana Gaudi和Habana Gaudi2處理器上運(yùn)行幾行代碼，加速Transformer深度學(xué)習(xí)的訓(xùn)練。
Optimum-Habana庫支持各種計(jì)算機(jī)視覺、自然語言和多模態(tài)模型。其支持且經(jīng)過測試的模型架構(gòu)包括BERT、AlBERT、DistilBERT、RoBERTa、Vision Transformer、swin、T5、GPT2、wav2vec2和Stable Diffusion。Hugging Facehub上目前已有4萬多個(gè)基于這些架構(gòu)的模型，而開發(fā)人員可以使用Optimum-Habana在Gaudi和Gaudi2上輕松地使用這些模型1。
Habana Gaudi解決方案已經(jīng)用于亞馬遜EC2 DL1實(shí)例，采用該解決方案進(jìn)行訓(xùn)練的一個(gè)主要優(yōu)勢是性價(jià)比。Habana Gaudi的性價(jià)比與同類訓(xùn)練解決方案相比高40%，使客戶能用更少的成本進(jìn)行更多訓(xùn)練2，Gaudi2采用與第一代Gaudi相同的高效架構(gòu)，同樣提供了卓越的性價(jià)比。
Habana DeepSpeed也集成在Optimum-Habana庫中，讓人們在使用DeepSpeed優(yōu)化的Gaudi設(shè)備時(shí)，能更易于大規(guī)模部署和訓(xùn)練大型語言模型。您可以通過Optimum Habana DeepSpeed使用指南了解更多信息。
最新版的Optimum-Habana在Hugging Facediffusers庫中內(nèi)置支持Stable Diffusion，使Hugging Face開發(fā)者能夠在Habana Gaudi上進(jìn)行極具性價(jià)比的圖像生成測試。
生產(chǎn)中的小樣本學(xué)習(xí)
英特爾研究院、Hugging Face和UKP Lab最近推出了SetFit，這是一種用于對Sentence Transformer進(jìn)行小樣本調(diào)優(yōu)的有效框架。使用預(yù)先訓(xùn)練的語言模型進(jìn)行小樣本學(xué)習(xí)，將有望解決數(shù)據(jù)科學(xué)家在現(xiàn)實(shí)中面臨的一大挑戰(zhàn)：處理那些幾乎沒有標(biāo)簽的數(shù)據(jù)。
當(dāng)前的小樣本調(diào)優(yōu)需要手工提示或描述器，將示例轉(zhuǎn)換為適合底層語言模型的格式。通過直接從少量有標(biāo)簽的文本示例中直接生成豐富的嵌入，SetFit可省去提示。
研究人員設(shè)計(jì)了SetFit，可用于Hugging Face Hub上的任何Sentence Transformer，即通過調(diào)優(yōu)多語言檢查點(diǎn)，可以將文本分類為多種語言。
SetFit不需要像T5或GPT-3這樣的大模型來實(shí)現(xiàn)高精度。與標(biāo)準(zhǔn)調(diào)優(yōu)相比，它顯著提高了采樣效率并能夠更好地耐受噪聲。例如，對于在一個(gè)示例情感數(shù)據(jù)集上每類只有八個(gè)有標(biāo)簽的例子，SetFit可以與在包含3000個(gè)例子的完整訓(xùn)練集上的RoBERTa Large調(diào)優(yōu)相媲美。Hugging Face發(fā)現(xiàn)，在零提示且體積縮小27倍的情況下，SetFit也取得了與T-Few 3B相當(dāng)?shù)男Ч瑥亩鴮?shí)現(xiàn)了兼具低成本和高效的訓(xùn)練3。
一直以來，英特爾致力于積極構(gòu)建生態(tài)系統(tǒng)并助力降低AI成本，包括開源項(xiàng)目、集成的開發(fā)者體驗(yàn)和科學(xué)研究等舉措。而工具和軟件恰恰能夠讓開發(fā)人員加快構(gòu)建應(yīng)用程序，并釋放處理器性能。英特爾旨在讓人們能夠更輕松地在任何地方構(gòu)建和部署AI，使數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)從業(yè)者能夠采用最新的優(yōu)化技術(shù)。
注釋：
1基于Hugging Face搜索查詢：https://huggingface.co/models?other=or:bert,stable-diffusion-diffusers,albert,wav2vec2,vit,swin,t5,distilbert,roberta,gpt2。這個(gè)查詢會(huì)過濾所有已經(jīng)測試、驗(yàn)證并在Optimum-Habana中得到支持的Hugging Face模型。 2基于AWS計(jì)算的價(jià)格和性能，對比了基于GPU的類似AWS實(shí)例。更多信息參見亞馬遜相關(guān)新聞稿：https://press.aboutamazon.com/2021/10/aws-announces-general-availability-of-amazon-ec2-dl1-instances? 3有關(guān)性能的詳情參見完整論文：https://arxiv.org/abs/2209.11055和博客文章：https://huggingface.co/blog/setfit。
關(guān)于英特爾
英特爾（NASDAQ: INTC）作為行業(yè)引領(lǐng)者，創(chuàng)造改變世界的技術(shù)，推動(dòng)全球進(jìn)步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進(jìn)半導(dǎo)體設(shè)計(jì)與制造，幫助我們的客戶應(yīng)對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡(luò)、邊緣和各種計(jì)算設(shè)備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會(huì)變得更美好。如需了解英特爾創(chuàng)新的更多信息，請?jiān)L問英特爾中國新聞中心intel.cn/content/www/cn/zh/newsroom以及官方網(wǎng)站intel.cn。
關(guān)鍵詞： 解決方案 機(jī)器學(xué)習(xí) 科學(xué)家們 開發(fā)人員
您可能也感興趣:
今日熱點(diǎn)
為您推薦
遼寧擴(kuò)大緩繳社保費(fèi)政策實(shí)施范圍 補(bǔ)繳期間免收滯納金
2022-12-13 09:56:44
增額終身壽險(xiǎn)成銀保市場上的黑馬 中途退保恐會(huì)損失保費(fèi)
2022-12-13 09:56:44
保險(xiǎn)公司紛紛探索轉(zhuǎn)型之路 聚焦細(xì)分業(yè)務(wù)、推出新產(chǎn)品
2022-12-13 09:56:44
更多
- 合作共贏 | 清能股份與濟(jì)平新能源簽署戰(zhàn)略合作協(xié)議
- 環(huán)球熱點(diǎn)！中國汽車系統(tǒng)公司為比亞迪推出新型電動(dòng)助力轉(zhuǎn)向系統(tǒng)
- 環(huán)球今日報(bào)丨特瑞仕與韓國SK集團(tuán)所屬Yes Powertechnix 締結(jié)...
- 全球快播：英特爾、Habana Labs與Hugging Face推動(dòng)Transfor...
- 瑞薩電子榮獲全球半導(dǎo)體聯(lián)盟2022年“亞太杰出半導(dǎo)體企業(yè)獎(jiǎng)”
- 天天觀熱點(diǎn)：E Ink元太科技宣布提前達(dá)標(biāo)RE20 成為第一家達(dá)...
- 東芝開發(fā)帶嵌入式肖特基勢壘二極管的低導(dǎo)通電阻高可靠性SiC MOSFET
- 全球滾動(dòng):Tronsmart推出Bang SE派對音響，帶來24小時(shí)歡樂時(shí)光
更多
- 環(huán)球觀熱點(diǎn)：中金：鋰電設(shè)備企業(yè)估值持續(xù)下行，或迎中長期逢...
- 通訊！特別國債定向續(xù)發(fā)，無礙資金面平穩(wěn)寬松
- 全球要聞：特別國債定向續(xù)發(fā) 無礙資金面平穩(wěn)寬松
- 關(guān)于新增嘉實(shí)豐益純債定期債券基金經(jīng)理的公告
- 今日熱門!虛擬資產(chǎn)期貨ETF保證金利率為30％
- 焦點(diǎn)日報(bào)：農(nóng)銀匯理基金王明君：審視投資邏輯 注重信用風(fēng)險(xiǎn)管理
- 每日視點(diǎn)！佳源國際控股（02768.HK）轉(zhuǎn)換可換股債券而配發(fā)1865.42萬股
- 焦點(diǎn)熱訊:分析師：債市提前反彈 2023年或難延續(xù)漲勢
排行
- 環(huán)球今日報(bào)丨特瑞仕與韓國SK集團(tuán)所屬Yes Powertechnix 締結(jié)...
- 科技智庫需要進(jìn)一步加快智庫成果轉(zhuǎn)化
- 雄安設(shè)立兩年 290家京企“搶灘登陸”
- 女子拽男友公交車方向盤受審 涉嫌危害公共安全罪
- 成都實(shí)施創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，將挖掘培養(yǎng)高素質(zhì)職工人才
- “人造雪粉”接觸眼睛或被誤食可能有危險(xiǎn)
- 這一年，我們?yōu)榭萍肌俺尺^的架”真不少
- “四成人不知電商法”該如何破題
- 監(jiān)督搭平臺信息都上網(wǎng) 打通精準(zhǔn)監(jiān)督‘最后一公里’
- 智能烹飪機(jī)，選購有講究
最近更新
- 全球快播：英特爾、Habana Labs與Hugging Face推動(dòng)Transfor...
- 環(huán)球熱點(diǎn)！中國汽車系統(tǒng)公司為比亞迪推出新型電動(dòng)助力轉(zhuǎn)向系統(tǒng)
- 合作共贏 | 清能股份與濟(jì)平新能源簽署戰(zhàn)略合作協(xié)議
- 環(huán)球今日報(bào)丨特瑞仕與韓國SK集團(tuán)所屬Yes Powertechnix 締結(jié)...
- 不被年齡定義，與蔓之研一起護(hù)不被定義的膚
- 傳承匠心，2022年“龍華工匠”名單發(fā)布！
- 中國·寧波第九屆全球新材料行業(yè)大賽總決賽圓滿落幕
- 養(yǎng)老保險(xiǎn)分類有哪些？醫(yī)保和養(yǎng)老保險(xiǎn)哪個(gè)重要？
- 霽達(dá)云康?，你所期待的卒中數(shù)字居家康復(fù)時(shí)代已經(jīng)到來！
- 艾麗哲：你還在問女裝加盟前景好不好，他們早已賺的盆滿缽滿
- 房地產(chǎn)開發(fā)程序是怎樣的？房地產(chǎn)企業(yè)破產(chǎn)的原因有哪些？
- 房改房政策是什么？房改房的過戶高嗎？
- 勞務(wù)派遣規(guī)定有哪些？勞務(wù)派遣工作值得去嗎？
- 全球今亮點(diǎn)！三年的巧克力能吃嗎?
- 天天熱點(diǎn)評！德芙巧克力的保質(zhì)期是多久啊?
- 全球最資訊丨床上有螨蟲說明什么
- 非洲的巧克力保質(zhì)期?
- 當(dāng)前熱文：巧克力冷凍多久會(huì)成固?
- 環(huán)球播報(bào):Nansen：幣安過去24小時(shí)內(nèi)資金凈流出達(dá)9.02億美元
- 最新資訊：摩根大通報(bào)告：13%的美國人持有加密貨幣
- A股開盤：深證區(qū)塊鏈50指數(shù)下跌0.11%
- 北京：堅(jiān)定推動(dòng)復(fù)工復(fù)產(chǎn)
- 13731億斤，糧食產(chǎn)量“十九連豐”
- 世界動(dòng)態(tài):花房集團(tuán)不靠帶貨靠打賞？
- 一熬夜就沒精神？為什么有些人不能熬夜看球？
- 【全球速看料】蕉內(nèi)線上線下價(jià)格打架
- 全球微資訊！新冠陽性拒保？重疾險(xiǎn)花樣營銷
- 世界即時(shí)看！防窺膜真的傷眼嗎
- 全球訊息：“綠色貸”貸旺 鄉(xiāng)村生態(tài)大產(chǎn)業(yè)
- 【天天速看料】11月社融降溫，住戶貸款增長仍乏力
今日要聞
- 合作共贏 | 清能股份與濟(jì)平新能源簽署戰(zhàn)略合作協(xié)議
- 傳承匠心，2022年“龍華工匠”名單發(fā)布！
- 環(huán)球熱點(diǎn)！中國汽車系統(tǒng)公司為比亞迪推出新型電動(dòng)助力轉(zhuǎn)向系統(tǒng)
- 環(huán)球今日報(bào)丨特瑞仕與韓國SK集團(tuán)所屬Yes Powertechnix 締結(jié)合作基本協(xié)議
- 中國·寧波第九屆全球新材料行業(yè)大賽總決賽圓滿落幕
- 霽達(dá)云康?，你所期待的卒中數(shù)字居家康復(fù)時(shí)代已經(jīng)到來！
- 艾麗哲：你還在問女裝加盟前景好不好，他們早已賺的盆滿缽滿
- 全球快播：英特爾、Habana Labs與Hugging Face推動(dòng)Transformer業(yè)務(wù)在訓(xùn)練和推理優(yōu)化及擴(kuò)展取得關(guān)鍵進(jìn)展
- 【世界獨(dú)家】萬向百億資金大騰挪：旗下上市公司陷利益輸送漩渦
- A股開盤：深證區(qū)塊鏈50指數(shù)下跌0.11%