環(huán)球熱頭條丨一秒切換唐朝端午現(xiàn)場！這首《端午很忙》太上頭
2023-06-23 13:27:56
《深度學(xué)習(xí)調(diào)優(yōu)指南.系統(tǒng)性優(yōu)化模型》中文版 熱消息
2023-06-23 13:27:56 來源: 程序員客棧
向AI轉(zhuǎn)型的程序員都關(guān)注了這個號
(資料圖片僅供參考)
PDF獲取地址:
關(guān)注微信公眾號 datayx 然后回復(fù)指南 即可獲取。
提高模型性能的科學(xué)方法機(jī)器學(xué)習(xí)開發(fā)的最終目標(biāo)是最大化模型的效用。盡管不同應(yīng)用場景的開發(fā)流程有所不同（例如時間長度、可用計(jì)算資源、模型類型等），基本步驟和原則都是相似的。
接下來的指南中我們做出了這些假設(shè)：
已有能運(yùn)行且得到不錯結(jié)果的訓(xùn)練工作流。
有足夠的計(jì)算資源來進(jìn)行調(diào)參實(shí)驗(yàn)，至少能夠并行發(fā)起數(shù)個訓(xùn)練流程。
增量調(diào)整策略總結(jié)：從簡單的配置開始，循序漸進(jìn)，同時進(jìn)一步了解問題。確保任何改進(jìn)都有據(jù)可循，以避免增加不必要的復(fù)雜度。
我們的最終目標(biāo)是找到一種訓(xùn)練配置來最大化我們模型的性能。
在某些情況下，我們的目標(biāo)是在固定截止日期（例如提交給競賽）之前最大限度地改進(jìn)模型。
在其他情況下，我們希望無限期地改進(jìn)模型（例如，不斷改進(jìn)生產(chǎn)中使用的模型）。
原則上，我們可以使用算法自動搜索整個配置空間來最大化性能，但實(shí)踐中這往往不實(shí)際。
配置空間可能非常大，目前還沒有任何算法可以在沒有人工指導(dǎo)的情況下有效地搜索這個空間。
大多數(shù)自動搜索算法依賴于人工設(shè)計(jì)的搜索空間，這些搜索空間往往非常重要。
更有效的方法是從簡單的配置開始，逐步添加功能并進(jìn)行改進(jìn)，同時深化對問題的理解。
我們在每一輪調(diào)整中都使用自動搜索算法，并隨著我們理解的深度不斷更新我們的搜索空間。
隨著我們的探索，我們自然會找到越來越好的配置，因此我們的“最佳”模型將不斷改進(jìn)。
當(dāng)我們更新我們的最佳配置時，我們稱之為上線（這不一定對應(yīng)線上模型的實(shí)際上線）。
對于每次上線，我們必須確保更改是有據(jù)可循的——而不僅僅是碰運(yùn)氣找到的配置——以避免給訓(xùn)練工作流增加不必要的復(fù)雜性。
綜上所述，我們的增量調(diào)優(yōu)策略需要重復(fù)以下四個步驟：
為下一輪實(shí)驗(yàn)確定適當(dāng)?shù)哪繕?biāo)。
設(shè)計(jì)并展開實(shí)驗(yàn)，朝著這個目標(biāo)取得進(jìn)展。
從實(shí)驗(yàn)結(jié)果中獲取經(jīng)驗(yàn)。
考慮是否上線新的最佳配置。
本節(jié)的其余部分將更詳細(xì)地講解增量調(diào)優(yōu)策略。
探索與利用總結(jié)：大多數(shù)時候，我們的目標(biāo)是更深入地理解問題。
盡管有些人認(rèn)為我們會花大部分時間來提升驗(yàn)證集的指標(biāo)，實(shí)際上我們把重心放在進(jìn)一步理解問題上，而不是降低驗(yàn)證集錯誤率。
也就是說，我們大部分時間都花在了“探索”上，只有一小部分時間花在了“利用”上。
從長遠(yuǎn)來看，如果我們想最大化我們的最終效果，深入理解問題是至關(guān)重要的。將深化理解置于短期收益之上可以幫助我們：
避免僅因歷史原因而表現(xiàn)良好的不必要更改。
確定驗(yàn)證集效果對哪些超參數(shù)最敏感，哪些超參數(shù)交互最多，因此需要一起重新調(diào)整，以及哪些超參數(shù)對其他變化相對不敏感，因此可以在未來的實(shí)驗(yàn)中固定住。
發(fā)現(xiàn)潛在的新方向，例如在出現(xiàn)過擬合問題時使用新的正則化器。
確定無效的方向并將其刪除，從而降低后續(xù)實(shí)驗(yàn)的復(fù)雜度。
判斷超參數(shù)的優(yōu)化空間是否已經(jīng)飽和。
圍繞最佳值縮小我們的搜索空間，以提高調(diào)整效率。
最終，我們可以集中提升驗(yàn)證集效果，即便我們無法從新的實(shí)驗(yàn)中進(jìn)一步了解問題的結(jié)構(gòu)了。
選擇下一輪實(shí)驗(yàn)的目標(biāo)總結(jié)：每輪實(shí)驗(yàn)都應(yīng)該有一個明確的目標(biāo)，并且范圍要足夠小，這樣實(shí)驗(yàn)才能真正朝著目標(biāo)取得進(jìn)展。
每輪實(shí)驗(yàn)都應(yīng)該有一個明確的目標(biāo)，并且范圍要足夠小，這樣實(shí)驗(yàn)才能真正朝著目標(biāo)取得進(jìn)展：如果我們試圖一次添加多個特征或回答多個問題，我們可能無法理清各自的影響。
舉個例子，目標(biāo)可以包括：
嘗試對訓(xùn)練流程進(jìn)行改進(jìn)（例如，新的正則化器、預(yù)處理方法等）。
了解特定模型超參數(shù)（例如激活函數(shù)）的影響
最大化驗(yàn)證集指標(biāo)。
設(shè)計(jì)下一輪實(shí)驗(yàn)總結(jié)：根據(jù)實(shí)驗(yàn)?zāi)繕?biāo)，將超參數(shù)分為三類：目標(biāo)超參數(shù)、冗余超參數(shù)和固定超參數(shù)。創(chuàng)建一系列研究以比較目標(biāo)超參數(shù)的不同值，同時優(yōu)化冗余超參數(shù)。注意選擇冗余超參數(shù)的搜索空間，以平衡資源成本與科學(xué)價值。
識別目標(biāo)超參數(shù)、冗余超參數(shù)和固定超參數(shù)對于給定的目標(biāo)，所有超參數(shù)都將是目標(biāo)超參數(shù)、冗余超參數(shù)或固定超參數(shù)。
因?yàn)閷?shí)驗(yàn)固定了某些超參數(shù)，從實(shí)驗(yàn)得出的結(jié)論可能對固定超參數(shù)的其他值無效。換句話說，固定的超參數(shù)對我們的實(shí)驗(yàn)結(jié)論做了限定。
目標(biāo)超參數(shù)是指，我們希望測量出其對于模型由何種影響的參數(shù)。
冗余超參數(shù)是指，必須優(yōu)化才能公平比較不同目標(biāo)超參數(shù)值的參數(shù)。類似于統(tǒng)計(jì)中的冗余參數(shù)。
固定超參數(shù)是指，在當(dāng)前輪次實(shí)驗(yàn)中取固定值的參數(shù)。在比較目標(biāo)超參數(shù)的不同值時，固定超參數(shù)的值不需要（或者我們不希望它們）改變。
舉個例子，如果我們的目標(biāo)是“確定更深的模型是否會減少驗(yàn)證集錯誤”，那么模型層數(shù)就是目標(biāo)超參數(shù)。
學(xué)習(xí)率是一個冗余超參數(shù)，如果我們要公平對比不同深度的模型，我們必須分別調(diào)整學(xué)習(xí)率（通常情況下最優(yōu)學(xué)習(xí)率和模型結(jié)構(gòu)有關(guān)）。
激活函數(shù)是一個固定超參數(shù)。我們可能通過過去的實(shí)驗(yàn)發(fā)現(xiàn)最優(yōu)激活函數(shù)和模型深度無關(guān)。或者我們接受實(shí)驗(yàn)得到的最優(yōu)深度的僅在某個激活函數(shù)上有效。或者我們也可以將激活函數(shù)作為一個冗余超參數(shù)和深度一起調(diào)優(yōu)。
一個超參數(shù)是目標(biāo)超參數(shù)、冗余超參數(shù)還是固定超參數(shù)是根據(jù)實(shí)驗(yàn)?zāi)繕?biāo)來決定的。
比如，激活函數(shù)的選擇可以是一個目標(biāo)超參數(shù)（對于當(dāng)前問題，ReLU 或 tanh 是更好的選擇嗎？），一個冗余超參數(shù)（允許使用不同的激活函數(shù)，最好的 5 層模型是否優(yōu)于最好的 6 層模型？），或一個固定超參數(shù)（對于一個由 ReLU 構(gòu)成的網(wǎng)絡(luò)，在特定位置添加批標(biāo)準(zhǔn)化是否有幫助？）。
在設(shè)計(jì)新一輪實(shí)驗(yàn)時，我們根據(jù)實(shí)驗(yàn)?zāi)康拇_定目標(biāo)超參數(shù)。
在此階段，我們將所有其他超參數(shù)視為冗余超參數(shù)。
接下來，我們將一些冗余超參數(shù)轉(zhuǎn)作為固定超參數(shù)。
一個冗余超參數(shù)和目標(biāo)超參數(shù)的相互影響越多，固定這個參數(shù)所帶來的限制就越多。例如，權(quán)重衰減強(qiáng)度的最佳值通常取決于模型大小，因此固定權(quán)重衰減的強(qiáng)度來比較不同的模型大小，往往得不出有效的結(jié)論。
如下文所述，我們可以通過增加計(jì)算資源來應(yīng)對這種風(fēng)險，但通常我們的最大資源預(yù)算低于調(diào)整所有非目標(biāo)超參數(shù)所需的計(jì)算資源。
如果有無限的計(jì)算資源，我們會將所有非目標(biāo)超參數(shù)保留為冗余超參數(shù)，這樣我們從實(shí)驗(yàn)中得出的結(jié)論就不會受到固定超參數(shù)的限定。
然而，冗余超參數(shù)越多，我們沒能充分針對每個目標(biāo)超參數(shù)調(diào)優(yōu)冗余超參數(shù)的風(fēng)險就越高，從而我們從實(shí)驗(yàn)中得出錯誤結(jié)論的風(fēng)險也越高。
當(dāng)我們判斷將一個冗余超參數(shù)轉(zhuǎn)換為固定超參數(shù)所帶來的限制少于調(diào)優(yōu)它所需的計(jì)算資源時，我們可以進(jìn)行這種轉(zhuǎn)換。
盡管超參數(shù)的類型取決于實(shí)驗(yàn)?zāi)繕?biāo)，但對于某些類別的超參數(shù)，我們有以下經(jīng)驗(yàn)法則：
例如，網(wǎng)絡(luò)層數(shù)通常是一個目標(biāo)或固定的超參數(shù)，因?yàn)樗鶗τ?xùn)練速度和內(nèi)存使用產(chǎn)生巨大影響。
例如，dropout 增加了代碼的復(fù)雜性，因此在決定是否包含它時，我們會將“no dropout”與“dropout”作為一個目標(biāo)超參數(shù)，而將 dropout 率作為一個冗余超參數(shù)。
如果我們決定根據(jù)這個實(shí)驗(yàn)將 dropout 添加到我們的訓(xùn)練流程中，那么在未來的實(shí)驗(yàn)中，dropout 率將是一個冗余超參數(shù)。
如果我們的實(shí)驗(yàn)?zāi)繕?biāo)涉及在兩個或多個不同的優(yōu)化器之間進(jìn)行公平比較（例如“確定哪個優(yōu)化器在給定的步數(shù)中產(chǎn)生最低的驗(yàn)證錯誤”），那么它就是一個目標(biāo)超參數(shù)。
或者，我們可能出于各種原因?qū)⑵湓O(shè)為固定超參數(shù)，包括（1）先前的實(shí)驗(yàn)表明最好的優(yōu)化器和當(dāng)前的目標(biāo)超參數(shù)無關(guān)；（2）當(dāng)前優(yōu)化器的訓(xùn)練曲線更容易理解 (3) 當(dāng)前優(yōu)化器比其他優(yōu)化器使用更少的內(nèi)存。
它們很少是目標(biāo)超參數(shù)，因?yàn)橄瘛坝?xùn)練流程的最佳學(xué)習(xí)率是多少？”這樣的目標(biāo)沒有什么意義——最優(yōu)學(xué)習(xí)率很容易隨著下一次訓(xùn)練流程的改變而改變。
盡管當(dāng)資源有限或有強(qiáng)力的證據(jù)表明它們不影響目標(biāo)超參數(shù)時，我們可能固定其中一些參數(shù)，但通常應(yīng)該假設(shè)優(yōu)化器超參數(shù)必須單獨(dú)調(diào)整，以在不同設(shè)置之間進(jìn)行公平比較目標(biāo)超參數(shù)。
此外，我們沒有優(yōu)化器超參數(shù)值的先驗(yàn)傾向（例如，它們通常不會以任何方式影響前向傳遞或梯度的計(jì)算成本）。
在各種優(yōu)化器超參數(shù)（例如學(xué)習(xí)率、動量、學(xué)習(xí)率調(diào)度參數(shù)、Adam優(yōu)化器的beta等）中，至少有一些是冗余超參數(shù)，因?yàn)樗鼈兺c其他變化相互影響。
相比之下，優(yōu)化器的選擇通常是一個目標(biāo)超參數(shù)或固定超參數(shù)。
正則化技術(shù)引入的超參數(shù)通常是冗余超參數(shù)，但是否使用正則化技術(shù)往往是目標(biāo)或固定超參數(shù)。
模型結(jié)構(gòu)超參數(shù)通常是目標(biāo)或固定超參數(shù)，因?yàn)槟Ｐ徒Y(jié)構(gòu)變化會影響服務(wù)和訓(xùn)練成本、延遲和內(nèi)存需求。
在某些情況下，一個超參數(shù)是冗余還是固定超參數(shù)將取決于目標(biāo)超參數(shù)的值。
例如，假設(shè)我們想知道 Nesterov momentum 和 Adam 中哪個優(yōu)化器的驗(yàn)證錯誤率更低。目標(biāo)超參數(shù)是optimizer，它的值是{"Nesterov_momentum", "Adam"}。值optimizer="Nesterov_momentum"引入了冗余/固定超參數(shù){learning_rate, momentum}，但值optimizer="Adam"引入了冗余/固定超參數(shù){learning_rate, beta1, beta2, epsilon}。
僅針對目標(biāo)超參數(shù)的某些值存在的超參數(shù)稱為條件超參數(shù)。
我們不應(yīng)該僅僅因?yàn)閮蓚€條件超參數(shù)具有相同的名稱就認(rèn)為它們是相同的！在上面的示例中，learning_rate對于optimizer="Nesterov_momentum"與optimizer="Adam"是不同的條件超參數(shù). 它在兩種算法中的作用相似（盡管不完全相同），但在每個優(yōu)化器中運(yùn)行良好的值范圍通常相差幾個數(shù)量級。
機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)
搜索公眾號添加：datanlp
長按圖片，識別二維碼
閱讀過本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測
《基于深度學(xué)習(xí)的自然語言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
《深度學(xué)習(xí)：基于Keras的Python實(shí)踐》PDF和代碼
特征提取與圖像處理(第二版).pdf
python就業(yè)班學(xué)習(xí)視頻，從入門到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語言處理》英、中文版PDF+源碼
《21個項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開源《動手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識別Top1-5方案分享
重要開源！CNN-RNN-CTC 實(shí)現(xiàn)手寫漢字識別
yolo3 檢測出圖像中的不規(guī)則漢字
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過不了？
前海征信大數(shù)據(jù)算法：風(fēng)險概率預(yù)測
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個項(xiàng)目，讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí)，實(shí)現(xiàn)醫(yī)學(xué)圖像識別分類工程項(xiàng)目
特征工程(一)
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
特征工程(三):特征縮放,從詞袋到 TF-IDF
特征工程(四): 類別特征
特征工程(五): PCA 降維
特征工程(六): 非線性特征提取和模型堆疊
特征工程(七)：圖像特征提取和深度學(xué)習(xí)
如何利用全新的決策樹集成級聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
螞蟻金服2018秋招-算法工程師（共四面）通過
全球AI挑戰(zhàn)-場景分類的比賽源碼(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
搜索公眾號添加：datayx
關(guān)鍵詞：
您可能也感興趣:
今日熱點(diǎn)
為您推薦
烏茲的壓制力Uzi盧錫安下路十五分鐘狂壓50刀_環(huán)球快播報
2023-06-23 13:27:56
當(dāng)前觀點(diǎn)：很多人都誤解了“愛自己”
2023-06-23 13:27:56
債市行情速遞丨國債期貨各主力合約微漲 天天觀點(diǎn)
2023-06-23 13:27:56
更多
- 項(xiàng)目為王丨臨潁：鉚足干勁 跑出項(xiàng)目建設(shè)“加速度”|全球?qū)崟r
- EPCO一站式供用電服務(wù)商，長期發(fā)展向好 世界視訊
- “深圳故事”主題推介活動舉行 舞劇《詠春》再赴首都
- 今日最新！城市副中心首條消防主題公交線路運(yùn)營
- 大成？大不成？聊聊OPPO Find X6，它可能比Pro更適合你！
- 投壺射五毒……江蘇省各中小學(xué)打造“沉浸式”傳統(tǒng)文化課堂
- 證監(jiān)會：將扎實(shí)推進(jìn)債券注冊制改革走深走實(shí)，加快完善公司（...
- 蘇常柴A：已直接、間接投入新能源電池鋰電隔膜行業(yè)2.51億元 ...
排行
- 《深度學(xué)習(xí)調(diào)優(yōu)指南.系統(tǒng)性優(yōu)化模型》中文版 熱消息
- 開課23天！宿遷經(jīng)貿(mào)高職線上教學(xué)4692節(jié)
- 北京積分落戶申報審核工作結(jié)束，6045人擬獲得落戶資格
- 筑牢校園安全防線——宿遷市鐘吾初中開展師生防災(zāi)減災(zāi)演練
- 泗洪縣人民路小學(xué)開展法治宣傳教育周系列活動
- 掌握這三個飛機(jī)購票小技巧，為外出旅行省下大費(fèi)用！
- 北京建成438座生活垃圾分類驛站，完成率達(dá)73％
- 湖北將開展綠色社區(qū)創(chuàng)建，讓居民生活環(huán)境更“綠”
- 從江蘇電大到江蘇開大！宿遷開放大學(xué)怎么轉(zhuǎn)型發(fā)展？
- 東營市全面落實(shí)全省社保經(jīng)辦社銀直連工作方案
最近更新
- 《深度學(xué)習(xí)調(diào)優(yōu)指南.系統(tǒng)性優(yōu)化模型》中文版 熱消息
- 用于小斷面隧道開挖的施工平臺可伸縮式機(jī)動臺車_關(guān)于用于小斷...
- 聽聲辨生熟 每天拍瓜上萬個 拍瓜師火了 西瓜種植行業(yè)現(xiàn)狀趨勢
- 新手海竿線組組裝圖解 雙釣（新手海竿線組組裝圖解）
- 世界速遞！唯和惟的區(qū)別是什么意思（唯和惟的區(qū)別是什么）
- 張少杰哎上課_張少杰 微速訊
- 數(shù)字魔方游戲java_數(shù)字魔方 今熱點(diǎn)
- 端午節(jié)假期 河南高速全時段全路段禁止危險貨物運(yùn)輸車輛通行-...
- 快報：女子因瑣事將農(nóng)藥倒入父親的止咳糖漿瓶內(nèi) 涉故意殺人...
- 項(xiàng)目為王丨臨潁：鉚足干勁 跑出項(xiàng)目建設(shè)“加速度”|全球?qū)崟r
- 梅耶馬斯克中國行！背后大贏家竟是這家中國手機(jī)品牌
- iOS 17.0 beta 2 即將上線，準(zhǔn)備好了嗎？_全球看熱訊
- 液化氣高壓鍋燉牛肉要多久? 當(dāng)前頭條
- 豬肉的熱量是多少?
- 世界速讀：首日超10萬人次網(wǎng)友“扇動中國風(fēng)” 助力傳統(tǒng)文化...
- 【報資訊】公司丟失勞動合同的案例分析
- 一切都是馬腚問題：為啥軍隊(duì)沒有普遍裝備60發(fā)彈匣 環(huán)球快看
- 【全球快播報】【新聞早餐】威力很猛！紹興人挺住，今天來了
- 案例：210萬存款不翼而飛，銀行卻說與我無關(guān)
- 硅谷銀行的外國儲戶慘了：存款被“清零”，貸款卻必須還！
- 村民阻攔拖拉機(jī)通過自家屋前水泥路，爭執(zhí)中手卷入輪中受傷，...
- ?國家新聞出版署：6月共89款國產(chǎn)網(wǎng)絡(luò)游戲獲批 當(dāng)前播報
- 現(xiàn)代汽車CEO：考慮加入特斯拉超級充電站網(wǎng)絡(luò) 正研究客戶需求
- 基爍股份擬向銀行申請3000萬授信 實(shí)際控制人王勇、陶莎莎提供擔(dān)保
- 文明之火長燃不熄
- 包含9個項(xiàng)目表，4張項(xiàng)目地圖及5份年度報告！亞化咨詢半導(dǎo)體數(shù)...
- 第一季度，哈薩克斯坦居民餐桌發(fā)生了哪些變化？
- 手機(jī)網(wǎng)貸有哪些好下款？這10個用戶評價很高-天天快報
- 安逸花逾期三年的后果是什么？會從別的銀行卡強(qiáng)制劃扣嗎？
- 世界速訊：STAYREAL線下店再現(xiàn)西單，五月天阿信重回北京掘金
今日要聞
- 大降價！這些藥品，平均降價近50%！ 焦點(diǎn)快播
- 基爍股份擬向銀行申請3000萬授信 實(shí)際控制人王勇、陶莎莎提供擔(dān)保
- 快訊！2023江西高考錄取分?jǐn)?shù)線出爐
- 天天時訊：蔚來為何自研電驅(qū)堅(jiān)持雙電機(jī)四驅(qū)？全網(wǎng)首拆ET5T電驅(qū)動總成「三人談」
- 非技術(shù)線損監(jiān)測治理技術(shù)通過技術(shù)鑒定 快播
- 端午在海口品別樣民俗 賞濃情“粽”意
- 項(xiàng)目為王丨臨潁：鉚足干勁 跑出項(xiàng)目建設(shè)“加速度”|全球?qū)崟r
- “深海一號”二期工程油氣管道鋪設(shè)完工
- 快播：端午節(jié)北京市屬公園迎客31.34萬人次
- 天天精選！公倍數(shù)是什么意思（gbs是什么意思）