分紅險(xiǎn)投訴多發(fā) 直指夸大收益、退保面臨損失巨大等問題
2022-03-21 05:57:42
機(jī)器學(xué)習(xí)：亟須糾正的4大類“偏差”
2022-03-21 05:57:42 來源: OFweek人工智能網(wǎng)
偏見是指?jìng)€(gè)人對(duì)他人或其他群體所持有的缺乏充分事實(shí)依據(jù)的認(rèn)識(shí)和態(tài)度，而機(jī)器學(xué)習(xí)中的偏差則是由缺乏足夠的特征和用于訓(xùn)練模型的相關(guān)數(shù)據(jù)集不全面引起的。機(jī)器學(xué)習(xí)算法在訓(xùn)練中嚴(yán)格按照其數(shù)學(xué)構(gòu)造和數(shù)據(jù)執(zhí)行任務(wù)，準(zhǔn)確完成人類所輸入的內(nèi)容，因此，機(jī)器學(xué)習(xí)模型的偏差通常是由設(shè)計(jì)和收集相關(guān)數(shù)據(jù)的人的“偏見”造成的。
數(shù)據(jù)科學(xué)家在構(gòu)建算法并對(duì)機(jī)器學(xué)習(xí)進(jìn)行訓(xùn)練時(shí)，源自其本身某種程度的偏見會(huì)不可避免地蔓延到AI模型中，比較幸運(yùn)的是，機(jī)器學(xué)習(xí)的偏差能夠被檢測(cè)和規(guī)避。不過，相關(guān)的研究人員仍需保持警惕。本文總結(jié)了需要了解和防范的4種不同類型的機(jī)器學(xué)習(xí)偏差以供參考。
1. 樣本偏差
樣本偏差是訓(xùn)練數(shù)據(jù)的問題。當(dāng)用于訓(xùn)練模型的數(shù)據(jù)不能準(zhǔn)確地表現(xiàn)模型將運(yùn)行的環(huán)境時(shí)，就會(huì)產(chǎn)生樣本偏差。沒有任何一種算法可以與整個(gè)宇宙環(huán)境的數(shù)據(jù)交互，并在這個(gè)宇宙環(huán)境中被訓(xùn)練，所以，選擇一個(gè)足夠大且具備代表性的宇宙子集來減輕樣本的偏差成為一門科學(xué)。盡管這門科學(xué)容易理解，但并非所有的數(shù)據(jù)科學(xué)家都接受過抽樣技術(shù)的訓(xùn)練。
舉一個(gè)自動(dòng)駕駛汽車的例子。當(dāng)訓(xùn)練一個(gè)在白天和夜晚都能使汽車自動(dòng)駕駛的算法時(shí)，如果只選取了白天的數(shù)據(jù)進(jìn)行訓(xùn)練，這就等于在模型中引入了樣本偏差，用白天和夜晚的數(shù)據(jù)訓(xùn)練算法才可以消除樣本偏差的來源。
2. 偏見偏差
偏見偏差是由受文化和刻板印象影響的數(shù)據(jù)所引發(fā)的結(jié)果?？梢韵胂笠幌?，假設(shè)有一個(gè)計(jì)算機(jī)視覺算法正在接受訓(xùn)練來理解工作中的人們，而該算法暴露于數(shù)以千計(jì)的訓(xùn)練數(shù)據(jù)圖，其中許多圖像顯示的是正在寫代碼的男性和在廚房干活的女性，那么，該算法很可能會(huì)將編碼員等同于男性，將家務(wù)員等同于女性。這就是偏見偏差，因?yàn)楹茱@然女性也能夠?qū)懘a，而男人也可以做飯。
這里的問題是，被選取的訓(xùn)練數(shù)據(jù)有意識(shí)地或無意識(shí)地反映了社會(huì)的刻板印象。要避免這樣的情況出現(xiàn)，可以忽略性別和職業(yè)之間的統(tǒng)計(jì)關(guān)系，并使算法接觸均衡分布的示例。這顯然需要對(duì)刻板印象和偏見足夠敏感，而這則取決于人類對(duì)模型設(shè)定的表達(dá)行為的預(yù)期，僅靠數(shù)學(xué)無法克服這類偏差。負(fù)責(zé)標(biāo)記和注釋訓(xùn)練數(shù)據(jù)的工作人員必須接受相關(guān)的訓(xùn)練，以避免他們將自己對(duì)社會(huì)的偏見或刻板印象引入到訓(xùn)練數(shù)據(jù)中。
3. 計(jì)量偏差
如果用于觀察或測(cè)量的設(shè)備存在問題，這會(huì)使系統(tǒng)價(jià)值失真，這種偏差趨向于使數(shù)據(jù)朝某個(gè)特定的方向偏離。例如，用帶有彩色濾光片的相機(jī)拍攝的每幅訓(xùn)練數(shù)據(jù)圖像都會(huì)出現(xiàn)顏色完全失真的情況，如此，用于訓(xùn)練算法的圖像數(shù)據(jù)實(shí)際上也沒有系統(tǒng)地表現(xiàn)出算法將運(yùn)行的環(huán)境。
這種偏差無法通過簡(jiǎn)單地?cái)U(kuò)大數(shù)據(jù)收集來避免，有效的途徑是，選取多個(gè)測(cè)量裝置并讓接受過訓(xùn)練的人員來比較這些裝置的輸出內(nèi)容。
4. 算法偏差
最后一種類型的偏差與數(shù)據(jù)無關(guān)，屬于算法的數(shù)學(xué)性質(zhì)。一方面，具備高方差的模型可以很容易擬合到訓(xùn)練數(shù)據(jù)中并能接納復(fù)雜性，然而，這種模型對(duì)雜訊(又稱噪音noise)十分敏感;另一方面，具備高偏差的模型則更加剛硬，對(duì)數(shù)據(jù)和噪聲的變化不那么敏感，但容易丟失復(fù)雜性。因此，數(shù)據(jù)科學(xué)家需要在這兩個(gè)屬性之間達(dá)到適當(dāng)?shù)钠胶狻?/p>
數(shù)據(jù)科學(xué)家能通過了解這四種類型的AI偏差構(gòu)建出更好模型和選取更好的訓(xùn)練數(shù)據(jù)。AI算法是由人類構(gòu)建的，訓(xùn)練數(shù)據(jù)也是由人類收集、篩選、標(biāo)記和注釋的，因此，數(shù)據(jù)科學(xué)家需要敏銳地識(shí)別出這些偏差，并使用一種貫徹和迭代的方式來不斷測(cè)試模型，并吸納訓(xùn)練有素的研究員協(xié)助，最終規(guī)避這些機(jī)器學(xué)習(xí)的偏差。
關(guān)鍵詞： 機(jī)器學(xué)習(xí)
您可能也感興趣:
今日熱點(diǎn)
為您推薦
廈門開展銀行保險(xiǎn)業(yè)消保教育宣傳周活動(dòng) 促進(jìn)行業(yè)數(shù)字化創(chuàng)新
2022-03-21 05:57:42
友邦保險(xiǎn)去年業(yè)績(jī)亮眼 新業(yè)務(wù)價(jià)值上升18%至33.66億美元
2022-03-21 05:57:42
陜西省將加大財(cái)政投入力度 推動(dòng)農(nóng)業(yè)保險(xiǎn)持續(xù)“擴(kuò)面”
2022-03-21 05:57:42
更多
- Quanergy LiDAR解決方案加速普及物料運(yùn)送市場(chǎng)的自動(dòng)化
- Ola宣布前LG化學(xué)動(dòng)力CEO加入董事會(huì)
- 奧升德和三星SDI達(dá)成專利失效訴訟和解
- TUV萊茵助白犀牛完成中國(guó)首個(gè)低速無人車ISO 22737場(chǎng)景評(píng)估測(cè)試
- Jya將Sensirion納入新推出的先進(jìn)空氣凈化器
- 如何最大限度減小電源設(shè)計(jì)中輸出電容的數(shù)量和尺寸
- e絡(luò)盟與Raspberry Pi Ltd共慶合作十周年，尋找服役最久的Raspberry Pi項(xiàng)目
- SiTime 徹底改變面向邊緣網(wǎng)絡(luò)的高精度時(shí)序市場(chǎng)
排行
最近更新
- 機(jī)器學(xué)習(xí)：亟須糾正的4大類“偏差”
- 債王格羅斯：美聯(lián)儲(chǔ)激進(jìn)加息恐將瓦解美國(guó)經(jīng)濟(jì)
- 新城控股管理層買債
- 債務(wù)困境下千億房企沉浮錄之二十：“表里不一”的榮盛發(fā)展
- 薩爾瓦多的比特幣債券發(fā)行被推遲
- 服務(wù)湖南本土企業(yè) 大成中資企業(yè)境外融資閉門研討會(huì)在長(zhǎng)沙召開
- 特步發(fā)布首款元宇宙數(shù)字藏品
- 河蟹海蟹一起吃可以嗎
- 河蟹海蟹哪個(gè)死了不能吃
- 陰虛陽虛會(huì)同時(shí)存在嗎
- 金匱腎氣丸補(bǔ)陰陽兩虛嗎
- 金匱腎氣丸對(duì)腎陽虛陰虛都有效嗎
- 今日春分｜順應(yīng)時(shí)節(jié)，養(yǎng)生注意“4不做、吃4菜、2相伴”
- 晝夜平均、陰陽平衡，春分時(shí)節(jié)宜平衡
- 醫(yī)美亂象讓“醫(yī)”蒙羞讓“美”蒙塵
- 聊城市眼科醫(yī)院（聊城市第五人民醫(yī)院）白內(nèi)障科主任許曉：帶...
- 11歲男童胸部隆起？中山七院專家：盡早干預(yù)治療可恢復(fù)正常
- 重慶火鍋
- 關(guān)注兒童安全，守護(hù)孩子們的健康成長(zhǎng)
- 5名輔警榮獲三等獎(jiǎng)勵(lì)及獎(jiǎng)金！
- 一墩難求，記得謹(jǐn)慎剁手
- 埇橋：春分農(nóng)活忙 發(fā)展馬蹄疾
- 債王格羅斯：美聯(lián)儲(chǔ)激進(jìn)加息恐將瓦解美國(guó)經(jīng)濟(jì)
- 同行在關(guān)店收縮，撈王為何仍赴港上市
- 威馬汽車再度上調(diào)售價(jià) 上調(diào)幅度超7000元
- 2月份外匯市場(chǎng)運(yùn)行平穩(wěn)，實(shí)體經(jīng)濟(jì)相關(guān)跨境資金延續(xù)凈流入
- 冬瓜加荷葉有什么功效
- 石榴螃蟹一起吃會(huì)怎么樣
- 石榴螃蟹能一塊兒吃嗎
今日要聞
- 機(jī)器學(xué)習(xí)：亟須糾正的4大類“偏差”
- 服務(wù)湖南本土企業(yè) 大成中資企業(yè)境外融資閉門研討會(huì)在長(zhǎng)沙召開
- 特步發(fā)布首款元宇宙數(shù)字藏品
- 債王格羅斯：美聯(lián)儲(chǔ)激進(jìn)加息恐將瓦解美國(guó)經(jīng)濟(jì)
- 薩爾瓦多的比特幣債券發(fā)行被推遲
- 新城控股管理層買債
- 債務(wù)困境下千億房企沉浮錄之二十：“表里不一”的榮盛發(fā)展
- 2月份外匯市場(chǎng)運(yùn)行平穩(wěn)，實(shí)體經(jīng)濟(jì)相關(guān)跨境資金延續(xù)凈流入
- 威馬汽車再度上調(diào)售價(jià) 上調(diào)幅度超7000元
- 同行在關(guān)店收縮，撈王為何仍赴港上市