陜西省將加大財政投入力度 推動農業保險持續“擴面”
2022-03-10 17:25:36
手語識別和翻譯
2022-03-10 17:25:36 來源: 電子產品世界
摘要：為了使聾啞人與更多不懂手語的人自然地交流，本作品將手語翻譯成文字和語音，利用Microsoft Kinect記錄手語手勢的三維坐標，通過機器學習和優化算法，在IntelAtom平臺上實現了手語翻譯。
簡介
手語是聾啞人士的主要溝通工具，它是利用手部和身體的動作來傳達意義。雖然手語幫助它的使用者之間互相溝通，但聾啞人士與一般人的溝通卻十分困難，這個溝通障礙是源于大部分人不懂得手語。
另一方面，聾啞小朋友由于很難表達自己，以及中國的聾啞教師數量有限，導致他們的學習出現困難，得不到和普通小朋友同等的學習機會。
為了解決這個問題，我們設計實現了一個從手語動作翻譯成文字和聲音的翻譯器，令學習手語更有趣、更方便、更容易，以達到這個項目縮少聾啞人士與其他人的溝通障礙的目的。
工作原理和算法
特征提取 深度圖像的分辨率是640x480，意味著每秒鐘的數據有17.6MB，存儲如此大量的數據是不可能的。同時許多沒有用處的數據(例如背景)都包含在原始數據中。因此我們必須從原始數據中提取出有用的信息。骨架是一種可以用來表示手語的有用信息。
我們利用Kinect和OpenNI提取用戶的骨架節點得到XYZ三點的坐標。我們一共提取了6個骨架節點，左手、左手肘、左肩、右手、右手肘、右肩。對于每一幀，我們從這些節點中計算出14個特征向量來表示這一幀的手語動作。經過標準化計算，我們用121幀來表示一個手語詞語，因此每一個詞語有1694個特征。
原始數據標準化 我們通過均勻分配和插值使原始數據標準化。通過二次插值法，利用最相近的三個原始數據計算出標準化的數據，使得每一個手語動作都統一用121幀來表示。
支持向量機 SVM(支持向量機)是統計學和計算機科學中的概念，簡而言之，給定一組已經分好類別的數據，而且分類依據是未知的，支持向量機訓練算法可以通過計算構建一個模型 ，一組新的數據到來時可以預測出新的數據屬于哪一個類別。
SVM的模型將所有數據映像到一個高維空間里，并計算出不同類別數據之間的最大化幾何邊緣區，然后把新的數據映射到同一個空間，根據之前計算出的最大化幾何邊緣區來預測新的數據屬于哪一個類別。
平臺限制與解決方法
平臺限制 使用Kinect的建議系統需求是CPU有雙核2.66 GHz或以上，內存有2GB或以上，但Intel提供的平臺只有分別1GHz CPU和1G 內存，明顯與系統需求有差異。
即使我們使用Linux操作系統，處理器使用率依舊滿載，并且幀率只有大約2到4左右，遠少于正常的30幀。在這種條件下，再加上處理器資源已被提取資源的線程占據，所以不可能在處理器里進行資料分析的工作。
瓶頸 為了找出瓶頸，我們首先關閉了圖像用戶接口。雖然處理器使用率降至85%，但幀率跟之前的一樣。我們觀察得到其中一個OpenNI控制的線程依然是占領了整個線程。只是由于所提供的平臺是雙線程的關系，使用率分別被定在50%及35%。
為您推薦
隔離險受不少年輕人推崇 不僅看理賠條款還要看免責條款
2022-03-10 17:25:36
北京發布社保對賬單公告 4月起可查詢電子版個人繳費信息
2022-03-10 17:25:36
廣東啟動車險市場專項整治行動 保護消費者合法權益
2022-03-10 17:25:36
排行
最近更新
- 手語識別和翻譯
- RC電路原理
- MAX232引腳圖功能應用電路
- 寄存器和移位寄存器
- 1分鐘看懂什么是IGZO屏幕
- 專家提醒：戴耳機最好每次不超過30分鐘！你家孩子做到了嗎？
- 巧克力、冰激凌…加上它就變"貴氣"？最新通知：非食品原料
- 在農村賣近50萬元假貨，他們被判3年內購買148萬元惠農產品
- 借下微信號，就發588元大紅包！你敢信？
- 黔江公安持續強化安全監管，查處一起非法運輸煙花爆竹案
- 區人大代表攜手志愿者走進社區開展植樹活動
- 合景泰富前2月預售金額同比減少24.7% 單月同比減少3.9%
- 平安銀行：已對持有中天金融風險資產近90%計提 大部分已核銷
- 第一、新高、領先、首位！伊利股份前2月經營數據有點出色
- 酒鬼酒：預計前兩個月凈利潤增長130%左右
- 保護腎臟，我們應當做到這七點
- 顱內出血CT影像輔助分診軟件獲批上市
- 泰勒公鏈跨鏈技術對區塊鏈發展的重大意義
- 勤哲excel服務器在物流企業信息化技術上的實際應用
- 美不止一面，津梁生活守護女性的每一面美麗
- 藿香正氣水可以治腸炎嗎
- 疫苗抗體一般多久產生
- 成都都市圈極核功能凸顯 去年GDP占全省比重達46.4%
- 濟南：到2025年基本形成現代都市農業發展新格局
- 江西寧都推進數字化、智能化改造 推進童裝產業集群發展
- 中歐班列（西安）年內開行突破600列 進出境貨物品類不斷增長
- AIRLOOK與蘇州高新區重磅簽約！共同打造“長三角數字城市運營...
- 山西再生水回供清徐經濟開發區項目預計月底建成 日供水規模6萬噸
- 山西省星火項目創業大賽啟動報名 按照“1+3”賽事模式開展
- 公安機關嚴厲打擊偷拍偷窺黑色產業鏈條