溝通再無困難!Googl研發「手語辨識」演算法 用AI即時翻譯手語 - 匯流新聞網

DIGITAL

溝通再無困難!Googl研發「手語辨識」演算法 用AI即時翻譯手語
溝通再無困難!Googl研發「手語辨識」演算法 用AI即時翻譯手語

匯流新聞網記者王佐銘/綜合報導

現在全世界已經有數百萬人用手語來進行交談,手語儼然成為重要的語言表達方式之一;但截至目前為止,可以捕捉手複雜手勢,同時能即時翻譯成口語的相關技術,在研發上仍有限;對此,Google AI研發的一款即時手部追蹤新技術,有望幫助手語及口語族群相互溝通。

過去,如果想讓手語即時翻譯成口語,大部分都得在桌機環境中進行,主要是因為使用手語時,手勢可能會遮到自己的手指、手掌或是手會因為一些原因而抖動;再加上手語的手部動作其實很細微,而且打手語的速度其實並不慢,即使採用多個攝影鏡頭拍攝,但這些辨識對機器視覺來說,還是屬於高強度挑戰,也因此很難在手機或行動裝置中進行追蹤、辨識、分析後進行即時翻譯。

為了突破這個困境,Google AI實驗室便反其道而行,在一定程度上減少了數量,藉此減低機器視覺辨識的周轉時間。他們先放棄讓系統檢測整體手部位置、大小,單純讓系統去捕捉「手掌」,主要是因為手掌大小通常是固定的,而且是方形,能避免系統要處理矩形或其他特殊圖像所帶來的辨識困擾。當識別手掌後,延伸出去的手指就能被個別分析,依照設定的21個座標,進而分析出指關節、指間跟手掌的距離,甚至能根據手掌大小、角度等,來推測出目前手勢的形狀。

為了完成這樣的手指識別,Google AI實驗室必須先用人工方式,一個個將不同手勢、不同照明情況下的3萬張手部圖像都加上這21個座標點,以利後續機器學習。畢竟,所有人工智慧的起點,還是得靠人類自己打下基礎。之後,藉由機器學習,手語動作就能跟已知的手勢相互比對,從字母語數字的手語符號對應到所指語言,而這種方法能讓手語辨識直接在一般手機上運作,而無須非得在桌機環境或雲端環境下進行。

不過,雖然Google AI實驗室的手語辨識技術已經往前跨了一大步,但手語成熟、複雜,是個擁有豐富資訊的系統,加上手語也並非單一隻手的手勢,同時得運用雙手、臉部表情語其他線索來進行溝通,未來若想真正完成手語即時翻譯,恐怕還得搭配強大硬體,才有可能達到目標。

參考來源:TechCrunch、BBC News
照片來源:googleblog

《更多匯流新聞網CNEWS報導》

居家美甲超簡單!開箱Homei光療機 輕鬆兩步驟變漂亮

女孩專屬夏日居家輕食補 來看人氣夯店「填一點」分享獨家食譜

CNEWS匯流新聞網:https://cnews.com.tw

【文章轉載請註明出處】


R18