Don't Miss

中大夥谷歌等 首推港日手語網遊

By on September 23, 2021

原文刊於信報財經新聞「StartupBeat創科鬥室

今天(23日)是國際手語日,香港中文大學夥拍谷歌(Google)、日本財團(Nippon Foundation)及關西學院大學,推出網絡遊戲《手語村》,讓玩家透過手語完成不同遊戲任務,冀提升公眾對手語的認知。

《手語村》遊戲設計覆蓋香港手語及日本手語,暫只提供網頁版本,玩家只需開啟電腦前置鏡頭便可加入。遊戲有3個場景,包括準備旅行物件、尋找住宿酒店,以及在餐廳點菜。

鄭家耀(左)指出,遊戲將加入更多場景及手語詞彙,讓港日以外地區用戶受惠;旁為施婉萍。(黃俊耀攝)

鄭家耀(左)指出,遊戲將加入更多場景及手語詞彙,讓港日以外地區用戶受惠;旁為施婉萍。(黃俊耀攝)

收錄4000組香港手語

以尋找住宿酒店為例,玩家進入酒店後,會見到「無煙房」和「吸煙房」的手語示範片段,玩家需要從「無煙房」或「吸煙房」選項二選一,並按片中示範,向着鏡頭做出正確手語動作。之後,系統會運用手語辨識技術識別玩家的動作及臉部表情。

負責項目的中大手語及聾人研究中心副主任施婉萍指出,中心於2007年起獲慈善團體及日本財團資助,開展亞太區手語語言學研究及培訓計劃,成功建立亞洲手語庫(Asian SignBank),收錄包括香港在內多個亞洲地區的手語資料,方便普羅大眾以至研究人員搜索,目前該手語庫已收錄逾4000組香港手語。

及至去年,中心在日本財團穿針引線下,夥拍谷歌及關西學院大學開展Project Shuwa計劃,利用谷歌的TensorFlow機器學習平台,開發可追蹤及分析用戶的肢體動作、臉部表情特徵和手部動作的人工智能(AI)系統,以建立手語詞典平台。用戶在日常生活見到自己不認識的手語,可透過鏡頭做手語檢索。長遠希望技術可整合至谷歌搜尋器及翻譯之中。

遊戲暫設3個場景,包括準備旅行物件、尋找住宿酒店【圖】,以及在餐廳點菜。

遊戲暫設3個場景,包括準備旅行物件、尋找住宿酒店【圖】,以及在餐廳點菜。(黃俊耀攝)

從表情區分微妙意思

「在手語世界,臉部表情以至嘴唇活動等,均含有重要語言訊息。」施婉萍舉例稱,「好」、「是」和「正確」的肢體和手部動作是一模一樣的,分別在於臉部表情一環,若只着重手部動作,容易造成誤判。而中心夥拍谷歌開發的系統,會把肢體動作、臉部表情特徵和手部動作分開識別,因而發現3個手語的臉部表情不同,從而準確把3種意思區別出來。

《手語村》是Project Shuwa首個重點項目,中大手語及聾人研究中心助理電腦主任鄭家耀表示,團隊定出《手語村》所需的香港及日本手語後,便向不同聽障人士收集相關手語的影片作為訓練數據。在開始階段,考慮到各人的手語打法會有出入,每個手語詞彙需要收集上百段影片,「不過現在只收集10段左右都足夠。」

遊戲今年5月在香港及日本推出測試版,用戶數目逾8500人。鄭家耀透露,未來會陸續為《手語村》加入更多場景(例如動物園)及手語詞彙,並支援港日以外更多不同地區的手語。

鄭家耀(左二)提到,團隊收集《手語村》訓練數據時,每個手語詞彙需收集上百段影片。(黃俊耀攝)

鄭家耀(左二)提到,團隊收集《手語村》訓練數據時,每個手語詞彙需收集上百段影片。(黃俊耀攝)

玩家看完手語示範片後,向着鏡頭做出正確手語動作。(黃俊耀攝)

玩家看完手語示範片後,向着鏡頭做出正確手語動作。(黃俊耀攝)

採訪、撰文:陳子健

支持 StartupBeat

如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們