微軟改良HoloLens助視障童社交

By on January 30, 2020

原文刊於信報財經新聞「StartupBeat創科鬥室

微軟以全息眼鏡HoloLens,結合AI及AR等技術,協助視障人士社交。圖左的12歲男童正在試用。(微軟圖片)

微軟以全息眼鏡HoloLens,結合AI及AR等技術,協助視障人士社交。圖左的12歲男童正在試用。(微軟圖片)

日常交流除了對話,還包括眼神接觸、肢體語言等方式,但對視障人士來說,要理解非語言的表達途徑,卻是一大挑戰。微軟(Microsoft)一項研究計劃,就利用擴增實境(AR)技術,助視障人士「看到」交談對象,使日常對答更添輕鬆自然。

發聲提示對話者位置

該研究項目名為「東京計劃」,於2016年啟動,旨在利用人工智能(AI)和AR等技術,研發出一款適用於所有人,包括殘障人士在內的智能助理。微軟研究員Ed Cutrell指出,一般人能夠輕易掌握一些社交提示,如房間內有什麼人、對方在做什麼、與自己有何關係,以及是否適合結交等。

然而,對視障人士而言,尤其是兒童,他們難以獲得這些社交提示,亦不明白相關提示對交流的重要性,可能會表現出不愛社交的傾向。例如交談時把頭靠在桌子上或不面向對方。這些行為本身無問題,但影響視障人士跟普通人的日常溝通。

研究團隊改良微軟全息眼鏡HoloLens,首先移除原有鏡片,並開發電腦視覺演算法,為視障用戶提供社交提示。舉例說,當設備偵測到用戶左側1米外有人,便會在耳機發出點擊聲,聽起來像從該位置傳來;如設備能辨識對方臉部,就會發出碰撞聲並讀出對方名字。

設備可事前紀錄人臉,當用戶再次遇見對方時,設備會為用戶讀出對方名字。(微軟圖片)

設備可事前紀錄人臉,當用戶再次遇見對方時,設備會讀出對方名字。(微軟圖片)

若設備事前未有該人臉紀錄,則會發出拉伸的聲音,並隨着用戶把頭部朝向對方作調節,直至對方臉部對準設備鏡頭中心,即意味用戶面向對方時,就會發出點擊聲提示。

此外,設備鏡頭上方還裝有一個LED燈,着亮白光即是已偵測到離用戶最近的人,發綠光則表示已為用戶識別對方身份。該功能有助與用戶對話者知悉自己已被用戶「看見」,讓對話更自然。

該設備目前供一名12歲視障男童試用,未來將招攬更多兒童測試,並計劃進一步擴大測試者的年齡範圍。團隊表明將深入研究,包括採用非常規的機器學習方式,發展個性化的設備,讓用戶根據個人喜好調整系統,使設備適用於不同視障程度的人士。

支持 StartupBeat

如欲投稿、報料,發佈新聞稿或採訪通知,按這裡聯絡我們