You are currently at: ejtech.hkej.com
Skip This Ads
Don't Miss

知專師生創虛擬偶像與人共舞 4套系統操控表情動作

By on July 5, 2021

原文刊於信報財經新聞「StartupBeat創科鬥室

李智健(右)稱,Yedda(熒幕中)擁有52個基本表情,組合起來有眾多變化;圖左起為鍾嘉淇及鄧百衡。 (黃俊耀攝)

李智健(右)稱,Yedda(熒幕中)擁有52個基本表情,組合起來有眾多變化;圖左起為鍾嘉淇及鄧百衡。(黃俊耀攝)

由香港知專設計學院(HKDI)數碼媒體學系師生有份創作的虛擬偶像(Virtual Idol)Yedda,上月在校內兩度獻技,與真人舞者譜出3分鐘雙人舞。負責操控的舞者,穿上一套內附17個感測器的特製緊身衣,結合表情捕捉、鏡頭追蹤等4套系統製作而成。從直播所見,Yedda與真人舞者互相走位,若不細心留意,可說難分真假。

Yedda造型參考日韓藝人

在幕前翩翩起舞的Yedda,是HKDI數碼媒體學系與時裝及形象設計學系師生共同創作的虛擬偶像,冀在疫境凝聚更多師生,帶來正能量。

參與製作的HKDI數碼媒體學系動畫及視覺特效高級文憑畢業生鍾嘉淇(Fay)及鄧百衡(Dennis)表示,「我們都希望這角色比較貼近年輕人,不停研究一些受他們愛戴的藝人,例如南韓知名女藝人IU(李知恩),希望融合有關元素及特質去創作。」

近年興起的虛擬偶像和團體,亦成為研究對象,包括日本虛擬女模特兒imma、電腦遊戲《英雄聯盟》推出的虛擬女子組合K/DA等。

Yedda(左)與真人舞者在作品展中大跳雙人舞。 (YouTube截圖)

Yedda(左)與真人舞者在作品展中大跳雙人舞。(YouTube截圖)

特製緊身衣藏17感測器

負責控制Yedda的舞者,事前須穿上一套特製黑色緊身衣,內藏17個感測器,配備續航力達9.5小時的電池;結合身體動態捕捉系統Xsens,其無線接收範圍,可涵蓋室內50米至室外150米。

演出時,學生須同時控制另外3套硬件系統,調節虛擬偶像的動作與神情,包括操控實時鏡頭追蹤系統Ncam、表情捕捉系統Faceware、手部動作系統Manus等。舞者亦須佩戴頭帶和手套,以捕捉其頭部及手部動作。

指導導師之一、HKDI數碼媒體學系講師李智健稱,鑑於製作虛擬偶像技術的難度相當高,加上今次表演的舞蹈動作設計較複雜,故夥拍一家多媒體互動設計公司,協助進行有關表演,也有助學生更了解行內準則及要求。

去年9月起,該學系已構思虛擬偶像項目,到今年6月,虛擬角色Yedda正式登場,兩度與真人舞者跳雙人舞,包括出席職業訓練局(VTC)機構成員之一的HKDI,聯同香港專業教育學院(IVE)李惠利院校上月舉行的年度設計展「Emerging Design Talents 2021」,以及HKDI原創作品展Motion in Music 2021

鍾嘉淇強調每次演出前,都要綵排及多次校準;只要其中一部分出錯,就等於全部出錯。 (黃俊耀攝)

鍾嘉淇強調每次演出前,都要綵排及多次校準;只要其中一部分出錯,就等於全部出錯。(黃俊耀攝)

在這短短9個月內,除了由零創作虛擬偶像,同時要兼顧公演內容。於早期測試階段,均由隊長鄧百衡穿上這件特製衣物及扮演偶像。作為男生的他沒半點馬虎,自言參考不少偶像表演,盡力做好每個表情與舞步。

要操控虛擬偶像,肢體動作固然重要,神情亦不可忽視。李智健指出,Yedda擁有52個基本表情,組合起來有眾多變化。不過,鑑於不同舞者的臉型、身形、高度等不一,故每次演出前,均須進行校準(Calibration)。鍾嘉淇補充,控制Yedda時要同時操控4套系統,絕不容易;團隊骨幹成員只有6人,每次演出前均要綵排及多次校準,確保表演萬無一失,「手部和身體動作、臉部表情、鏡頭等,只要其中一處出錯,就等於全部出錯,這亦是每次直播表演緊張刺激的原因。」

大專界自創虛擬偶像,結合真人同場表演,可謂一大突破。李智健稱,鑑於Yedda演出獲不少好評,他打趣道,可能有不少機構對Yedda感興趣,盼未來有更多演出機會。

採訪、撰文:蔡璿驩

在早期測試階段,鄧百衡直言,參考不少偶像表演,盡力做好每個表情與舞步。 (黃俊耀攝)

在早期測試階段,鄧百衡直言參考不少偶像表演,盡力做好每個表情與舞步。(黃俊耀攝)

延伸閱讀:

延展實境代綠幕電影後製更省時

支持EJ Tech

如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們