Don't Miss

AI看無聲影片憑指法還原琴音

By on February 9, 2021

原文刊於信報財經新聞「StartupBeat創科鬥室

Audeo分析演奏者的按鍵力度及時長,計算琴音的輕重及長短,再把數據變成一張「樂譜」。(YouTube影片擷圖)

Audeo分析演奏者的按鍵力度及時長,計算琴音的輕重及長短,再把數據變成一張「樂譜」。(Freepik網上圖片)

著名德國作曲家、鋼琴演奏家貝多芬28歲開始聽覺衰退,即使無法聆聽樂章,到完全失聰後仍以心作曲。美國華盛頓大學有研究團隊以人工智能(AI)挑戰無聲辨曲,設計出一款AI系統Audeo,觀察無聲影片彈琴者的手部動作,便可還原鋼琴的演奏聲音,還原度高達86%。

華盛頓大學網站介紹,分析無聲短片時,Audeo通過觀察演奏者的手部動作,記錄所按琴鍵及按鍵次序。同時,系統會分析演奏者的按鍵力度及時長,藉此計算每個琴音的輕重及長短。其後,系統會把這些數據,轉換成一張「樂譜」,適用於現有的音樂合成軟件,如Fluidsynth、PerfNet等演奏出來。

分析Paul Barton短片 成功率86%

研究團隊為訓練Audeo的AI系統,他們首先從YouTube短片的分享網站,分析鋼琴家Paul Barton的演奏短片,包括有關巴赫、莫扎特等名家作品,涉及的畫面幀數(frames)達17.2萬。其後,又以Barton其他演奏音樂短片來測試系統,畫面幀數接近1.9萬。

團隊將研究拓展至其他鋼琴家以至音樂家的可能性。(Freepik網上圖片)

團隊將研究拓展至其他鋼琴家以至音樂家的可能性。(Freepik網上圖片)

從團隊釋出的試驗片段可見,採用Audeo分析並經合成的鋼琴曲,聽起來與原曲非常相似。團隊曾以SoundHound等音樂識別軟件,識別由Audeo轉換的鋼琴曲,發現識別成功率高達86%,僅比以原曲識別的成功率稍低7個百分點;隨着技術發展,兩者差距有望收窄。

目前,Audeo僅以Paul Barton的鋼琴短片進行訓練,團隊將研究拓展至其他鋼琴家以至音樂家的可能性。團隊又希望能增加音樂互動的新方向,例如以Audeo輔助鋼琴教學;或將之應用至虛擬鋼琴,只需以鏡頭拍攝人手動作,即可隔空彈奏音樂。

技術將來有望應用於虛擬鋼琴,只需以鏡頭拍攝人手動作,即可隔空彈奏音樂。(Freepik網上圖片)

技術將來有望應用於虛擬鋼琴,只需以鏡頭拍攝人手動作,即可隔空彈奏音樂。(Freepik網上圖片)

支持 StartupBeat

如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們