`

版主

升官發財
2017-09-12 11:57:45

音樂系攜手機電系 中山大學首創音樂作畫

音樂系攜手機電系 中山大學首創音樂作畫-中山大學

       音樂家在舞台彈奏,竟然能同時做畫?!國立中山大學音樂系機械機電工程系合作,讓電腦偵測音樂家演奏時樂器所產生的音頻、音高、音量與時間,利用數學演算法來辨識驅動電腦畫面,隨著音樂家演奏時的樂曲,能即時同步出現對應的動畫,中山大學跨域研究團隊今現場示範,隨著鋼琴及提琴演奏樂音,背後的投影螢幕畫面竟逐漸長出一棵樹。團隊表示,這項跨領域研究未來可望應用在互動遊戲、醫療復健與藝術治療,前瞻性十足。

          這項音樂作畫跨領域計畫的發想者、中山大學音樂系教授應廣儀指出,一開始是略帶私心的認為音樂本身有其獨立性,不像配樂要跟影像走,所以希望能創作出有敘述性及獨立的音樂,透過音樂來觸發與音樂創作有關的畫面,「希望音樂可以主動一點,更自在表達自己的情感,並非一直都是配角的位置!」她也說,有時現代無調性音樂會讓聽者卻步,「音樂有了畫面更有情感,可幫聽眾了解作曲家音樂上想表達的。」

       協助將音樂觸發成畫面的中山大學機械與機電工程系教授程啟正則說,從音樂抓元素驅動畫面,在技術上可行,但困難點在於如何辨識出正確的聲音來觸發圖片,原想單純使用單音,但發現不夠精準會出錯,後決定在曲中置入16個觸發點,需依靠一或五個音的符合,加上用數學的快速轉換,依據聲音音高、音頻、音量與時間等條件都滿足才會觸動。

       今發表會演奏應廣儀作曲的無調性作品《成長》,由應廣儀彈奏鋼琴、侯柔安拉奏大提琴家,多媒體暨打擊樂手林孟萱依據應廣儀的敘述所創作的21幅畫作,在程啟正團隊協助下以人工及電腦輔助擴充為206幅畫,隨著鋼琴與大提琴的演奏詮釋,分秒不差的在舞台上呈現出原野、綠草、繁花點點的圖像,宛如用音樂代替畫筆構圖,在不同的橋段有著不同的情感與與視覺效果。

       應廣儀說,這項跨領域的合作成果日後可應用在遊戲互動、學習程式開發,「像是彈錯音,畫面中的樹就長不出來」,也可用在音樂治療,讓彈奏者彈奏音樂感受到畫面存在,也可化解復健枯燥無聊,透過復健過程啟動新的畫面趣味,增加復健動力。

音樂系攜手機電系 中山大學首創音樂作畫-中山大學

音樂系攜手機電系 中山大學首創音樂作畫-中山大學

 

 

 

資料來源:蘋果日報

大學生SHOW才藝

相關推薦

  • 讀取中..

回覆數(0)

會員登入 (先登入會員才能回覆留言喔!)