“未來音樂會”上，作品《方圓》由演奏家演奏中阮，結(jié)合機器狗運動，融合AI和計算機音樂等技術(shù)。 　　

本報記者 林子涵攝

運用深度學(xué)習(xí)等方式分析人對音樂的情感反饋，通過人工智能（AI）實現(xiàn)作曲、編曲、歌唱……近日，第二屆世界音樂人工智能大會暨“未來音樂會”在北京舉行。活動由中央音樂學(xué)院和中國人工智能學(xué)會聯(lián)合主辦，來自音樂人工智能、音樂與腦科學(xué)、音樂治療等領(lǐng)域的專家及音樂產(chǎn)業(yè)相關(guān)企業(yè)代表共同參與，展示音樂與人工智能結(jié)合的前沿成果，探索藝術(shù)和科學(xué)交匯的未來趨勢。

奏響“未來音樂會”

“歡迎大家來到‘未來音樂會’，我是本次大會的機器人指揮Yu Feng。”聚光燈下，仿真機器人揮手致意，向觀眾做開場白。

本屆世界音樂人工智能大會以“未來音樂會”啟幕，邀請中國音樂家和人工智能團隊共同創(chuàng)作，在多部現(xiàn)代音樂作品中運用表情情感識別、3D聲場、機器聽覺、AI生成視覺等技術(shù)。

音樂會上，作品《連續(xù)體》借用物理學(xué)“時空連續(xù)體”的概念，將聲音參數(shù)通過洛倫茲方程進行計算和轉(zhuǎn)換，通過3D聲場進行呈現(xiàn)；《厄之二——司崗》使用佤族民間樂器“得”“口弦”“鈴”進行現(xiàn)場演奏，并用手勢控制器、軌跡跟蹤控制器等對聲音進行變形和重塑；《繁星散落的夜晚》運用基于AI的虛擬樂器，通過深度神經(jīng)網(wǎng)絡(luò)模型，檢測獲取古箏演奏家的手勢信息，實時控制音樂的不同聲部。

“藝術(shù)與科學(xué)的交融令人驚嘆。”馬里蘭大學(xué)電子與計算機工程系和系統(tǒng)研究所教授謝哈布·沙瑪對本報表示，音樂會與世界頂尖音樂會的演出效果不相上下，充分證明了中國學(xué)界在音樂人工智能方面取得的進展。

中國工程院院士、中國人工智能學(xué)會理事長戴瓊海表示，音樂與科技結(jié)合是音樂領(lǐng)域的創(chuàng)新趨勢，進行音樂與人工智能、腦科學(xué)的交叉研究有重要意義，將對音樂產(chǎn)業(yè)革新帶來深遠影響。

“人工智能高速發(fā)展，將為音樂提供全新發(fā)展空間。目前，人工智能已對傳統(tǒng)音樂二級學(xué)科產(chǎn)生影響，有望為作曲與作曲技術(shù)理論、音樂表演、音樂學(xué)、音樂教育、音樂科技、音樂管理等學(xué)科帶來革新。”中央音樂學(xué)院音樂人工智能與音樂信息科技系主任李小兵說。

“藝術(shù)與科學(xué)的結(jié)合”

一場音樂會背后，有學(xué)界的多年努力。在主旨報告環(huán)節(jié)，中外專家分享了音樂與人工智能及腦科學(xué)的研究進展。

“AI近年來開始在藝術(shù)創(chuàng)作領(lǐng)域嶄露頭角。透過深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)等技術(shù)，AI能學(xué)習(xí)和模仿藝術(shù)作品并生成全新創(chuàng)作。通用大模型技術(shù)更為機器創(chuàng)造力提供更多可能性。”香港科技大學(xué)首席副校長、英國皇家工程院院士郭毅可介紹，自2021年起，香港科技大學(xué)和香港浸會大學(xué)合作開發(fā)“人機共生藝術(shù)創(chuàng)造平臺”。目前，團隊在人聲合成、面部表情模擬、自動編舞、基于文字描述生成圖像視頻等方面已取得多項突破。

“大腦通過聽覺系統(tǒng)感知自然界多姿多彩的聲學(xué)環(huán)境和優(yōu)美動聽的音樂。音樂信號有特殊的時域和頻域特征，聽覺系統(tǒng)通過一系列復(fù)雜處理提取音樂中的信息及特征。大腦基于這些特征形成對音樂的感知，包括音樂情感和審美等高級認知，并進一步產(chǎn)生音樂的記憶。”清華大學(xué)腦與智能實驗室主任、教授王小勤說，過去20多年，全球關(guān)于大腦如何處理音樂的腦科學(xué)研究有較快發(fā)展。目前，他和團隊正圍繞大腦處理音樂的神經(jīng)機理進行研究。

論壇期間，圍繞藝術(shù)與科學(xué)的關(guān)系，專家進行多番探討。

“音樂蘊含人的感知與體驗，也會激發(fā)人的情感反饋。在探索音樂與人工智能結(jié)合的過程中，一個重要方向是使人工智能創(chuàng)作的樂曲能夠真正觸動人心，防止人工智能音樂‘有口無心’。”中央音樂學(xué)院院長俞峰對本報表示，2018年，中央音樂學(xué)院提出音樂和人工智能融合，創(chuàng)建音樂人工智能與音樂信息科技系，并于2019年成立音樂人工智能與音樂信息科技學(xué)科，與國內(nèi)外頂尖人工智能專家合作，共同探索面向未來的當(dāng)代音樂藝術(shù)。

北京通用人工智能研究院院長、北京大學(xué)智能學(xué)院院長朱松純提出，科學(xué)與藝術(shù)融合是理性與感性的碰撞，探討智能學(xué)科與人文藝術(shù)交融有望“為機器立心”。目前，他與團隊正在開發(fā)一種新的音樂結(jié)構(gòu)化建模理論，使人工智能算法和模型生成的音樂，與人類創(chuàng)作者的音樂審美與認知實現(xiàn)對齊，推動人工智能音樂更好應(yīng)用于音樂創(chuàng)作、視頻配樂等領(lǐng)域。

“音樂治療將發(fā)揮更大作用”

專家表示，音樂與科學(xué)的結(jié)合，發(fā)展前景廣闊。

歐洲科學(xué)院外籍院士、清華大學(xué)人工智能研究院常務(wù)副院長孫茂松表示，音樂人工智能近年來在音樂生成、歌詞創(chuàng)作、聲源分離、技法識別、音樂分析等領(lǐng)域已實現(xiàn)應(yīng)用。此外，人工智能在修復(fù)古琴譜、保護民族音樂數(shù)據(jù)等方面也取得創(chuàng)新應(yīng)用。隨著學(xué)界不斷在音樂、圖像、視頻、文本數(shù)據(jù)間的跨模態(tài)對齊等方面取得突破，音樂人工智能有望創(chuàng)造更多可能。

華為中央媒體技術(shù)院總裁李江表示，人工智能在旋律、節(jié)奏、和聲、曲式、復(fù)調(diào)、配器等方面已有較強能力，而在充分展現(xiàn)音樂風(fēng)格和表現(xiàn)力等方面還面臨挑戰(zhàn)。未來，做好數(shù)據(jù)處理和算力配合等工作，音樂人工智能技術(shù)發(fā)展有望突飛猛進。通過AI大模型搭建音樂“骨架”、更好提升音樂創(chuàng)作效率，輔以AI小模型進行精細化定制化調(diào)整、實現(xiàn)音樂的表現(xiàn)力，AI可以更好地擔(dān)當(dāng)音樂人的助手。

俞峰表示，研究音樂的治療功能，是音樂與人工智能交叉研究的突破點之一。音樂已被證實對人的情緒、睡眠存在影響，但作用機制、作用強度，目前仍是黑箱。下一步，通過腦科學(xué)和音樂人工智能的研究，音樂治療將發(fā)揮更大作用。

以色列耶路撒冷希伯來大學(xué)神經(jīng)生物學(xué)教授、埃德蒙和莉莉薩弗拉腦科學(xué)中心主任伊斯立·尼爾肯對本報表示，人類大腦支持音樂處理的神經(jīng)機制，可能在聲音處理方面有廣泛用途，預(yù)計這種機制也存在于動物界。“音樂與腦科學(xué)的學(xué)科交叉領(lǐng)域尚有許多懸而未決的問題，我們期待與中國高校研究者合作，破解更多有關(guān)聲音的奧秘，創(chuàng)造更多有價值的研究成果。”尼爾肯說。