[閒聊] AI採譜

看板C_Chat作者 (e-diot)時間5年前 (2021/02/23 01:16), 5年前編輯推噓6(6推 0噓 15→)
留言21則, 10人參與, 5年前最新討論串1/2 (看更多)
ACG點 某些小眾動漫粉 特別熱衷於把ACG曲改編成鋼琴譜 然後其實本來就有好幾個軟體能用 但效果都不是很好 但半年前出的這個新的 個人覺得算進展一大步吧 以下是一些DEMO 給AI聽三首原曲 輸出MIDI 原曲1 https://youtu.be/dJ0Xcu0vJNU
原曲2 https://youtu.be/pOAf4UoqFq0
原曲3 https://youtu.be/T_D_pp283nw
結果: AI聽了上面的音樂之後輸出的MIDI https://youtu.be/Uy65VfiXJ0M
注意到這個軟體還只能鋼琴轉MIDI而已 不能多樂器 也不能從MIDI轉成樂譜(雖然可以搭配其他工具做到) 這軟體其實是一家名為字節跳動的公司 裡面的員工發佈的論文 (字節跳動就是 抖音的公司) 之前最頂尖是google brain 2018出的一篇論文 而這篇超過google那篇 大概看了一下論文 google原本最小的frame size(最短時間單位)是32 ms 而這篇新的 用類似內插的方式去算按下琴鍵的時間點(onset) 可以說在按下琴鍵的解析度上遠比32 ms好 然後這篇還多預測踏板跟放開琴鍵的時間點(offset) onset跟offset的準度有多重要呢 舉個例子 王羽佳演奏的大黃蜂的飛行 Cziffra改編版 BPM=108 一拍要按8次 所以每秒要按14.4次 每次的時間69.4 ms google那篇解析度32 ms 明顯是不夠用的 實際差距可以聽聽看以下影片 https://youtu.be/OknF2KVJnRM
對於ACG採譜者的影響 大概是以後不用靠耳朵 可以用眼睛把別人彈奏的ACG曲直接寫下來 而對於做MIX的人來說 以前有一段想用的音樂 要不直接當一軌音軌 要不自己聽過寫下來 如果想做細節或是風格的編輯 就一定要寫下來 但現在能夠直接生成MIDI的話 就能省去寫下來的功夫 直接對生成的MIDI編輯就可以了 對於做音樂生成的人 比起對音訊檔去做分析 MIDI可以說是更加簡潔的表示式 所以說要training什麼的也會比較方便 這篇其中一個貢獻就是把古典鋼琴轉成MIDI的dataset 以前要有這種dataset非常麻煩 要請鋼琴家在能夠精確測量的鋼琴上演奏才能收集數據 參考資料 提供給有興趣的人 1.軟體載點 https://github.com/bytedance/GiantMIDI-Piano 2.簡易安裝教學 https://youtu.be/2gRfhL_TAvU
3.這篇論文 https://arxiv.org/abs/2010.01815 4.google論文 https://arxiv.org/abs/1710.11153 5.一些中文討論 https://www.bilibili.com/video/BV1e5411E7vA 6.關於這個議題的更多介紹 https://bit.ly/2NkUiM1 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.58.75 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1614014207.A.0A4.html
推
02/23 01:19, 5年前 , 1F
有沒有AI演奏 給AI跑譜讓它彈
02/23 01:19, 1F
→
02/23 01:21, 5年前 , 2F
跑譜根本不需要AI 隨便一個編曲軟體都能跑
02/23 01:21, 2F
推
02/23 01:23, 5年前 , 3F
這是抓/扒譜吧 對於保存一些歷史資料應該有用
02/23 01:23, 3F
→
02/23 01:24, 5年前 , 4F
哦哦哦
02/23 01:24, 4F
→
02/23 01:24, 5年前 , 5F
感恩
02/23 01:24, 5F
→
02/23 01:24, 5年前 , 6F
02/23 01:24, 6F
→
02/23 01:25, 5年前 , 7F
AI演奏
02/23 01:25, 7F
→
02/23 01:26, 5年前 , 8F
實際演奏的演繹方式本來就跟編曲軟體跑譜意思不同
02/23 01:26, 8F
→
02/23 01:31, 5年前 , 9F
什麼是跑譜?
02/23 01:31, 9F
→
02/23 01:33, 5年前 , 10F
就照著彈一次吧
02/23 01:33, 10F
→
02/23 01:34, 5年前 , 11F
*王羽佳
02/23 01:34, 11F
我打錯 謝謝提醒 ※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:35:52
→
02/23 01:37, 5年前 , 12F
懂跑譜的意思了 但這篇不是跑譜 是用機器把演奏手法記下來
02/23 01:37, 12F
→
02/23 01:38, 5年前 , 13F
包含每個音的彈奏時長 力度 還有踏板
02/23 01:38, 13F
→
02/23 01:39, 5年前 , 14F
我知道為什麼會有這樣的疑問了 等我把原本演奏的版本貼上
02/23 01:39, 14F
經板友提醒 補充說明 ※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:43:42
推
02/23 02:09, 5年前 , 15F
感覺很有潛力。同樣樂譜，大師級跟新手演奏手法就天差地
02/23 02:09, 15F
→
02/23 02:13, 5年前 , 16F
遠。現在似乎是著重在保存歷史資料?繼續發展,搞不好以後
02/23 02:13, 16F
→
02/23 02:14, 5年前 , 17F
只要有樂譜就能模擬某大師級不曾演奏過的曲目??
02/23 02:14, 17F
推
02/23 02:18, 5年前 , 18F
推 這個好酷 還有A叔的編曲和演奏超級讚
02/23 02:18, 18F
推
02/23 07:38, 5年前 , 19F
推個，滿喜歡鋼琴版的
02/23 07:38, 19F
推
02/23 18:49, 5年前 , 20F
字節跳動就抖音那間對吧
02/23 18:49, 20F
→
02/23 18:50, 5年前 , 21F
抱歉我沒注意你有寫xd
02/23 18:50, 21F
‣ 更多 siscon 的文章
文章代碼(AID): #1WC-R_2a (C_Chat)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最新先 | 最舊先 | 留言數
閒聊
6
21
[閒聊] AI採譜 AI採譜
siscon
5年前, 02/23
在新視窗開啟完整討論串 (共2篇)
‣ 更多 siscon 的文章
文章代碼(AID): #1WC-R_2a (C_Chat)