Dettato 是 KobiMusic 开源的音乐转录模型,可以在自己的电脑(CPU、GPU)上运行。你只需输入一段音频 ,它就能生成一个 MIDI 文件,每个乐器对应一个音轨,外加一个鼓组音轨。@Appinn
将 MP3/WAV 转换为 MIDI
![[图]](/i/9121ca198b01.jpg)
MP3 和 WAV 里存的是录下来的声音。MIDI 更像一份演奏指令,记着哪个音在什么时候响、响多久、弹多重。
电脑读到这些指令,再用你选的乐器音源把它演奏出来。
上图中,上半部分是音频文件的波形图,也是普通音频编辑软件中看到的。下半部分是 MIDI 钢琴卷帘。方块越高,音越高。方块从哪里开始、拉多长,对应音符什么时候响、响多久。 蓝色是旋律,紫色是低音。
比如你想学弹开头那几秒,就在钢琴卷帘上看音高和顺序,放慢播放,跟着原曲核对。觉得 其中一个音太高,把对应的方块往下拖就行。往左拖可以让它早点响,拉长右边缘可以让它 多响一会儿。
Dettato 工作原理
如何使用?
安装比较简单,一行就行了,可以交给 AI 处理。
运行也是:
pip install git+https://github.com/kobimusic/dettato
dettato song.mp3 -o out/
第一次运行会从 Hugging Face 下载模型。转换后,out 文件夹里会有 song.mid 和记录轨道、音符数量等信息的 song.json。遇到读不了的 MP3,可以装 FFmpeg 再试。
四种模型
模型文件的尺寸都不大,几十MB 级别:
模型参数它的作用
1kobimusic/dettato15.3M音频注释:88个调的起始、结束和音 高,每个调有两个声部