Redaksi akdah.ac.id – Automatic Music Transcription (AMT) merupakan teknologi yang mengubah rekaman audio menjadi notasi simbolis, biasanya dalam format MIDI. Meski transkripsi alat musik tunggal sudah cukup baik, tantangan terbesar masih tetap ada dalam transkripsi campuran multi-instrumen. Untuk mengatasi tantangan ini, tim peneliti Kyutai dan Mirelo telah merilis MuScriptor, sebuah model terbuka yang dilatih dengan rekaman multi-instrumen nyata dari berbagai genre musik.
Apa itu MuScriptor?
MuScriptor adalah sebuah model berbasis Transformer yang berfokus pada transkripsi musik. Model ini bekerja dengan cara membaca mel-spectrogram dari segmen audio singkat dan kemudian memprediksi token mirip MIDI yang mewakili pitch, timing, dan instrumen secara autoregresif. Dengan demikian, transkripsi musik dapat dipandang sebagai tugas pemodelan bahasa, mengikuti skema tokenisasi MT3.
Model ini dirilis dengan tiga varian berat yang berbeda: kecil (103M), sedang (307M, default), dan besar (1.4B). Kode inferensi dari MuScriptor menggunakan lisensi MIT, sementara bobot modelnya berada di bawah lisensi CC BY-NC 4.0, yang membatasi penggunaan komersial.
Bagaimana Proses Tiga Tahap Pelatihan Bekerja?
Pendekatan utama MuScriptor adalah pada data, bukan arsitektur. Proses pelatihan dilakukan dalam tiga tahap, di mana setiap tahap membangun atas hasil tahap sebelumnya.
-
Pre-training: Menggunakan dataset D
, yang terdiri dari sekitar 1,45 juta file MIDI. Selama pelatihan, pipeline ini mensintesis data secara real-time dengan variasi seperti perubahan pitch, tempo, dan acak instrumen. Lebih dari 250 soundfont yang berbeda digunakan untuk menghasilkan realisasi audio yang hampir tidak terbatas. -
Fine-tuning: Menggunakan dataset D
, yang merupakan kumpulan internal dari 170.000 rekaman. Ini menghasilkan lebih dari 11.000 jam rekaman dengan anotasi catatan yang sejalan. Proses pencocokan antara audio dan anotasi menggunakan interpolasi dan dynamic time warping, dan pasangan yang kurang baik disaring berdasarkan jarak warping dan faktor dilasi waktu maksimum. -
Reinforcement learning: Setelah pelatihan, dataset D
dengan 300 trek yang diverifikasi secara manual digunakan. Tim menerapkan metode GRPO yang menggabungkan REINFORCE dengan normalisasi keuntungan sehubungan dengan kelompok. Proses ini meningkatkan fokus model pada transkripsi yang lebih bersih.
Kinerja dan Evaluasi
Dalam evaluasi, tim peneliti menggunakan dataset D
Sebagai contoh, pengujian lintas-dataset menunjukkan bahwa frame F1 pada Dagstuhl ChoirSet meningkat dari 51.0 menjadi 80.7. Meskipun demikian, akurasi onset dan offset masih tertinggal pada gaya musik yang lebih sulit, seperti choral.
Cara Memulai dengan MuScriptor
Instalasi MuScriptor sangat sederhana dan dapat dilakukan dengan satu perintah. Bagian berikutnya akan memandu pengguna untuk menyiapkan transkripsi dan streaming event not secara langsung. Model MuScriptor dapat diunduh dengan perintah pip, dan dapat digunakan untuk mentranskripsikan file audio menjadi format MIDI.
Contoh kode untuk menjalankan MuScriptor:
python
pip install muscriptor
from pathlib import Path
from muscriptor import TranscriptionModel
Men-download varian default “medium”
model = TranscriptionModel.load_model()
Streaming event not
for event in model.transcribe(“audio.wav”, instruments=[“acoustic_piano”, “drums”]):
print(event) # NoteStartEvent / NoteEndEvent / ProgressEvent
Kesimpulan
MuScriptor menawarkan solusi inovatif untuk tantangan dalam transkripsi musik multi-instrumen dengan pendekatan pelatihan berbasis data yang terstruktur. Kinerjanya menunjukkan potensi yang signifikan di berbagai genre musik, meskipun masih ada ruang untuk peningkatan, terutama dalam hal akurasi untuk gaya yang lebih rumit. Dengan dukungan lisensi terbuka dan API streaming yang tersedia, MuScriptor dapat memperluas jangkauan pengguna, mulai dari produsen musik hingga pendidik dan peneliti musik.
