LIGHTWEIGHT CNN DENGAN EKSTRAKSI FITUR DWT DAN EMBEDDING YAMNET UNTUK KLASIFIKASI INSTRUMENT MUSIK

ERLANGGA, DWI PUTRA (2026) LIGHTWEIGHT CNN DENGAN EKSTRAKSI FITUR DWT DAN EMBEDDING YAMNET UNTUK KLASIFIKASI INSTRUMENT MUSIK. S1 thesis, Universitas Mercu Buana Jakarta.

Preview	Text (HAL COVER) 01 Cover.pdf Download (428kB) | Preview
	Text (BAB I) 02 BAB 1.pdf Restricted to Registered users only Download (96kB)
	Text (BAB II) 03 BAB 2.pdf Restricted to Registered users only Download (123kB)
	Text (BAB III) 04 BAB 3.pdf Restricted to Registered users only Download (140kB)
	Text (BAB IV) 05 BAB 4.pdf Restricted to Registered users only Download (4MB)
	Text (BAB V) 06 BAB 5.pdf Restricted to Registered users only Download (29kB)
	Text (DAFTAR PUSTAKA) 07 Dafpus.pdf Restricted to Registered users only Download (86kB)
	Text (LAMPIRAN) 08 Lampiran.pdf Restricted to Registered users only Download (117kB)

Abstract

Musical instrument classification in polyphonic audio recordings presents a significant challenge in the field of Music Information Retrieval (MIR), largely due to overlapping spectral characteristics across instruments. Existing deep learningbased approaches generally produce strong semantic representations, yet they tend to lack sensitivity to fine-grained local transient details present in audio signals. Accordingly, this study proposes a dual-stream hybrid feature extraction framework that integrates high-level semantic embeddings from the pre-trained YAMNet model with multi-resolution features obtained through the Discrete Wavelet Transform (DWT) using the Daubechies 1 wavelet. Representations from both streams are fused and processed through a Lightweight CNN architecture that utilizes SeparableConv2D layers for improved computational efficiency. Experiments were conducted using the IRMAS dataset, which was divided through stratified sampling with a ratio of 85% for training and validation and 15% for testing. The training process employed the Adam optimizer with an adaptive learning rate adjustment mechanism, along with early stopping based on validation accuracy to mitigate overfitting. Evaluation results on the test set demonstrate that the proposed model achieves an accuracy of 77.44% with a macro F1-score of 0.765 across 11 instrument classes. Per-class analysis reveals that the integration of DWT features provides a tangible contribution to the recognition of percussive instruments such as piano and acoustic guitar, whereas the most prominent classification challenges occur among instruments within the same acoustic family, particularly between violin and cello, which share a similar excitation mechanism. Overall, it can be concluded that the model developed in this study is able to accurately recognize most musical instruments, with the highest success rate obtained for human vocals, while the remaining challenges are mainly found in similar instruments such as the clarinet and saxophone. Keywords: Musical Instrument Classification, YAMNet, Discrete Wavelet Transform, Hybrid Feature Extraction, Lightweight CNN. Klasifikasi instrumen musik dalam rekaman audio polifonik pada dasarnya merupakan tantangan yang cukup signifikan dalam bidang Music Information Retrieval (MIR), khususnya karena adanya tumpang tindih karakteristik spektral antar instrumen. Pendekatan berbasis deep learning yang telah ada umumnya menghasilkan representasi semantik yang cukup kuat, namun cenderung kurang mampu menangkap detail transien lokal yang halus dari sinyal audio secara menyeluruh. Oleh karena itu, penelitian ini mengusulkan sebuah kerangka dualstream hybrid feature extraction yang menggabungkan embedding semantik tingkat tinggi dari model pra-latih YAMNet dengan fitur multi-resolusi yang diperoleh melalui Discrete Wavelet Transform (DWT) menggunakan wavelet Daubechies 1. Representasi dari kedua jalur tersebut selanjutnya diintegrasikan dan diproses melalui arsitektur Lightweight CNN yang memanfaatkan lapisan SeparableConv2D demi efisiensi komputasi. Eksperimen dilakukan dengan menggunakan dataset IRMAS yang dibagi secara stratifikasi dengan rasio 85% untuk pelatihan dan validasi serta 15% untuk pengujian. Proses pelatihan pada penelitian ini menggunakan optimizer Adam dengan mekanisme penyesuaian learning rate yang bersifat adaptif, serta penerapan penghentian dini berbasis akurasi validasi guna menghindari overfitting. Hasil evaluasi pada data uji menunjukkan bahwa model yang dikembangkan mampu mencapai akurasi sebesar 77,44% dengan macro F1-score sebesar 0,765 pada 11 kelas instrumen. Analisis lebih lanjut per kelas mengungkapkan bahwa integrasi fitur DWT memberikan kontribusi yang cukup nyata dalam pengenalan instrumen perkusif seperti piano dan gitar akustik, sementara itu tantangan klasifikasi yang paling menonjol tetap terjadi pada instrumen dalam keluarga akustik yang sama, khususnya antara biola dan cello yang memiliki mekanisme eksitasi serupa. Secara umum, dapat disimpulkan bahwa model yang dikembangkan dalam penelitian ini mampu mengenali sebagian besar instrumen musik dengan tepat, dengan tingkat keberhasilan tertinggi diperoleh pada suara vokal manusia, sedangkan tantangan yang masih tersisa terutama ditemukan pada instrumen sejenis seperti clarinet dan saxophone. Kata Kunci: Klasifikasi Instrumen Musik, YAMNet, Discrete Wavelet Transform, Hybrid Feature Extraction, Lightweight CNN.

Item Type:	Thesis (S1)
NIM/NIDN Creators:	41822010012
Uncontrolled Keywords:	Klasifikasi Instrumen Musik, YAMNet, Discrete Wavelet Transform, Hybrid Feature Extraction, Lightweight CNN.
Subjects:	100 Philosophy and Psychology/Filsafat dan Psikologi > 150 Psychology/Psikologi > 153 Conscious Mental Process and Intelligence/Intelegensia, Kecerdasan Proses Intelektual dan Mental > 153.1 Memory and Learning/Memori dan Pembelajaran > 153.15 Learning/Pembelajaran 700 Arts/Seni, Seni Rupa, Kesenian > 780 Music/Seni Musik > 781 General Principles of Music and Musical Form/Prinsip-prinsip Umum Musik dan Bentuk-bentuk Musikal > 781.4 Techniques of Music/Teknik Musik
Divisions:	Fakultas Ilmu Komputer > Sistem Informasi
Depositing User:	khalimah
Date Deposited:	29 Aug 2026 03:53
Last Modified:	29 Aug 2026 03:53
URI:	http://repository.mercubuana.ac.id/id/eprint/103504

Actions (login required)

View Item