Thread by @pacmannai

Rekomendasi musik pakai machine learning? Here’s how.
.
.
.
A thread

Haloo semua, malam ini, mimin akan bahas gimana caranya platform streaming musik digital zaman now bisa nyariin lagu baru yang tepat sama selera kamu. Siapa nih yang ngerasa terbantu sama fitur recommendation?

Umumnya, ada dua pendekatan yang biasa digunakan recommender system di dunia digital music distribution untuk merekomendasikan lagu ke usernya.

Pendekatan pertama dan yang udah banyak digunakan itu adalah collaborative filtering approach. Apaan tuh min?

Ide dari pendekatan collaborative filtering adalah gimana kalau kita nebak selera user dengan data mengenai lagu-lagu apa aja sih yang dia biasa dengerin.

Atau dengan kata lain, collaborative filtering approach itu memanfaatkan historical data usage user.

Misalnya nih, kita punya user Ujang dan Anderssen, okay? Sekarang, kita mau coba rekomendasi lagu yang kira-kira cocok buat selera masing-masing Ujang dan Anderssen.

Collaborative filtering itu bekerja dengan prinsip, “Kalo ada dua user yang secara keseluruhan itu dengerin set lagu yang mirip-mirip, artinya selera musik mereka kemungkinan juga mirip.”

Nah, informasi ini yang kita ‘eksploitasi’ untuk rekomendasi lagu ke Ujang dan Anderssen.

Apa yang akan kita lakukan? Yess, kita rekomendasiin aja Ujang dengan lagu yang belum pernah Ujang denger, tapi Anderssen udah dan suka.

Sebaliknya, lagu-lagu yang Ujang suka dan biasa dengerin, akan kita coba ‘tawarkan’ ke Anderssen. Kebayang?

Okay, nah kalo temen-temen perhatiin, di collaborative filtering ini kita nggak peduli sama apa jenis produknya. Informasi yang penting cuma gimana ‘consumption pattern’ dari produk tersebut. Dengan kata lain, pendekatan ini ‘content-agnostic’.

Di satu sisi, ini bisa jadi keunggulan utama collaborative filtering. Kenapa? Karena artinya, pendekatan ini aplikasinya bisa di mana-mana! Model yang sama itu bisa di fitting buat rekomendasi apapun itu produknya, bisa buku, film, majalah, bahkan game.

Di sisi lain, karakter ‘content-agnostic’ ini justru juga jadi kelemahan utamanya. Karena pendekatan ini bergantung pada data usage, artinya konten yang baru dan nggak populer itu nggak akan direkomendasi karena nggak ada data usage yang bisa dianalisis.

Pada kasus platform musik digital, akan ada ‘kesenjangan sosial’ di antara lagu-lagu dalam platform itu. Yang populer makin populer, yang nggak dikenal akan makin terasingkan.

Dan buat platform musik digital kayak Spotify, hal kayak gini nggak boleh banget. Karena label-label musik pun bisa jadi akan ragu buat release rekaman terbaru lewat platform tersebut karena tahu lagu nya pun nanti akan ‘tenggelam’.

Salah satu solusinya adalah dengan melakukan pendekatan selanjutnya, yaitu content-based recommendation pada konten atau lagu baru.

Di sini, kita nggak lagi depend on data usage dari user, namun kita memprediksi siapa kira-kira yang akan suka dengan sebuah lagu tertentu dengan menganalisis bentuk sinyal audio lagu tersebut.

Idenya adalah kita akan coba analisis bentuk sinyal audio dari sebuah lagu dan mengambil ‘latent representation’ dari lagu tersebut, yaitu informasi yang menunjukkan karakteristik sebuah lagu, bisa berupa suara bass, drums, hingga genre lagu tersebut.

Cuplikan audiowave dari sebuah lagu akan menjadi input ke convolutional neural networks.

Setiap layer pada neural network akan menganalisis ‘latent representation’ dari lagu tersebut, mulai dari low-level features seperti suara bass, drum, chord, hingga high-level features seperti genre pada layer yang lebih tinggi.

Misalnya, di layer pertama itu ada 256 filter. Nah, setiap filter akan sensitif terhadap suatu fitur tertentu. Filter di lower layer akan sensitif terhadap low-level features seperti vibrato, distortion, dan bass.

Berikut contoh lagu yang mengaktivasi filter tertentu secara maksimal saat proses training.

Sedangkan filter pada higher layer akan sensitif high-level features dari sebuah lagu seperti genre dan subgenre. Berikut contoh lagu-lagu yang mengaktivasi filter tertentu pada higher layer secara maksimal.

Dari sini, akan diperoleh output berupa ‘latent factors’ yang menunjukkan faktor-faktor yang menjadi karakteristik dari lagu tersebut.

Latent factors tersebut kemudian dapat diproyeksikan dalam sebuah latent space dengan algoritma t-SNE. Berikut contoh hasil prediksi latent factor model terhadap test dataset yang telah diproyeksikan ke dalam two-dimentional latent space.

Dapat terlihat bahwa model berhasil mengelompokkan lagu-lagu berdasarkan kemiripannya. Musik-musik rap, misalnya, terlokalisasi di pojok kiri atas, sedangkan artis musik elektronik terkumpul di bagian bawah.

Nah dengan demikian, kita dapat melakukan rekomendasi terhadap lagu-lagu baru yang belum punya data usage sama sekali.

Kita tinggal memasukkan sinyal audio lagu tersebut untuk dianalisis oleh model, dan memperkirakan posisinya terhadap cluster dalam latent space dan merekomendasikan nya kepada user dengan selera genre yang sesuai! Keren kan?

Recommendation system itu bisa dibilang salah satu aplikasi machine learning yang paling banyak kita temui sehari-hari lho.

Sadar nggak sadar, sistem rekomendasi itu literally ada di mana-mana, mulai dari YouTube recommendation, Netflix, iklan produk Amazon, hingga ‘Discover Weekly’ nya Spotify!

Nah, buat yang mulai terinspirasi buat belajar lebih dalam tentang machine learning di balik recommendation system, bisa banget langsung aja gabung di non-degree program batch 2 Pacmann.AI di bit.ly/PendaftaranNon…

Nih, buat ngeyakinin kamu tentang non degree program ini, mimin kasih link ke brosur dan kurikulum Pacmann yaa di bit.ly/brosurpacmannai Mimin tunggu kehadiran kalian di kelas nantii, see you!😊

Sources:
papers.nips.cc/paper/2013/fil…