Thread by @pacmannai

Album buatan Machine Learning masuk nominasi GRAMMY, kok bisa?
.
.
.
A Thread

Dari banyak aspek spesial yang melekat pada manusia, mungkin estetika dan ‘sense of art’ menjadi salah satu yang istimewa. Dan dari berbagai karya seni yang diciptakan, musik mungkin termasuk yang paling populer dan dinikmati banyak orang.

Ditambah dengan dorongan rasa ingin tahu dan kreativitas, banyak hal keren yang manusia lakukan dalam rangka memenuhi kebutuhan estetikanya, kayak ini misalnya. Ada yang pernah nonton juga? (semuanya asli lho tanpa CGI)

Banyak riset dan penelitian yang dilakukan dalam rangka memahami lebih dalam gimana music perception bekerja, bukan pada manusia, tapi pada mesin!

Keren ya? Lebih jauh, banyak riset yang dilakukan dalam rangka memahami gimana sih music perception itu bekerja, dan objeknya nggak cuma pada manusia, tapi juga pada mesin.

Yess, music-playing machine is maybe one thing, tapi music-generating machine? That would be much cooler!

Tahun 2016, Google meluncurkan project machine learning yang diberi nama Magenta. Open source project ini tujuannya satu, mengeksplorasi sejauh mana kemampuan AI dan machine learning dalam aplikasinya di dunia musik dan seni.

Dalam dunia seni misalnya, seorang pelukis sebelum menggoreskan kuas pada kanvas biasanya akan ‘eksperimen’ dulu kan berbagai campuran variasi warna cat yang mungkin di palet lukisnya sampai ketemu warna yang pas.

Nah, berangkat dari ide yang sama, tim project Magenta menciptakan MusicVAE, sebuah model machine learning yang dapat berperan layaknya ‘palet lukis’, tempat musisi bisa bereksplorasi dan blending berbagai variasi melodi.

Mau liat gimana MusicVAE melakukan blending terhadap dua buah 2-bar drum beats? Check this out! 👇🏼

So how does it work? Yuk kita bahas! 😎

Lewat helicopter view, kita bisa liat bahwa MusicVAE ini merupakan sebuah model autoencoder. Model ini terdiri dari layer encoder yang menerima data input dan decoder yang menghasilkan output.

Oh iya, untuk datasetnya digunakan data dalam bentuk file MIDI (Musical Instrument Digital Interface) sebagai standar yang umum digunakan untuk merepresentasikan data musikal.

Karena data musikal itu bentuknya berupa sekuens, maka baik pada layer encoder maupun decoder digunakan recurrent neural network (RNN) agar pola sekuensial pada data bisa di-capture dengan baik.

Nah di sini, MusicVAE memakai 2-layer bidirectional LSTM network untuk encoder. Sementara itu digunakan 2-layer LSTM network sebanyak 1024 unit per layer untuk decoder nya.

Model autoencoder MusicVAE bekerja dengan mengompres (encode) data MIDI yang dimasukkan, lalu memetakannya menjadi titik-titik di dalam sebuah ruang laten Z. Vektor koordinat dari titik-titik tersebut lah yang dinamakan sebagai kode laten.

Kode laten dari melodi-melodi dengan ‘sound’ yang serupa juga akan memiliki posisi yang saling berdekatan di dalam ruang laten.

Dan yang menariknya di sini, setiap kode laten bisa direkonstruksi (decode) kembali menjadi sekuens melodi lagi oleh layer decoder.

And here’s where the fun parts begin!

Karena setiap titik pada ruang laten bisa kita konstruksi ulang menjadi ‘real-world sound’ tertentu, it also means kalau kita ambil suatu titik A dan B di ruang laten, lalu kita lakukan interpolasi -- kedua titik dihubungkan dengan sebuah garis.

Maka kalau garis hasil interpolasi tersebut kita decode, kita akan memperoleh sekuens melodi baru yang awalnya berupa melodi A, kemudian secara gradual akan berubah menjadi melodi B!

In other words, kita baru aja melakukan gradual blending antara dua buah melodi A dan B yang hasilnya kayak gini.

Nggak sampai di situ, lagi-lagi dengan memanfaatkan ruang laten, artinya kita juga bisa lho sampling kombinasi titik-titik dalam ruang laten dan model akan menciptakan sekuens melodi dengan aransemennya sendiri!

Model bahkan berhasil menciptakan full 32-bar sekuens melodi baru. Penasaran sama hasilnya? Cek di sini nihh!

Atau pengen yang groovy dan lebih nge-band? Well, kita tinggal tambahkan dataset drum, bass, snare, and that’s it. Earphones up! 🎶

Tahun 2017, grup musik dance-pop asal LA, YACHT, mencoba kolaborasi dengan tim project Magenta untuk menggunakan MusicVAE dalam komposisi musiknya.

Mereka menggunakan seluruh data MIDI 82 lagu yang ada dalam back catalog YACHT sebagai dataset untuk dimasukkan ke dalam MusicVAE.

Sebelum masuk ke model, dataset diproses terlebih dahulu dengan memecahnya menjadi segmen-segmen kecil yang berupa reff gitar, suara vokal, drum pattern dalam range 2 hingga 16 bar.

Mereka kemudian melakukan training data pada model dan melakukan sampling berkali-kali hingga diperoleh lebih dari 2000 fragmen-fragmen melodi baru yang berukuran 2 hingga 16 bar.

Hasilnya?

Tahun 2019, YACHT merilis album terbarunya berisi 10 lagu yang diberi judul ‘Chain Tripping’. Dan seluruh lagu di dalam album tersebut murni dibentuk oleh ribuan fragmen-fragmen melodi keluaran model machine learning!

Selain itu, seluruh frasa dalam lirik yang digunakan dalam album ini 100% dihasilkan oleh model LSTM yang di train menggunakan 20 GB data teks (sekitar 20 juta kata) dari gabungan lirik lagu YACHT sebelumnya dan band-band lain yang menjadi sumber inspirasinya selama ini.

Haha ^_^

https://twitter.com/ada_rob/status/1169795363886133248?s=20

Nggak cuma sampai di situ, seluruh aspek visual dari album tersebut juga dibuat dengan menggunakan generative neural networks (GAN), mulai dari cover albumnya, promosi visualnya, termasuk music video untuk setiap lagunya!

And believe it or not, album hasil kolaborasi YACHT dengan tim Magenta Google ini sukses membawa YACHT memperoleh nominasi kategori Best Immersive Audio Album Grammy Award tahun 2020 lho!

Dan nominasi ini merupakan nominasi Grammy Award pertama yang diperoleh YACHT setelah lebih dari 20 tahun berkarya di dunia musik. Coba deh kalian dengerin salah satu lagunya, pasti kalian setuju album ini emang layak masuk nominasi.

Insight apa yang bisa dipetik dari hal keren ini?

Dari sini kita tahu bahwa kalo ngomongin kontribusi dari data science and machine learning itu cuma kreativitas yang bisa jadi batasnya.

Dan dari YACHT kita juga sadar bahwa jangan takut untuk mencoba belajar hal baru dan keluar dari zona nyaman! Karena selama ada kemauan, yakin deh kita bisa dapetin apapun yang kita inginkan.

Tertarik untuk ngikutin jejak YACHT tapi masih bingung harus belajar machine learning darimana? Tenang aja, Pacmann.AI bisa nemenin kamu belajar machine learning di non degree program Data Scientist 🤩

Pendaftaran batch 3 udah resmi dibuka nih! Kalomau liat kurikulumnya dulu, kalian bisa cek di bit.ly/brosurpacmannai atau kalau udh ga sabar mau ikut early bird batch 3, langsung ada daftar di bit.ly/PendaftaranNon…
Ada PROMO EARLYBIRD juga loh, friends!

https://twitter.com/pacmannai/status/1374692636607582208?s=21

Sources: magenta.tensorflow.org/music-vae YACHT's new album is powered by ML + Artists arxiv.org/pdf/1803.05428…