Pernah ngebayangin gimana rasanya bisa ngelukis kayak Picasso atau Vincent van Gogh?
.
.
.
A Thread
.
.
.
A Thread
Art and Machine Learning.
Yes! you read that correctly. Dua topik bahasan yang jelas sangat berbeda dan nggak ada hubungannya.
.
.
Or are they?
Yes! you read that correctly. Dua topik bahasan yang jelas sangat berbeda dan nggak ada hubungannya.
.
.
Or are they?
Machine learning pada prinsipnya adalah proses pengenalan pola pada data. Pengenalan pola ini yang membuat mesin bisa ‘belajar’ apa yang harus dia lakukan kalau kita beri suatu input tertentu.
Nah, kemampuan pemahaman pola ini juga yang menjadi dasar dari berbagai bidang, tak terkecuali di dunia seni.
So believe it or not, machine learning bisa juga berperan di bidang yang didasari kreativitas dan imajinasi ini lhoo. Ga percaya?
For example, nih ceritanya mimin punya gambar kura-kura sama sebuah lukisan ombak karya Katsushika Hokusai: “The Great Wave off Kanagawa”.
Nah, mimin yang suka banget sama kura-kura dan ngefans abis sama mas Hokusai, jadi pengen dehh punya gambar kura-kura tapi dengan sentuhan style lukisan ombaknya. Kayak gini kali ya hasilnya?
Tuh kaan bener bagus hahaha. Dan percaya atau nggak, itu gambarnya dibuat pakai machine learning lho!
Kalo temen-temen perhatiin, dari contoh barusan kita berhasil membuat sebuah gambar yang isinya dari content image, tapi ‘dilukis’ dengan sentuhan gaya dari style image.
Teknik buat nge-blend dua gambar ini disebut dengan ‘neural style transfer’. Pengen tahu gimana cara kerjanya? Let’s take a look!
Pada dasarnya, neural style transfer butuh 2 gambar referensi, yaitu content image dan style image, serta 1 gambar input. Gambar input ini nantinya akan menjadi gambar baru yang isinya kayak content image -- tapi bergaya style image.
Gambar tersebut menjadi input ke convolutional neural networks supaya informasi pola fitur dan ‘spatial structure’ nya bisa dikenali. ConvNets yang dipakai di sini adalah VGG-16, walau bisa juga pakai pretrained models lain seperti VGG-19 atau ResNet.
Okay, so pertama kita butuh gambar input dengan random pixel values buat jadi ‘kanvas siap lukis’. Biasanya sih dipakai gambar polosan kayak white noise image ini, atau ada juga yang langsung pakai content image nya.
Next, kita pilih content image yang mau dipakai. Misalnya di sini mimin coba pakai gambar panoramic view nya San Fransisco.
Okay! terus kita pilih style image kita sesuai selera. Kalo di sini mimin pakai lukisan ‘Warszawa’ -nya Tytus Brzozowski.
Okay, bahannya udah lengkap semua. Sekarang, kita mau buat sebuah gambar yang isinya itu pemandangan kota San Fransisco, tapi dengan sentuhan ala-ala vintage nya Warsawa! --- random banget lol, tp yaudalah ya.
Nah, karena kita ingin dapetin gambar output yang isinya mirip dengan content image, kita buat content loss function yang fungsinya nunjukin seberapa mirip sih gambar input (x) saat ini dengan content image (p) di convolution layer l.
Similarly, kita buat juga style loss function untuk mengukur seberapa mirip gambar input dengan dengan style image.
Bedanya dengan content loss, di sini kita nggak peduli dengan keberadaan atau letak objek tertentu dari style image, atau dengan kata lain kita cuma peduli sama overall style nya ajaa.
Dari situ, kita peroleh total loss function berupa kombinasi linear content loss dan style loss.
Now, all we have to do adalah meminimalisasi total loss tersebut. Naah, di sinilah uniknya neural style transfer!
Berbeda dengan biasanya di mana weight dan bias yang kita update, di sini yang kita update di setiap iterasi adalah pixel values dari gambar input (x) kita tadi sedemikian rupa sehingga loss nya terminimalisir.
Dan artinyaa, gambar input kita akan mengalami perubahan di setiap iterasi hingga akhirnya jadi gambar output yang isinya dari content image, tapi style nya dari style image!
Nah kalo kembali ke kasus kita tadi, berikut ini gambar hasil iterasi ke-1, ke-2, dan ke-5 -- dari kiri ke kanan. Kebayang prosesnya?
Daan setelah 10 kali iterasi, gambar yang dihasilkan udah jadi kayak gini! Keren kan?
Bonus nih mimin, kalo buat gambar kura-kura yang mimin kasih di awal tadi kayak gimana?
Well, prosesnya pun sama!
Setiap iterasi, loss function akan terus diminimalisasi dan seiring waktu akan mengubah pixel values gambar input kita hingga menjadi lukisan kura-kura dengan sentuhan style ombak. Keren kann!
Insight apa yang bisa dipetik dari hal ini?
Dari sini kita tahu bahwa kalo ngomongin kontribusi dari data science and machine learning itu ‘Imagination itself is the limit!’.
Skill mengenal pola dari data dan mengolahnya itu akan jadi bekal berharga buat temen-temen berkecimpung di bidang manapun. Dan tentunya skill ini cuma bisa diperoleh dengan dasar math and statistics yang kuat juga.
Nah buat yang mulai terinspirasi untuk membangun skill math, stats, and data analysis nya dari dasar, yuk langsung aja gabung bersama Pacmann AI di bit.ly/PendaftaranNon… 😊👍🏼
• • •
Missing some Tweet in this thread? You can try to
force a refresh
