Thread by @pacmannai

Machine learning, solusi penipuan deepfake (manipulasi muka seseorang menjadi mirip dengan orang lain).
.
.
.
A Thread

Hai guyss udah tau belom kali ini mimin mau bahas apa? Coba absen dong siapa nih yang pernah pake FaceApp?

Nah FaceApp itu salah satu aplikasi yang menggunakan metode deepfake. Dia bisa memanipulasi gambar muka seseorang menjadi mirip seseorang yang lain, coba kalian lihat dibawah ini

Kalian pasti familiar kan dengan Ironman, tapi itu di film yang mana yah kira-kira Ironman ngasih pidato?

Jawabannya adalah gapernah!

Video Ironman berpidato diatas itu merupakan hasil deepfake dari video pidato Elon Musk, dengan kata lain video elon musk diedit sedemikian rupa, jadi seakan akan yang berpidato adalah Tony Stark Ironman

Nah sampai sini masih seru kann bahas tentang deepfake, banyak dari kita sekarang yang menggunakan deepfake sebagai hiburan, video Ironman itupun juga hanya untuk bercanda. Tapi gimana yah kalo deepfake ini dibuat kejahatan??

Ketika deepfake ini bisa diakses secara mudah oleh siapapun, ngedit buat tukar muka (Face-Swap) bakal jadi ancaman tersendiri buat kita, salah satunya kalo deepfake ini digunakan di industri pornografi.

Dengan deepfake, bisa jadi ada video - video jahat dan pornografi yang disebar padahal video itu hasil editan, sedangkan netizen awam gatau deh dikiranya video itu asli. Serem banget gak sihhh

Di zaman sekarang, ada beberapa algoritma untuk face swapping yang bisa jadi berbahaya dan berpotensi jadi ancaman buat kita semua, apa ajah tuhh? Yuk simak tweet selanjutnya!

Pertama, face-swap. Algoritma ini digunakan untuk mengubah muka di video secara otomatis menjadi muka orang yang lain.

Selanjutnya, Lip sync. Beda dengan face swap, algoritma ini cuman ngerubah bentuk ucapan mulutnya aja, jadi orang yang ada di video dibuat ngucapin sesuatu yang nggak pernah diucapin.

Salah satu contoh lipsync bisa dilihat dibawah ini. Video presiden obama disamping merupakan hasil teknik lipsync dengan suara impersonate yang diisi Jordan Peele

Algoritma terakhir, yang juga paling membahayakan, puppet master. Sesuai namanya teknik ini memanipulasi sehingga muka seseorang bisa kontrol sesuai untuk berekspresi dan ngucapin apapun sesuai yang kita mau.

Gimana ngeri gak tuhh kalo peredaran deepfake ini nggak dikontrol. Semakin hari, kita juga bakal jadi sulit buat percaya media yang beredar karena bisa jadi hasil editan kan.

Nah untuk mengatasi itu, diperlukan suatu teknik untuk ngelawan nih, yaitu algoritma untuk mendeteksi video mana yang dihasilkan dari deepfake dan mana yang real

Tapi sebelum mengatasi bahaya dan mendeteksi deepfake, pertama kita harus tau dulu nih, gimana sih kira kira cara kerja deepfake ini ? ada yang tau ??

Deepfake merupakan sebuah teknik untuk memanipulasi media. Hal paling umum yang biasa dilakukan ialah dengan merubah gambar / video seseorang menjadi mirip seseorang yang lain. Ada 2 teknik umum nih yang biasa dipake untuk membuat deepfake video; Autoencoder dan GANs

Autoencoders merupakan salah satu teknik deep learning yang paling umum. Nah untuk menghasilkan video deepfake, diperlukan adanya encoder dan decoders yang berfungsi untuk mendekteksi kira-kira keunikan apa suatu wajah seseorang itu

Keunikan wajah ini didapatkan dengan mereduksi dimensi dari gambar wajah itu sendiri, pekerjaan ini lah yang dilakukan oleh encoder.

Keunikan wajah ini didapatkan dengan mereduksi dimensi dari gambar wajah itu sendiri, pekerjaan ini lah yang dilakukan oleh encoder.

Setelah melakukan encode, selanjutnya kita bisa menentukan formula gimana “cara mengembalikan” gambar yang udah direduksi itu ke gambar semula. Tahap ini selanjutnya kita sebut sebagai decoding

Terus apa sih min hubungannya sama deepfake? Nah, hasil deepfake ini bisa didapatkan dengan mesin diajarin untuk mereduksi gambar A dan B pake encoder yang saling sharing, lalu menghasilkan 2 decoder A dan B

Setelah tahap pembelajaran selesai, baru kita terapin tuh ke gambarnya, kita encode lagi Gambar A, tapi kali ini Decode nya (ngembalikan ke gambar semula) pake Decoder B. dan.. VOILA! Jadilah gambar wajah A yang mirip wajah B! lebih jelasnya bisa lihat gambar dibawah

Algoritma kedua, GANs(Generative Adversarial Networks). Ide untuk algorithma teknik ini secara umum adalah menggunakan sepasang Neural Network yang “tengkar” satu sama lain bernama Generator dan Discriminator

Kok tengkar sih? Iyak tengkar. Gampangnya, cara kerja Neural network ini semacam polisi dan penjahat.

Generator sebagai penjahat akan memiliki algoritma untuk terus menerus ngegambar lukisan-lukisan palsu sampai algoritma polisi (Discriminator) ga bisa nangkep kalo ternyata gambarnya itu palsu. Which means, polisinya terkelabui

Semakin bagus training yang dilakukan antara sepasang Generator - Discriminator, maka gambar palsu yang akan dihasilkan akan semakin mirip dengan yang aslinya sehingga kita sulit untuk membedakan lagi. Berikut gambar lebih jelas tentang flow dari algoritma GANs

Nah sejauh ini kita udah ngerti nih gimana sih cara kerja deepfake untuk menghasilkan gambar foto/video palsu. Tapi apakah deepfake ini akan menghasilkan video/gambar yang sangat perfect??

Jawabannya engga dongg, metode ini lah yang akan digunakan untuk deteksi deepfake, yuk kita bahas !

Algoritma yang digunakan ini bernama DenseNet169. Ia akan mendeteksi adanya “ketidaksempurnaan” dari video/gambar yang dihasilkan oleh deepfake. Apa aja sih ketidaksempurnaannya? Umumnya 8 indikator yang bisa dijadikan acuan kalo video/gambar itu berasal dari deepfake.

Contohnya nih, warna kulit yang berbeda, kulit terlalu mulus, munculnya wajah asli sekilas, kedipan mata yang tidak wajar, wajahnya yang terlihat sedikit dobel bekas editan deepfake, dan yang terakhir yaitu pola kebiasaan seseorang yang berubah ketika di dalam video.

Karena mata manusia terbatas untuk mendeteksi keberadaan kondisi tadi di video/gambar, maka DenseNet169 bisa menjadi solusi untuk menentukan bahwa video/gambar tersebut berasal dari deepfake.

Berdasarkan uji evaluasi pun, algoritma DenseNet169 memiliki keakuratan paling tinggi loh dibandingkan algoritma deteksi yang lain !

Kira-kira gitu guys pembahasan tentang algoritma untuk mendeteksi deepfake, gimana udah gak serem lagi kann? Kalau kamu pengen tau lebih detail tentang penelitian ini, bisa baca di link berikut yaa ieeexplore.ieee.org/document/90390…

Gimana, seru kann belajar machine learning? Buat kamu yang mau lanjut belajar lebih dalam, bisa nihh langsung hubungin ke sini bit.ly/WASalesPacmann mau nanya-nanya juga boleh kok! Oke dehh, see you !