Thread by @pacmannai

Ngukur performa model mulu, ngukur performa DS nya kapan?🧑‍💻🧠
Key Indicator Performance untuk Data Scientist!
.
.
.
A thread

Mimin penasaran dehh, buat temen-temen Data Scientist disini kalau habis ngerjaiin project tuhh bakal dieveluasi gitu ga sii? Eeehh-- bukan performa modelnya, itu mah sudah byasaa~.

Maksud miminn ituu kinerja kalian gitu yang dievaluasii, bukan cuma modelnyaa hehehe.

Pengeluaran perusahaan untuk data scientist team itu pasti gak main-main, jadi para stakeholders mau tau dong apakah ‘investasi’ mereka buat hire data scientist itu paid off well atau engga.

Kadang, rada susah buat mengukur keberhasilan atau benefit dari data teams. Apa iya data science beneran bantu improve efisiensi dan ningkatin business revenue?

Nah, buat pengukuran performa, sekarang udah banyak nih yang ngimplementasiin Key Performance Indicator (KPI). Pelaksanaannya mulai dari setting targets hingga tracking target yang udah dibuat deh dengan indikator keberhasilan.

Jadi, kenapa perlu ngukur performa pake KPI, atau tools apapun itu, buat tracking performance Data Scientist? Karena sesuai sama kata pak Peter Drucker:

Eh tapi, kalo metrics atau KPI buat ngukur kinerja Data Scientist tuh mirip apa enggak ya, sama bidang lainnya kayak bidang marketing, business development, dan lainnya?🤔

Tiap bidang pekerjaan pasti punya pengukuran performance yang berbeda dari bidang lainnya, walaupun sebenernya inti dan tujuan utamanya sama. Nah yuk sekarang kita open diskusi KPI buat DS!

(1) Model Performance Metrics.

Semua orang udah tau dong pasti kalo metrics ini buat liat performa data model yang dibuat DS buat ngukur efisiensi model. Metodenya beda-beda sesuai model yang lagi dipake.

Metrics ini bisa bantu liat apakah performa model ini lebih baik dari baseline model. Tapi perlu diinget nih, kalo model itu butuh waktu buat jadi makin baik.

Apa cukup cuma ngukur model metrics aja? Tentu engga. Metrics ini emang bisa jawab pertanyaan tentang seberapa bagus performa model, tapi ada beberapa pertanyaan penting yang belum dijawab, loh.

Performa model gabisa jawab sebaik apa progress dari project DS, apakah project hasil kerjaan DS beneran impactful terhadap kinerja perusahaan, atau apakah performa team makin meningkat?

Jadi, masih ada beberapa metrics yang perlu dimasukkan ke KPI, loh. Terus metrics apa dong yang perlu dibikin buat ngukur performance DS?

Yang pertama jelas kita pasti ngomongin metric buat ngukur finansial. Kalo perusahaan udah invest dengan hire DS, pasti harapannya costnya bakal putar balik jadi peningkatan profit dong

DS bisa bantu improve berbagai rasio finansial kayak NPV atau ROI (return on investment) dan ini bisa jadi pengukur langsung performa DS, loh. Apa tuh NPV? Cek pengertiannya di gambar ini yaa:

(2) Lean metrics (efficiency)

Metrics ini utamanya buat liat seberapa efisien sih kerja dari tim DS yang ada di perusahaan? Apakah tim ini sangat produktif, atau mungkin terlalu fokus sama kerjaan administratif, atau malah sering stuck di suatu project?

Kalo lean metrics ngukur efisiensi dari DS team itu sendiri, ada juga metrics yang ngukur seberapa efisien kinerja perusahaan ketika project DS diimplementasikan, loh!

Misal gini, ada team DS yang bisa bantu mempercepat supply chain karena bisa nemuin titik-titik yang bikin pemasokan jadi lambat. Akhirnya, project ini bisa ngurangin waktu buat ngehasilin suatu produk.

Nah, waktu yang dipotong sama hasil kerja DS ini bisa jadi salah satu indikator buat ngukur performa kerja DS.

(3) Practical applications metrics.

Jadi, ada loh kasus di mana project DS itu punya tujuan utama dan bahkan punya efisiensi tinggi, eh tapi ternyata gabisa digunain di dunia nyata karena berbagai faktor.

Makanya butuh metrics yang bisa ngukur performa DS dengan melihat seberapa banyak project sih yang sebenernya bisa beneran dijalankan dan digunain buat pengaplikasian di real life?

Ketika DS team lagi bikin dataset atau deployment baru selama bikin project, semua itu merupakan suatu ‘value’ yang bisa disimpen dan digunain dengan berbagai modifikasi di project lainnya.

Nah, banyaknya value dari artifact—atau project yang disimpan—ini bisa jadi sebuah indikator apakah DS team tuh secara tidak langsung bisa support project di masa depan.

Atau misal, ketika team DS pake artifact dari project masa lalu, apakah mereka bisa memanfaatkan artifact ini buat project yang lagi mereka develop? Nah, perlu artifact creation metrics nih.

(4) Organizational goals metrics

Tentunya ada juga metric yang bakal ngukur goals dari perusahaan itu sendiri berdasarkan visi atau misinya. Biasanya, DS bakal make metrics yang dipake sama stakeholders, sih.

Misalnya nih, ada DS yang kerja di organisasi edukasi berbasis teknologi yang lagi develop product AI buat pembelajaran yang bisa dipersonalisasi, jadi bakal ada metric yang ngukur performa AI ini.

Ini dia sheet developing KPI berdasarkan metrics yang udah (maupun yang belum, hehe) mimin obrolin tadi:

Gimana, ada yang mau sharing cerita tentang KPI Data Scientist di kantor kalian gak, nih? Diskusi yuk diskusi~

Terus gimana nihh caranya biar bisa mencapai KPI yang udah mimin sebutin tadii?? Yaa jelas dongg, kalian bisa lakukan dengan ningkatin skill teknikal kaliann, misalnya dengan ikut non degree program Data Scientist Pacmann!

Kalau kalian daftar sekarang nihh, masih ada kesempatan buat dapetin potongan sebesaar 20% lohh! Yuk, buran, terbatas hingga 20 Juni! Cek informasi lebih lengkap mengenai kelasnya di bit.ly/PacmannioTwitt… yaa!

Referensi:
datascience-pm.com/9-ways-to-meas…