Get to Know Data Engineering Role👨💻👩💻
Extract, Transform, and Load
.
.
.
A thread🧵
Extract, Transform, and Load
.
.
.
A thread🧵
Kita udah sering banget bahas peran Data Scientist maupun Business Intelligence. Tapi jangan salah, masih ada loh pekerjaan lain di industri data yang ga kalah pentingnya, yaitu ✨Data Engineer✨!
Udah pada familiar belum dengan role yang satu ini?
Kita bahas dari awal dlu ya apa yang dikerjakan oleh Data Engineering, baru nanti membahas tentang Extract, Transform, and Load (ETL).
Dalam kesehariannya, Data Engineering bertugas untuk mendesain dan membangun sistem untuk mengumpulkan, menyimpan dan menganalisa data dalam skala besar.
Singkatnya, Data Engineer ini bertugas untuk membuat platform data yang memungkinkan Data Scientist untuk melakukan pekerjaannya.
Kalau kita ibaratkan Data Scientist sebagai pembalap mobil profesional yang ingin memenangkan lomba balapan, maka Data Engineer adalah orang yang menyediakan mobil terbaik untuk dipakai Data Scientist bertanding
Intinya adalah, tujuan akhir Data Engineer adalah agar data dapat diakses oleh perusahaan dan digunakan untuk mengevaluasi dan mengoptimasi bisnis mereka.
Nah, kita tau kan kalau Data Engineer ini penting. Tapi, kalau di Indonesia sendiri, demand nya gimana sih?
Setelah iseng searching Data Engineer di LinkedIn, ternyata memang role ini dicari oleh berbagai perusahaan, termasuk para top company. 
Kalau untuk kisaran gajinya sendiri, berdasarkan Id.indeed.com, ada di angka Rp 11.641.780 rata rata per bulannya. Mungkin temen2 Data Engineer disini mau sharing kisarannya hehehehe
Nah, mimin yakin pasti netizen ada yang tergiur ya kan dengan range gaji segitu per bulannya. Lalu, skill apa yang harus dikuasai agar bisa jadi Data Engineer?
Ini guys listnya
(Mohon dimaklumi karena miminnya lagi demam hometown cha cha cha, kalau kata @inho_oppa mah sedang ter seonho seonho🤪)
(Mohon dimaklumi karena miminnya lagi demam hometown cha cha cha, kalau kata @inho_oppa mah sedang ter seonho seonho🤪)
Okeyy, sudah tau kan kalau salah satu skill yang dibutuhkan adalah Extract, Transform, and Load (ETL). ETL sendiri merupakan proses pengintegrasian data dari satu / lebih sumber ke dalam 1 tempat penyimpanan yang bisa kita sebut sebagai data warehouse.
Lalu bagaimana cara ETL ini bekerja?
Seperti namanya, ada 3 proses yang akan kita lalui.
Seperti namanya, ada 3 proses yang akan kita lalui.
(1) Extract
Pada tahap ini, kita mengambil data dari sumber yang kita butuhkan yang nanti akan kita transformasikan di staging area.
Pada tahap ini, kita mengambil data dari sumber yang kita butuhkan yang nanti akan kita transformasikan di staging area.
Nah, data yang diambil ini bisa bermacam macam ya, dari relational database yang terdiri dari baris dan kolom seperti spreadsheet, sampai non relational database yang tidak memiliki skema / relasi di setiap tabelnya.
(2) Transform
Setelah sudah punya datanya, kita akan mentransformasikan data sesuai dengan kebutuhan analisa di staging area hingga siap untuk digunakan.
Setelah sudah punya datanya, kita akan mentransformasikan data sesuai dengan kebutuhan analisa di staging area hingga siap untuk digunakan.
Ada beberapa tahapan transformasi yang dilakukan, mulai dari
- Memfilter, membersihkan, menghilangkan duplikasi, memvalidasi, dan mengautentikasi data.
- Memfilter, membersihkan, menghilangkan duplikasi, memvalidasi, dan mengautentikasi data.
- Melakukan perhitungan, terjemahan, atau ringkasan berdasarkan data mentah. Oh iya, ini juga bisa termasuk mengubah baris ke kolom / sebaliknya, mengubah suatu mata uang ke mata uang lainnya, mengubah data string, dan masih banyak lagi.
- Melakukan audit untuk memastikan kualitas data.
- Menghilangkan, mengenkripsi, dan melindungi data yang diatur oleh pemerintah atau industri.
- Mengubah format data agar sesuai dengan skema data yang ada di data warehouse.
- Menghilangkan, mengenkripsi, dan melindungi data yang diatur oleh pemerintah atau industri.
- Mengubah format data agar sesuai dengan skema data yang ada di data warehouse.
(3) Load
Setelah ditransformasikan, data akan dipindahkan ke data warehouse yang ditargetkan. Kalau baru pertama kali, maka tahapannya adalah memasukan semua data ke data warehouse
Setelah ditransformasikan, data akan dipindahkan ke data warehouse yang ditargetkan. Kalau baru pertama kali, maka tahapannya adalah memasukan semua data ke data warehouse
Tapi kalau sudah pernah melakukannya, ya berarti tahapan load ini mencakup memuat data secara berkala agar tetap up to date, menghapus dan mengganti data yang ada di data warehouse.
Okey, itu dia tahapan ETL. Kalau dulu sih, untuk melakukan ETL, perusahaan membuat code sendiri. Tapi sekarang, udah banyak open source / commercial ETL tools, dan bahkan cloud service yang bisa kalian gunakan.
Nah, untuk mempelajari ETL dan per Data Engineeran ini, kalian bisa enroll free course di Coursera karena ada banyak bangett yang gratis dan cocok untuk pemula.
Contohnya nih ada yang dikeluarkan oleh IBM, dari yang beginner hingga level intermediate nya.
coursera.org/courses?query=…
coursera.org/courses?query=…
Mungkin itu singkatnya mengenai Data Engineer dan ETL. Kalian bisa gali lebih dalam tentang role ini ke Bagoes Suryo Nugroho, Data Engineer di Lion Parcel pada Webinar hari Jumat nantii. Daftar di goers.co/pacwebinar24sep
• • •
Missing some Tweet in this thread? You can try to
force a refresh
