Data scraping adalah proses mengambil informasi dari website lalu menyimpannya ke database, tabel, atau penyimpanan lain. Agar lebih efisien, prosesnya melalui otomatisasi dan dalam jumlah banyak sekaligus.

Simak dan bookmark dan lanjut memahami dasar data scraping di trid ini! Sebelum lanjut, trid ini adalah bagian pertama dari satu rangkaian seluk-beluk data scraping. Di sini akan dijelaskan soal:

- Penjelasan
- Metode
- Do and Don't
- Tools yang umum dipakai

Simak juga TikTok saya juga nyrempet tema ini di sini:
tiktok.com/@mikaeldewabra…

Claudia Goldin meraih nobel Ekonomi di 2023, menjadi perempuan ketiga dan pertama yang memenangkanya solo untuk kategori ini.

Selain pencapaian luar biasa yang di mana dia sanggup menjelaskan soal gender pay gap, Nobel juga memberikan infografis di rilis merkea, memudahkan kita untuk memahami apa saja hasil riset yang dilakukan oleh Claudia Goldin.

Bisa disimak di thread ini. Riset yang dilakukan Claudia Goldin memiliki topik yang luas, di mana di mampu menjelaskan gender gap di pemasukan, ketidakseimbangan, perubahan teknologi, pendidikan, dst. Kebanyakan risetnya membaca keadaan sekarang dengan studi sejarah dan menelusuri lebih jauh lagi.

Kalau masih buntu bikin #dataviz untuk project personal, coba cek di situs University of Maryland yang kasih panduannya, gak cuma step by step cara bikin data Viz, tapi juga informasi menarik lain.

Apa aja isi panduan bikin visualisasi di situ?

Simak dan Bookmark! Kalau mau akses langsung bisa ke URL di bawah ini. Tapi, gue di trid akan jelasin satu-satu isinya apa aja.

Cek: lib.guides.umd.edu/datavisualizat…

Cetak Biru Kota Cerdas Nusantara udah kayak cerita sci-fi, kayak Minority Report bisa prediksi kriminalitas, rekonstruksi masa lalu segala.

Wajib baca sih ini 😅.

Ini salah satu contoh teknologi pendukung di IKN: Computer Vision (CV). CV di IKN akan punya kemampuan:

- Pemantauan lewat yg mereka namakan Intelligent CCTV, bisa mengenali wajah, tracking obyek, mendeteksi keramaian
- Otomatis mendeteksi insiden keamanan
- Identifikasi pelanggaran lalu lintas

Tapi, itu belum seru. Kalau baca di situ ada teknologi sampai kayak gini:

- Mengidentifikasi pola dan peristiwa yg akan datang seperti kecelakaan, bencana alam, ancaman keamanan
- Merekonstruksi peristiwa masa lalu secara detil. Gak paham sih ini metodologinya gimana dan sedetil apa.

Saya merasa ada di tahun 3000.

Cetak Biru Kota Cerdas Nusantara ini memang isinya banyak skema, teknologi2 terkini, impian, yang katanya bakal jadi karakter Kota Nusantara.

CV ini teknologi pendukung Public Safety.

Banyak jargon lain disebut, salah satunya ER - Extended Reality.

Gue baru nonton di YT yang cerita soal video-video di dapet duit USD 100 per jam atau USD 100K per tahun modal sertifikat Google.

Bener ga? Gue jabarin dikit tapi jangan komen muka Youtuber ini mirip siapa ya.

Pas gue tonton video ini dan video-video yang dia bahas, ujung-ujungnya kita diminta nawarin jasa Google Ads dan Google Business di situs freelance seperti Upwork atau Fiverr. Modal sertifikat dari Google.

Dorian Develops, si Youtuber yang bikin konten ini bilang dan gue setuju, dapetin duit segitu banyak modal sertifikasi Google itu berlebihan. Dia juga cerita, ujung-ujungnya juga mereka jualan afiliasi.
Di video-video yang belio referensikan emang bener kalau Google itu ngasih kursus. Dan, materi-materinya menarik serta gratis. Gue malah merekomendasikan terutama yang mau belajar Google platforms.

Biasakan anak main game konsol atau PC, tapi yang single player. Game-nya yang kuat di cerita dan dialog, sekalian belajar Bahasa Inggris.

Kenalkan mereka ke Dark Souls biar mengenal frustasi dan stres sejak usia dini.

https://twitter.com/mediocrickey/status/1724661007589789821

Ini malah ada yang tergerak belajar yang lain dimulai main game.

Gue maen game simulasi bisa paham tipis2 proses kerjaan.

https://twitter.com/maswisnulele/status/1724678345198383235?s=19

Gue nemu situs menarik, isinya kumpulan panduan atau guideline dalam bikin visualisasi data atua #dataviz.

Situs ini ngebantu banget buat kasih panduan bagi yang bingung waktu bikin visualisasi data baik versi digital maupun cetak.

Di sini, dipaparkan standar atau rekomendasi dalam bikin visualisasi data. Cocok buat pemula atau bahkan yang sudah jago.

Gue jabarin isinya apa aja ya. URL di postingan berikut. Silahkan cek di sini buat sumbernya, lanjut baca buat jabaran gue kira-kira di situs ini isinya apa aja.

The Data Visualization Standards dibikin oleh pemerintah USA untuk membantu siapa saja yang mau bikin chart lebih ok lagi.

URL: xdgov.github.io/data-design-st…

Bikin dashboard di Excel juga bisa. Dan, kalau belum sempat belajar Tableau atau Looker Studio, dasar-dasar dashboard bisa dipelajari lewat Excel.

Kebetulan nemu sumber menarik di Medium yang bahas cara bikinnya satu per satu. GIF di bawah diambil dari situ.
Tulisan ini bagus banget buat kita belajar bikin step by step. Bahkan ngasih juga dataset segala buat latihan bikinnya. Ada buat bikin peta segala.

Silahkan ke sini aja: towardsdatascience.com/interactive-da…

Tidak hanya soal perputaran uang 200 triliun yang mengkhawatirkan (dan ini untuk tahun 2023 saja). Ternyata banyak fakta lain yang gue rangkum soal bisnis ilegal ini.

Menurut penelusuran PPATK, diperkirakan 78% pemainnya memiliki penghasilan di bawah rata-rata. Hal ini dilihat dari jumlah transaksi per pemain yang ada di kisaran 100 ribu saja.

Meningkatnya pinjaman online juga diduga terkait dengan maraknya judi online. Tidak disebutkan nominal tepatnya, tapi Menkominfo sendiri mengatakan bahwa banyak pemain judi online minjam duitnya dari pinjol. "Kalau dari pantauan sementara kami pinjol ilegal ini adalah adik kandung dari judi online," begitu kata Pak Budi Arie.

200 triliun ini memang lonjakan fantastis, karena di tahun 2022, total perputaran uang ada di angka 81 triliun. Hampir 2.5x lipat.

Perputaran yang dimaksud merupakan aliran uang untuk kepentingan taruhan mulai dari pembayaran kemenangan, biaya penyelenggaraan perjudian, transfer antar-jaringan bandar, serta transaksi dengan tujuan yang diduga pencucian uang yang dilakukan oleh jaringan bandar.

Paling banyak uang mengalir ke Filipina.
Disebutkan kalau sudah ada 40 ribu situs judi ditutup sepanjang 2023. Namun, kalau kita coba search dengan kata kunci 'site: slot' untuk melihat sebanyak apa situs slot menempel di situs pemerintah, ada tiga jutaan hasilnya. go.id

Bagi yang masih pemula banget soal Python, di thread ini gue kasi introduksi singkat yuk.

Penggunaan Python di dunia Data Science dan Data Analytics cukup signifikan. Sifatnya yang open source, fleksibel, serta memiliki ekosistem yang suportif membuat Python jadi tools yang kuat untuk analisis data di era sekarang.

Banyak perusahaan besar, instansi pemerintah, atau individu uyang mengadopsi Python untuk mengolah dan menganalisis data, mengidentifikasi tren, lalu mengambil keputusan strategis dari situ. Dengan penggunaan yang terus berkembang, Python terus memainkan peran kunci dalam eksplorasi data di berbagai bidang.
Python adalah bahasa pemrograman yang belakangan ini makin populer. Berdasarkan Tiobe Index, di 2023 ini (grafik di atas - sampai post ini dimuat) Python berada di nomor satu untuk bahasa pemrograman yang paling populer di kalangan pengembang. Memang pada prakteknya, selain memiliki kapasitas untuk develop aplikasi, Python juga penting bagi Data Scientist atau Data Analyst.
Sejatinya Python adalah bahasa pemrograman multi fungsi di mana juga bisa digunakan secara praktis untuk data analysis. Maka, tidak jarang project data itu tidak hanya sekadar melakukan kalkulasi dari data, tapi juga membangun aplikasi lain yang mendukung menggunakan Python.

Orang Indonesia di belakang sindikat phishing internasional.

Sindikat phishing-as-a-service alias layanan lengkap penyedia aplikasi yang digunakan diungkap tuntas oleh interpol. Bulan lalu, WNI berusia 21 ditangkap. Doi adalah admin dari 16hop, layanan penyedia tools nipu yg… https://t.co/3vQzmcm5uZtwitter.com/i/web/status/1…
16shop mirip Saas (software-as-a-service) di mana di tempat ini. Selain membeli, 16shop juga memberikan panduan instalasi, update, akses ke portal yang menyediakan kits lebih banyak lagi. Jaringan ini bahkan punya kanal live support, halaman medsos, dan email yang bisa dikontak. twitter.com/i/web/status/1…

Beberapa hari lalu gue bercerita sekaligus nanggepin tweet yang nadanya merendahkan orang berusia tua. Cerita yang gua sampaikan adalah sebuah contoh pengalaman ortu saya yang sukses memulai bisnis travel saat usia sudah 60 tahun lebih.

Karena tweet orang tersebut sudah… https://t.co/GwsvJTJrV3twitter.com/i/web/status/1…
Sebelum lanjut, buat yang mau baca kisah ortu gue bisa di thread ini:

https://twitter.com/MikaelDewabrata/status/1684754101194960898

Bapak dan Ibu gue memulai bisnis travel di usia 67 dan 61. Diawalin ikut perjalanan ke luar negeri, terus dijadiin tour guide di trip berikutnya (biaya perjalanan gratis) hingga hari ini mampu nge-lead trip ke Eropa, Mesir, Yerusalem, Filipina, dan juga perjalanan domestik ke kota-kota di Pulau Jawa dan Bali.

Ini contoh sukses setelah sebelumnya coba bbrapa usaha tp so so aja.

Mungkin ortu gue ga peduli sama omongan kayak gini. Mau tabungan cukup, tapi berkegiatan yang positif mah dilakukan sampe bener-bener gak bisa apa-apa.

Dari ortu gue juga paham, mereka gitu karena masa pensiun kalau gak ngapa-ngapain bosen aja. Btw usia 50 itu masih bisa melakukan banyak hal, yang 60 aja masih bisa aktif.

https://twitter.com/farizaryf/status/1681600491078443010

Kok bisa sih di usia segitu malah bisa jalan-jalan ke luar negeri gak keluar duit malah dapet duit?

Well, awalnya dari trip pribadi kok, nabung terus bisa perjalanan rohani ke Yerusalem. Karena ortu gue dianggep bisa komunikasi dengan baik dengan para peserta (waktu itu emang tur lansia), pemilik travel melihat potensi mereka.

Trip berikutnya ke Yerusalem, mereka pun diminta jadi tour guide oleh pemilik travel.

Baru-baru ini sindikat penjualan ginjal diungkap.

Cara sindikat ini sendiri bisa kita cek di infografis, kreasi Pak Tedy @DataLabs89 .

Korban dari trafficking mengerikan ini ada 122 orang. Mereka diterbangkan ke Kamboja untuk diambil organnya, lalu didonor ke negara-negara… https://t.co/uon9RvBJYStwitter.com/i/web/status/1…
Dalam konferensi pers di Polda Metri Jaya, diungkapkan kalau cukup beragam mulai dari pedagang, guru privat, bahkan ada seorang lulusan S2. Semua korban ini tidak memiliki pekerjaan karena terdampak pandemi COVID-19.

Lalu dari mana korban dipilih?

Salah satu poin yang tadinya gue gak pernah paham adalah istilah 'unlearning'. Tadinya, ini hanya gimmick, mana ada buat belajar kok lo lupain apa yang dipelajarin.

Tapi, setelah ngalamin sendiri, maksudnya gak gitu. Salah satu poin yang gue dapetin dari sini adalah gimana dunia… https://t.co/3JXsLYyqf8twitter.com/i/web/status/1…
Salah satu contoh adalah waktu gue make tools 'X' untuk melakukan kalkulasi dari beberapa sumber data yang mayan kompleks. Karena gak ada waktu banyak untuk menyelesaikan problem lebih fundamental lagi, gue memakai tools tersebut untuk dapet kalkulasinya.

Dengan tools 'X' gue… twitter.com/i/web/status/1…

Heboh investigasi super detil soal Pegasus dari Indonesialeaks, gue mau naikin video lama yang pernah gue upload di kanal YouTube gue (sudah hiatus). Di situ gue ngoceh soal skandal Pegasus dan sisi teknis atau proses kerja spyware ini.

Video ini gue buat dan publish di 2021,… twitter.com/i/web/status/1… Untuk sumber soal investigasi Pegasus yang dilakukan secara internasional, bisa langsung dibaca di Amnesty International. Secara kronologis dan detil, dijelaskan semua di website ini.

amnesty.org/en/latest/news…

Gue pernah ini bikin konten YT-nya tapi udah gue bikin privat. Alatnya emang serem dan emang mahal. Kita angkat WA call, pelan-pelan nyusup colongin data kita.

Edited: Apa perlu gue upload di sini aja? 😅 twitter.com/i/web/status/1… Uploading.

7 Juta ini harga komponen kalau kata artikelnya. Emang rada clickbait, karena di dalam artikel dijelasin juga biaya lain yang memengaruhi harga.

Kalau kasus sepatu Nike, ada gambaran kira-kira satu sepatu itu ongkosnya apa saja. Ini ada pertanyaan bagus, jadi memang IMHO infografis itu kadang tidak ideal karena proporsi suka nggak sesuai dengan angkanya. Contoh jelas di atas itu buat 5$ itu proporsi tidak sama.

Kadang infografis emang kebutuhannya kasih gambaran umum aja sih, dan lebih ke estetika. Soal akurasi memang kurang bisa diandalkan. Tapi, dengan gambaran di atas, walau ga 100% akurat, pembaca awam bisa paham.

https://twitter.com/slidesains/status/1664523968668385281?s=20

Caryn Marjorie, influencer di Snapchat dengan 1,8 juta followers bikin CarynAI, sebuah teman virtual yang bisa nemenin lo, biayanya 1 dolar per menit.

Lewat CarynAI, kita seolah-olah ngobrol beneran dengan Caryn. Menurut Fortune, baru seminggu Caryn sudah bisa dateing duit 1M.

Cara ngebentuk karakter CarynAI sih lumayan gendeng, tapi bisa diterapkan influencer manapun buat nambah cuan.

Di sini, Caryn kerja sama dengan tim The Forever Voices dengan melakukan analisis 2000 jam konten YouTube untuk membentuk cara ngomong dan karakternya.

O'Reilly Media terkenal terbitin buku-buku teknologi terkait IT, pemrograman, dan data. Gak itu saja, mereka dikenal dengan buku-buku cover bergambar hewan.

Ternyata, awalnya covernya polos aja. Lalu kenapa kok akhirnya milih cover hewan. Dan, kisahnya inspiratif!

Simak yak! O'Reilly memang udah identik dengan buku IT. O'Reilly sempat dicap fondasi dari internet oleh majalah Publishers Weekly.

Cover bergambar hewan pun makin membuat brand lebih menonjol.

Pokoknya kalau ditanya O'Reilly bukunya seperti apa, orang bilang: yang ada hewannya itu loh.

Tahun lalu, di Inggris beberapa perusahaan nyobain 4 Day Work alias 4 hari kerja. 70+ perusahaan mendaftar, 61 di antaranya trial 6 bulan.

Setelah 3 bulan, 90% perusahaan melanjutkan 4 hari kerja, 18 perusahaan bahkan sudah memutuskan untuk fix 4 hari kerja seterusnya. Eksperimen ini dilakukan dari Juni - Desember 2022. Berjalan 6 bulan, 56 lanjut trial, 18 permanen, sementara sisanya memutuskan lain.

Selain itu sebuah survei juga dilakukan untuk melihat apakah para pegawai senang kerja 4 hari seminggu, dan apakah jadi makin produktif.