Profile picture
Nathanael Gratias @nathanaelmu
, 24 tweets, 5 min read Read on Twitter
THREAD:
1) Menunggu buka, saya twitkan riset saya ttg toleransi di Indonesia. Provinsi mana yang paling toleran/intoleran?

Saya pakai Bayesian model untuk bandingkan provinsi berdasar seberapa toleransi populasi Muslimnya.

Versi English: newmandala.org/measuring-reli…
2) Ada banyak studi tentang toleransi yang pakai data survei. Misal: Wahid Foundation, LSI, Kemenag, dll. Studi-studi ini baik tapi bisa diimprove lagi.

Ada tiga kelemahan dari studi-studi sebelumnya:
1) Masalah pembobotan
2) Masalah missing-data, dan
3) Masalah ketidakpastian.
3) Masalah pembobotan terkait dengan apa semua pertanyaan dianggap sama penting.

Contoh: Misal ada 2 pertanyaan: (1) Setuju non-Muslim bayar pajak lebih tinggi? (2) Keberatan anak nikah dgn non-Muslim?

Pertanyaan 1 seharusnya dibobot lebih tinggi karena lebih "ekstrim".
4) Studi-studi ttg toleransi selama ini tidak memperhatikan masalah pembobotan ini.

Nilai toleransi responden dihitung dengan sederhana (biasanya sebagai rata-rata beberapa pertanyaan). Hal ini mengasumsikan bahwa semua isu toleransi sama pentingnya. Asumsi ini jelas keliru.
5) Masalah kedua soal missing data. Sering responden tidak menjawab pertanyaan secara lengkap dan kita tidak bisa menghitung nilai toleransinya. Ini berarti ada informasi yang terbuang.

Dalam analisis apapun, kita ingin mengurangi terbuangnya data karena dapat menyebabkan bias.
6) Masalah ketiga terkait uncertainty atau ketidakpastian. Dalam setiap estimasi statistik pasti ada ketidakpastian, dan kita harus bisa mengukur ketidakpastian itu.

Makanya survei opini publik ada yang namanya margin of error. Studi tentang toleransi belum seperti ini.
7) Contoh, tengok survei kerukunan umat beragama 2013 oleh Kemenag. Tidak ada info tentang ketidakpastian

Karena tidak ada info tentang ketidakpastian, kita tidak tahu apakah nilai Jakarta (3.2) beda secara signifikan dengan Jabar(3.6)

simbi.kemenag.go.id/pustaka/images…
8) Kita butuh pengukuran toleransi yang lebih baik dan serius, yang mampu mengatasi masalah-masalah di atas.

Dengan data yg lebih baik, kita bisa mendapat gambaran yg lebih jelas tentang toleransi/intoleransi di negeri ini dan menjawab pertanyaan-pertanyaan besar.
9) Saya coba berkontribusi dalam hal ini dengan memakai Bayesian item response model. Spesifiknya, graded-response model untuk data ordinal.

Silakan kalau ada pertanyaan teknis, tapi pada intinya Bayesian IRT mengatasi tiga masalah di atas dengan ... (cont'd)
10) Bayesian IRT mengatasi masalah bobot dgn secara otomatis memberi bobot lebih kepada pertanyaan yg mampu membedakan responden toleran dan intoleran dgn lebih baik.

Bobot ini namanya discrimination coefficients karena ia discriminate (membedakan) yg toleran dengan intoleran.
11) Bayesian IRT mengatasi masalah missing data dengan menggunakan informasi awal (prior information) dan iteratif proses bernama Markov Chain Monte Carlo.

Ini berarti kita tidak perlu membuang responden dan informasi terbuang bisa diminimalisir.
12) Terkait masalah uncertainty, Bayesian IRT memberi kita credible interval yg berisi nilai-nilai yang paling mungkin untuk variabel utama kita (toleransi tingkat provinsi). Kita jadi bisa melihat apakah dua provinsi tingkat toleransinya beda.

Bagaimana hasilnya?
13) Pada Oktober 2016 saya menitipkan pertanyaan ke Saiful Mujani Research and Consulting bersamaan dengan survei mereka. Sample size 1,035. Saya analisis hanya 925 responden Muslim.
14) Pertama, discrimination coefficients (bobot). Bobot lebih tinggi berarti lebih mampu membedakan responden yang toleran dan intoleran.

Kita lihat "Apa Indonesia lebih baik tanpa orang Kristen" dan "Apa orang Kristen berhak jadi pejabat publik" memiliki bobot tertinggi.
15) Ini berarti dua pertanyaan tersebut paling mampu membedakan responden toleran dengan intoleran. Ini juga berarti studi-studi tentang toleransi sebaiknya tidak melewatkan dua pertanyaan ini.

Bagaimana dengan provinsinya sendiri? Mana yg paling toleran, mana yg intoleran?
16) Begini nilai toleransi di 27 provinsi. Semakin tinggi nilai, semakin toleran.

Ada variasi cukup signifikan.
Aceh, Banten, paling rendah dalam toleransi.
Kalimantan Utara dan Kalimantan Timur paling baik.
Provinsi-provinsi lain ada di antara empat provinsi ini
17) Karena Bayesian IRT memberi kita credible interval (garis merah di tiap2 provinsi), kita bisa lihat apakah dua provinsi tingkat toleransinya beda signifikan.

Very loose rule: 2 provinsi tingkat toleransinya beda signifikan kalau garis merah mereka beririsan kurang dari 50%.
18) Contoh: Aceh dan Banten tidak beda signifikan karena credible interval-nya beririsan sempurna.

Banten dan Jakarta beda signifikan karena credible intervalnya beririsan kurang dari 50%.

Dari sini kita tahu: Banten lebih rendah toleransinya dari semua provinsi di Jawa.
19) Temuan menarik ttg validity. Kalau skor saya valid, ia harus berkorelasi dgn studi2 lain ttg toleransi.

Saya cek korelasi dgn Indeks Demokrasi Indonesia 2014 dan survei Kemenag 2013.
20) Skor toleransi saya korelasi positif signifikan dengan IDI (r=.422), jadi bisa dibilang dua skor itu ada convergent validity.

Tapi skor saya tidak berkorelasi dgn skor Kemenag. Saya rasa isunya di skor Kemenag karena skor Kemenag juga tidak berkorelasi signifikan dgn IDI.
21) Kita bisa pakai data nilai toleransi untuk apa? Setidaknya ada tiga kemungkinan.

Pertama, kita bisa lihat hubungan toleransi dgn karakteristik provinsi. Apa provinsi dgn quality government lebih toleran? Apa provinsi dgn suara tinggi untuk partai Islam lebih tidak toleran?
22) Kedua, kita bisa lihat trend over time. Selama ini melihat trend over time susah dilakukan karena pertanyaan yg kadang berbeda dari survei ke survei.

Dengan Bayesian IRT, kita tetap bisa melihat trend meskipun pertanyaannya ada yang tidak sama. Istilahnya common space.
23) Ketiga, kita bisa lihat apa intoleransi benar meningkat. Laporan pelanggaran kebebasan beragama memang makin banyak.

Tapi apa itu karena publik makin intoleran, karena preman berjubah makin bertingkah, atau karena media makin berani memberitakan?

Jawabnya harus dengan data
24) To sumarize.
- Ada variasi tingkat toleransi beragama di provinsi-provinsi
- Ada teknik untuk mengukur toleransi dgn lebih baik
- Data dan penelitan yg lebih baik ttg toleransi dapat membantu kita memahami & memikirkan solusi untuk kehidupan keagamaan kita #END
Missing some Tweet in this thread?
You can try to force a refresh.

Like this thread? Get email updates or save it to PDF!

Subscribe to Nathanael Gratias
Profile picture

Get real-time email alerts when new unrolls are available from this author!

This content may be removed anytime!

Twitter may remove this content at anytime, convert it as a PDF, save and print for later use!

Try unrolling a thread yourself!

how to unroll video

1) Follow Thread Reader App on Twitter so you can easily mention us!

2) Go to a Twitter thread (series of Tweets by the same owner) and mention us with a keyword "unroll" @threadreaderapp unroll

You can practice here first or read more on our help page!

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just three indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member and get exclusive features!

Premium member ($3.00/month or $30.00/year)

Too expensive? Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal Become our Patreon

Thank you for your support!