BAPAK survei kita, Denny JA hari demi hari memproduksi meme yang berusaha menghancurkan image Prabowo-Sandi (2) dan memuji keberhasilan Jokowi-Maruf Amin (1). Pada saat Puskaptis mengumunkan hasil survei pilpres kemarin, dengan selisih elektabilitas 4% Jokowi unggul, Denny JA masih kosentrasi di meme. Sebaliknya elit tim kubu Jokowi antara lain Karding dan Ace Hasan, menuduh hasil Puskaptis tidak dapat dipercaya. Kenapa, karena pada tahun 2014 Puskaptis gagal menunjukkan hasil survei dan quick count yang memenangkan Jokowi.
Percaya atau tidak percaya hasil survei tidak mungkin diserahkan penilaiannya pada statemen politisi seperti Karding dan Ace Hasan. Ketika Pew Reasearch, misalnya, salah satu lembaga survei terbesar di Amerika, gagal memprediksi kemenangan Hillary Clinton, direktur dan direktur riset serta dua orang senior methodologies melakukan pernyataan ke publik yang intinya:
1) Meminta maaf.
2) Menjelaskan kemungkinan kesalahan methodologi dalam survei.
3) Akan membentuk kolaborasi besar antar lembaga riset/survei plus para ahli dari berbagai perguruan tinggi memeriksa kesalahan prediksi ini. Politisi di sana tidak berani menilai sendiri.
Kegalauan lembaga Pew sebenarnya mewakili puluhan lembaga survei lainnya, yang juga sama-sama mengalami kegagalan memprediksi Hillary. Mereka gagal dalam memprediksi popular vote (prediksi kemenangan rata-rata tiga persen untuk Hillary, ternyata 2%), gagal memprediksi electoral collage vote (prediksi Hillary unggul ternyata kalah, 232:306).
Beberapa polling khusus pada negara bagian, gagal memprediksi “state-level poll”, khususnya “upper Midwest”.
Pada tahun 2017, janji Pew research dituangkan dalam laporan “An Evaluation of 2016 Election Polls in the U.S.”. Kolaborasi menchadapi evaluasi ini diikuti antara lain:
1. Courtney Kennedy (Pew Research Center).
2. Mark Blumenthal, (SurveyMonkey).
3. Scott Clement (Washington Post).
4. Joshua d. Clinton (Vanderbilt University).
5. Claire Durand (University of Montreal).
6. Charles Franklin, (Marquette University).
7. Kyley McGeeney (Pew Research Center).
8. Lee Miringoff (Marist College).
9. Kristen Olson (University of Nebraska-Lincoln).
10. Doug Rivers (Stanford University, YouGov).
11. Lydia Saad (Gallup).
12. Evans Witt (Princeton Survey Research Associates).
13. Chris Wlezien (University of Texas at Austin).
Mereka bertindak sebagai tim ad hoc.
“The committee found that there were multiple reasons for the polling errors in 2016. Two factors for which we found some of the strongest support were real late change in voter preference and the failure of many polls to adjust their weights for the over-representation of college graduates, who tended to favor Clinton in key states,” kata Kennedy (Pew Research).
Pada saat Denny dkk gagal memprediksi kemenangan Ahok di Jakarta, yang dipaparkan bulan demi bulan selama setahun, dan gagal total memprediksi variasi perolehan suara di pilkada Jabar dan Jateng 2018, Denny JA malah mulai sibuk main “meme” tanpa tanggung jawab seperti Pew Research, Gallup dan lain-lain. Dan Ace Hasan dan Karding, tidak meributkannya, karena lembaga survei Denny JA dkk adalah lembaga pendukungnya, pendukung Jokowi.
Denny malah menjadi seolah-olah ahli metodologis, menjelaskan ke publik bahwa kesalahan prediksi suara sebesar 20 % untuk kandidat Sudrajat-Syeikhu di Jabar serta Sudirman Said-Ida Faudiyah di Jateng adalah karena perubahan sikap pemilih menjelang pilkada. Hanya itu. Titik.
Bantahan Denny seolah-olah sebuah kebenaran, padahal Pew Research membutuhkan waktu setengah tahun dengan melibatkan berbagai doktor ahli metodologis memeriksa kesalahan mereka.
Misalnya, soal keterlambatan waktu dalam menentukan pilihan (real late change in voter prefence), evaluasi Pew dkk ini memaparkan 17 kejadian besar sejak 1 Augustus sampai 8 November 2016, yang sangat mempengaruhi pilihan, antara lain debat kandidat, pembocoran email-email pribadi Hillary Clinton oleh Wikilieaks, pembocoran hubungan Trump dengan perempuan, dan lain-lain. Jadi semua pernyataan tentang kekeliruan membutuhkan reason. Ini diperoleh selama 6 bulan penelitian.
Tentu Denny JA nekat sendirian menjawab kesalahan prediksinya, karena rakyat pembaca kebanyakan tidak mengerti survei dan kebenarannya. Sebaliknya, kalangan perguruan tinggi tutup mata. Kalau di Amerika, Inggris, dan negara maju, berbagai ahli atau dosen sibuk ikut memberi opini soal kemungkinan kesalahan survei. Apa yang dijelaskan Denny seolah-olah sah sebagai sebuah jawaban.
Apakah Denny JA dan kawan-kawannya mengerti maksud kesalahan metodologis dalam survei kuantitatif? Allahua’lam.
Doktor Rizal Ramli yang tiga minggu lalu meminta saya menjelaskan soal lembaga survei ini mengatakan, “Syahganda jangan sampai survei-survei menjadi alat propagandis yang nantinya hasilnya menjadi justifikasi untuk kemenangkan petahana”.
Sebagai doktor ilmu sosial dengan disertasi menggunakan metodologi kuantitatif dan via survei, saya mengetahui kesulitan anak-anak ITB, misalnya, masuk kedunia survei opini. Karena ilmu statistik terapan di ITB hanya “dealing” dengan “exact number”. Misalnya, ketika anak geodesi melakukan pengukuran titik titik ketinggian bumi, meskipun datanya bisa ribuan atau jutaan, data itu adalah eksak. Sedangkan survei sosial atau opini, membutuhkan pengetahuan dalam soal konsep sosial.
Survei opini terkait pilpres tentu lebih dinamis lagi. Karena perubahan-perubahan responden (response bias) dalam menyikapi sebuah survei semakin terjadi. Pew Research, misalnya, terus menerus melakukan studi ulang (survei) terhadap response ini setelah pilpres, kepada responden yang sama.
Survei abal-abal
Apakah tuduhan Ace Hasan dan Karding bahwa Puskaptis survei abal-abal dapat diterima? Bagaimana lembaga survei Denny JA dkk yang mendukung Jokowi?
Perlu bagi Ace Hasan dan Karding membaca hasil evaluasi pemilihan presiden Amerika 2016 itu secara teliti. Meski 104 halaman, jangan berharap mudah memahami terminologi yang muncul dalam riset itu.
Beberapa hal dari evaluasi kesalahan prediksi survei pilpres Amerika itu penting dipahami.
1) “Partisan bias”, dalam evaluasi itu tidak ditemukan bias karena memihak calon. Bagaimana di kita?
2) Mode survei di USA tidak tatap muka. Namun, mode survei by internet, interactive voice response, atau wawancara live phone serta kombinasinya tidak menunjukkan response bias terhadap isu “Shy Trump/Shy Conservative”.
3) “Self administred survey vs. present in interviewer” juga menolak “spiral of silence hypothesis” (seperti shy Trump),
4) “Nondisclosure” alias yang kurang terbuka dalam survei ternyata mensupport secara seimbang antara Trump vs Hillary.
5) “Effects of interviewer characteristics” di asumsikan semula mempengaruhi responden ternyata tidak terjadi.
6) “Weigting” khususnya “on education” yang diasumsikan “the more formal education a voter had, the more likely they were to vote for clinton” mempunyai effect, seperti di Michigan dari 13% yang buat keputusan di minggu terakhir kampanye, memilih Trump dengan margin 11 poin.
7) Ideologi/identitas penting terepresentasi dalam survei. Pew memprediksi margin T-C -30%, hasil aktul hanya T-C -23%, terjadi perbedaan 7% (n=489), tidak ada perbedaan pada CNN (n=181), tidak ada perbedaan Survey Monkey (n=10.150), ada perbedaan 2% survei ABC (n=761).
8) Ada masalah asumsi “Turn Out” atau jumlah partisipasi pemilih. Hal ini membutuhkan kemampuan validasi lembaga survei.
9) “Call back study”, perlu melakukan studi ulang terhadap responden yang sama untuk mengetahui berbagai bias dalam survei yang dilakukan, segera setelah pilpres.
Belajar dari evalusi terhadap pilpres Amerika,
perlu berbagai doktor dan kalangan akademisi serta peneliti menentukan hal ini. Namun sebelum itu dilakukan berbagai hal yang perlu diukur di Indonesia adalah:
1) Sumber keuangan lembaga.
2) Apakah lembaga survei merupakan konsultan kandidat.
3) Seberapa terbuka lembaga survei menjelaskan ke publik dan masyarakat ilmiah terkait keilmiahan survei dan benar2 survei kelapangan?
Sumber keuangan lembaga dapat menentukan independensi lembaga survei ini. Semakin independen, semakin dapat dipercaya lembaganya. Kemudian, siapa menjadi konsultan siapa? Jika lembaga survei menjual jasa tapi bukan konsultan, kredibilitas lembaga masih dapat diterima.
Namun, jika sudah menjadi konsultan pemenangan, seperti yang terindikasi pada Denny JA, tentu tidak masuk akal lembaga surveinya netral. Umumnya lembaga survei yang menjadi konsultan lebih berfungsi sebagai alat propaganda.
Selanjutnya lagi soal keterbukaan menyangkut desain survei, konsep/teori, pengambilan sample, dan pelaksanaan dilapangan. Apakah person yang menjadi responden dapat di publish, siapa dan di mana? Sehingga memungkinkan “cross check” dilapangan dari masyarakat.
Sejauh ini kita melihat lembaga-lembaga survei di Amerika, yang dimuali oleh Pew Research dkk, dalam asosiasi AAPOR, telah membuka diri untuk diperiksa. Bagaimana di Indonesia? Maukah kita terbuka? Apakah para doktor-doktor ahli riset kuantitatif mau berpartisipasi?
Tanpa itu semua, penilaian Karding dan Ace Hasan terhadap Puskaptis mengalami kesalahan besar.
Justru “counter” hasil survei Puskaptis terhadap hasil survei Denny JA dkk akan membongkar siapa sesungguhnya lembaga survei abal-abal itu.
Oleh Dr. Syahganda Nainggolan, Sabang Merauke Circle
