Kegagalan Ilmiah SRMC: Kritik Atas Hasil Survei Pilgub DKI‎

SAIFUL Mujani Research Consulting (SMRC) telah mengeluarkan hasil surveynya tentang “Kinerja Petahana dan Peluang Para Penantang Dalam Pilkada DKI”, temuan survey 1-9 Oktober 2016. 

Hasil survey tersebut antara lain, (1) Elektabilitas Ahok Jarot 45,4%, Agus Sylvi 22,4%, Anis Sandi 20,7% dan belum tahu 11,6%. (2) Kondisi Ekonomi Prov. DKI dan rumah tangga lebih baik dibanding tahun lalu. (3) Pelaksanaan Pemerintahan baik 55%. (4) Sebanyak 9% responden sangat puas dan 66% cukup puas terhadap kinerja Ahok. 

(5) Citra Ahok lebih tinggi dari kandidat lainnya perihal kejujuran, ketegasan, mampu memimpin Jakarta, berwawasan luas dan perhatian terhadap rakyat. 

(6) Alasan responden memilih adalah pertama, adalah sudah ada bukti nyata hasil kerjanya, orangnya tegas dan berwibawa, berpengalaman di pemerintahan, orangnya pintar, orangnya bersih, berasal dari keluarga tokoh politik, orangnya perhatian pada rakyat, seagama (muslim), orangnya ganteng/cantik, dan beberapa lagi yang dapat diabaikan.

Riset ini diawali dengan hipotesa: (1) Jika ekonomi lebih baik maka pemilih cenderung memilih Petahana. (2) jika pelaksanaan pemerintahan baik dan kinerja Petahana memuaskan maka pemilih cenderung memilih Petahana.

Lalu riset ini diakhiri dengan kesimpulan, a.l. argumen prilaku pemilih rasional terlihat dalam kecenderungan pemilih Jakarta. Incumbent sangat dipengaruhi oleh penilaian warga atas kinerjanya. Karena kinerja incumbent secara umum dinilai positif maka pasangan incumbent untuk sementara ini unggul atas pasangannya (selisih 23%).

Kegagalan Konseptual dan Kegagalan Metodologi‎

Hasil riset SMRC ini dikecam Denny JA, LSI, karena jumlah respondennya melebihi 100% dalam merespon kuesioner, seperti dalam kuesioner elektabilitas, kondisi perekonomian DKI, kinerja wakil gubernur, pilihan kepada 3 pasangan calon dan bahkan 99% pada kondisi perekonomian rumah tangga. 

Kritik Denny ini bisa termaafkan jika asumsi baik diberikan kepada SMRC bahwa kesalahan angka angka tersebut hanyalah bersifat teknis semata, karena mungkin tabulasi data dilakukan secara manual bukan computerized.

Meskipun secara logik, di jaman sekarang ini mahasiswa tingkat satu pun seharusnya sudah menggunakan program excel atau spss yang memungkinkan perhitungan sangat teliti yang dilakukan program komputer secara cepat dan tepat.

Ketertarikan saya adalah soal konsep dan metodologi. Biarkanlah urusan ketidak telitian kita serahkan kepada pembaca survey.

Secara konseptual, SMRC gagal (1) menjelaskan konstruk secara jelas tentang “Voting Behavior”,  2) gagal menjelaskan jumlah variabel  independen. (3) gagal menjelaskan hubungan antara variabel2 penelitian.

Dalam konsep “voting behaviour”, SMRC berusaha memasukkan “rational choice” sebagai satu satunya alasan responden memilih. Dan itu bersifat instrumental semata, bukan psikologis. 

Di sini terjadi kebingungan antara konsep rational choice yang biasa digunakan dalam ilmu mikro ekonomi vs ilmu politik. Padahal, dalam ilmu politik, pertimbangan memilih seseorang terkait dengan orientasi dalam isu spesifik pada kebijakan publik; evaluasi atas kinerja Petahana/incumbent dan evaluasi atas karakteristik kandidat. 

Dengan catatan orientasi dan evaluasi ini dipengaruhi oleh faktor identifikasi atas partai pendukung dan orientasi ideologi secara umum.‎

Suatu penelitian lain “Does The Media Matter”?, dari Yale University, departemen ekonomi, tentang mengukur efek media pada voting behaviour, pada thn 2006, juga melihat “political attitude” dan “knowledge of news and events” saling berkaitan dengan “voting behaviour” tersebut. Jadi konstruk “Voting Behavior” yang diketengahkan SMRC masih perlu dipertanyakan landasan teoritiknya.

Keanehan SMRC berlanjut ketika tidak konsisten terhadap konstruk dan variabel penelitian. Ada dua hal penting terkait hal ini, pertama, apakah mungkin menanyakan langsung pada responden tentang keberhasilan ekonomi dan kinerja Petahana/incumbent, tanpa ada intervening variabel atau moderating variabel berupa knowledge of news and events.  

Secara teoritis menilai suatu keberhasilan ekonomi skala DKI dan keberhasilan kinerja tentu membutuhkan pengetahuan yang mumpuni dari responden.

Kedua, mengapa tiba-tiba SMRC memunculkan variabel lain dalam seperti citra dan sikap kepemimpinan, tingkat popularitas dan kualitas personal kandidat?

Bukankah sejak awal SMRC dan pada kesimpulannya ingin membuktikan bahwa variabel yang ingin dibuktikan hanyalah yang instrumental dan rasional?

Di sinilah akhirnya kegagalan konseptual riset SMRC. Membingungkan. Sulit mencari variabel yang hendak diukur dan menentukan hipotesa yang ingin dibuktikan.

Kegagalan Metodologi‎

Wilayah metodologi dalam riset adalah mengoperasionalkan konsep kedalam variabel, dimensi dan menjadi indikator yang hendak diikur;  melakukan pekerjaan “sampling”, melakukan survey dan menganalisa data.

SMRC melakukan dan atau menemukan, misalnya, relasi antara agama dan etnik tertentu dalam memilih. Dalam temuan ini orang Kristen/Katolik serta orang Cina dan Batak, tidak ada yang memilih pasangan Agus Sylvi. 

Indikator agama dan etnik ini bisa saja tidak berurusan dengan metodologi jika itu bukan mewakili indikator yang diturunkan dari variabel. Melainkan terkait data demografis pemilih semata. 

Tetapi ini menjadi urusan metodologi ketika SMRC memasukkan karakteristik Agama dan Etnik dalam “Sampling Frame” diawal penentuan sample.

Kegagalan metodologi juga terjadi ketika SMRC menentukan pendekatan kuantitatif denga Multistage Random Sampling tapi saat bersamaan membuat “sampling frame” dengan “Stratified Probability Testing”, yakni proporsi sample sesuai dengan proporsi populasi dengan karakteristik seperti agama dan etnik tersebut. 

Tentu ini sesuatu pekerjaan yang ambisius di luar jangkauan lembaga survey manapun. Kecuali, SMRC meninggalkan random sampling dan beralih ke metoda purposive.

Kembali kepada indikator, misalnya, SMRC gagal mengelompokkan indikator citra dan indikator alasan memilih dalam variabel yang mana? Jika indikator citra sebagai kualitas personal masuk pada variabel independen, berarti  beberapa hal yang non instrumental telah masuk dalam penelitian. 

Sedangkan alasan memilih, mungkin masuknya dalam wilayah dependent variabel. Jika ini benar, maka alasan instrumental hanya memuat 2 pertanyaan dari 19 pertanyaan, yakni sudah ada bukti nyata hasil kerja dan berpengalaman dipemerintahan. Hal ini agak aneh. Itupun hasil temuan pertanyaan instrumental hanya 38,3%. (Artinya alasan rasional responden dibawah 50% saja.)

Kesimpulan:‎
‎
1. Riset SMRC tidak memenuhi kaidah kaidah saintifik sehingga hasilnya tidak dapat dipertanggungjawbakan secara ilmiah.
‎
2. SMRC perlu mendalami lagi konsepsi dan metodologi survey kuantitatif bagi riset sosial‎.
‎
‎Oleh Dr. Syahganda Nainggolan, alumni ITB dan FISIP UI‎
‎
‎