Mempertimbangkan Pengukuran dan Hasil

Mempertimbangkan
Pengukuran dan Hasil
Esther Duflo
JPAL
Tujuan-tujuan Pada Saat Ini
• Sekarang kita memiliki sebuah pertanyaan
dan sebuah rancangan untuk keperluan
evaluasi.
• Bagaimana kita mempersiapkan
pengumpulan data?
– Data apa yang harus kita kumpulkan?
– Berapa ukuran sampel yang perlu kita
rencanakan?
Latar:
Pengkhususan dalam Panchayati Raj
• Apakah tujuan-tujuan utama dari
Panchayati Raj?
• Apakah sifat-sifat utama dari kebijakan
pengkhususan tersebut?
• Ciri-ciri apa yang menonjol dari konteks di
India tersebut?
Kontroversi tentang Pengkhususan
• Mengapa pengkhususan dianggap patut
dalam konteks ini?
• Mengapa sebagian orang meragukan
bahwa pengkhususan akan efektif?
Dampak-dampak yang mungkin timbul
• Mari kita mulai dengan menyusun sebuah
daftar yang berisi semua hal yang menurut
anggapan kita akan terkena dampak dari
pengkhususan bagi wanita.
Pertanyaan Evaluasi
• Andaikata anggaran bukan masalah:
apakah kita akan pergi ke lapangan,
mempekerjakan sebuah tim investigasi
yang besar, mengumpulkan data tentang
setiap indikator dalam masyarakat yang
menjadi objek pengkhususan dan yang
bukan, dan menunggu hasilnya?
– Pro:
– Kontra:
Menafsirkan Berbagai Hasil
•
•
Katakanlah Anda mengumpulkan data tentang 20 jenis fasilitas
umum
– Anda menemukan bahwa terkait dengan sumur air bersih,
investasi pada fasilitas umum jauh lebih besar pada Panchayat
yang dikhususkan untuk wanita.
– Anda menemukan bahwa terkait dengan pengairan, investasi
untuk fasilitas umum jauh lebih besar pada Panchayat umum.
– Anda menemukan bahwa terkait dengan 18 barang, hasil yang
diperoleh sangat mirip, dan tidak jauh berbeda pada kedua jenis
Panchayat tersebut
Kesimpulan apa yang dapat Anda tarik?
Menafsirkan Banyak Hasil
•
•
Katakanlah Anda mengumpulkan data tentang 20 jenis fasilitas
umum
– Anda menemukan bahwa terkait dengan sumur air bersih,
investasi pada fasilitas umum jauh lebih besar pada Panchayat
yang dikhususkan untuk wanita.
– Anda menemukan bahwa terkait dengan pengairan, investasi
untuk fasilitas umum jauh lebih besar pada Panchayat umum.
– Anda menemukan bahwa terkait dengan 18 barang, hasil yang
diperoleh sangat mirip, dan tidak jauh berbeda pada kedua jenis
Panchayat tersebut
Kesimpulan apa yang dapat Anda tarik?
Hipotesa yang akan diuji harus ditetapkan
sebelum percobaan dimulai, bila tidak,
sulit bagi kita untuk menilai keabsahannya
Perlunya Sebuah Model
• Penerapan pengambilan sampel secara acak
dalam intervensi tersebut tidak membebaskan
kita dari keharusan untuk memahami rantai
kausalitas dari intervensi hingga hasil.
• Sebelumnya kita perlu memberitahukan kepada
tim pelaksana tujuan-tujuan dari intervensi
• Kita perlu menggambarkan hubungan
Intervensi
hasil akhir
variabel perantara
Merumuskan Tujuan
• Proyek distribusi buku pelajaran di Kenya.
– Program tersebut tidak berdampak apa pun
terhadap nilai ujian siswa/siswi yang biasabiasa saja
– Tetapi siswa/siswi yang terbaik diuntungkan.
• Apakah program tersebut berhasil atau
gagal?
Merumuskan Tujuan
• Proyek distribusi buku pelajaran di Kenya.
– Program tersebut tidak berdampak apa pun
terhadap nilai ujian siswa/siswi yang biasabiasa saja
– Tetapi siswa/siswi yang terbaik diuntungkan.
• Apakah program tersebut berhasil atau
gagal?
Merumuskan tujuan
sangat penting untuk evaluasi.
Hal itu juga merupakan langkah belajar yang penting
bagi sebuah organisasi
Menarik Rantai Kausalitas
• Variabel-variabel tengah apa saja yang
terlibat sehingga intervensi mempengaruhi
hasil akhir yang diharapkan?
• Bagaimana variabel-variabel tersebut
mungkin terpengaruh?
Menarik Rantai Kausalitas
• Variabel-variabel tengah apa saja yang
terlibat sehingga intervensi mempengaruhi
hasil akhir yang diharapkan?
• Bagaimana variabel-variabel tersebut
mungkin terpengaruh?
Menetapkan dan mengukur hasil menengah akan
memperkaya pemahaman kita tentang program tersebut,
memperkuat kesimpulan kita, dan
mempermudah kita dalam menarik kesimpulan umum
Akankah ada perbedaan dengan
adanya pengkhususan?
• Apakah rantai hasil yang mungkin
diperoleh apabila dilakukan
pengkhususan?
• Apa sajakah langkah-langkah penting
untuk mencapai hasil akhir?
• Variabel apa yang harus kita peroleh pada
setiap langkah agar dapat membedakan
berbagai macam model?
Salah satu kemungkinan Model
Pengkhususan
Demokrasi
Cacat
Suatu
demokrasi
Preferensi Pradhan
adalah faktor yang penting
Wanita memiliki preferensi
Yang berbeda-beda
Lebih banyak
Pradhan Wanita
Wanita diberdayakan
Fasilitas umum
mencerminkan preferensi wanita
Fasilitas umum yang
berbeda (dan khusus)
Hasil kesehatan
dan pendidikan yang berbeda?
Persiapan Pengumpulan Data
• Variabel-variabel apa yang kita perlukan untuk menguji
keseluruhan model?
• Sekarang kita baru menyadari bahwa kita telah
menggunakan hampir semua variabel yang kita
sebutkan tadi.
• Alat-alat apa sajakah yang akan memungkinkan kita
untuk mengumpulkan bagian data yang mana yang kita
perlukan pada setiap tingkatan? Alat manakah yang
terbaik (tercanggih), dan alat manakah yang termurah?
Bekerja sesuai anggaran
• Mengumpulkan data tentang besarnya biaya, dan
mungkin kita harus memilih.
• Bila kita harus memilih satu variabel dalam tabel ini
untuk menentukan apakah wanita membawa perubahan,
variabel yang manakah itu?
• Anda telah menghitung anggaran minimum untuk
mendeteksi dampak sumur air di tingkat desa. Apa lagi
yang dapat kita ketahui dari kegiatan-kegiatan yang
sama, tanpa mengeluarkan uang tambahan, dan sejauh
mana kita dapat mengisi bagan alir?
Bekerja sesuai anggaran
• Dengan anggaran yang lebih besar, apa
yang ingin kita lakukan?
• Apakah pengumpulan data secara
bertahap patut dilakukan? Tahap-tahap
apa yang Anda sarankan?
Tujuan dan rantai dalam proposal
Anda
• Apakah hipotesa utama dalam proposal Anda?
• Apakah variabel kunci yang diperlukan (yang
menurut Anda akan menentukan keberhasilan
atau kegagalan)?
• Apa sajakah hasil-hasil tengah yang rencananya
akan Anda pakai untuk mengumpulkan data?
Pengumpulan dan Pengelolaan
Data
Kualitas data adalah hal terpenting dalam evaluasi dampak: bila datanya buruk,
SEGALA usaha yang sebelumya dilakukan menjadi sia-sia.
Beberapa prinsip penting terkait dengan kualitas data:
•
•
•
•
•
Kuesioner harus diujicobakan terlebih dahulu untuk memastikan bahwa
pertanyaan-pertanyaannya masuk akal bagi orang lain.
Format pemasukan data harus jelas dan jangan membuka celah untuk
penafsiran yang salah melalui urutan angka: kode DK, pola lompat.
Penting untuk mengadakan pelatihan tentang prosedur ini.
Harus ada pengecekan mingguan terhadap semua format oleh seorang
pengawas, dan pengecekan ulang sewaktu-waktu oleh manajer penelitian.
Harus ada survei ulang untuk contoh rumah tangga sewaktu-waktu, dan cek
ulang apakah hasil yang diperoleh sudah benar.
Pengumpulan dan Pengelolaan
Data
• Hal-hal lainnya yang harus diingat:
– Organisasi Anda menghasilkan banyak sekali data:
gunakan!
– Akan tetapi, kita harus berhati-hati untuk tidak
mengumpulkan data yang SAMA untuk kelompok
percobaan dan kelompok kontrol.
• Misalnya: proyek kamera Seva Mandir NFE: Kamera
menghasilkan data yang bagus secara kualitas. Tetapi kita
juga perlu data yang sama untuk kelompok kontrol!
– Pengurangan bertahap akan menimbulkan bias pada
hasil dan sangatlah sulit untuk memperbaikinya
kemudian: tempatkanlah prosedur yang baik untuk
menampung atrisi. Terus amati pengurangan
bertahap tersebut selama survei berjalan.
Pemasukan Data
•
Investasi pada pangkalan data pemasukan data yang bagus (Anda
dapat meminta perusahaan perangkat lunak untuk
memprogramkannya berdasarkan survei Anda).
– Pangkalan data tersebut harus memandu pemasukan data (pola lompat
dsb…) dan mencakup pemeriksaan kesalahan logis.
•
Masukkan sampel data terlebih dahulu untuk memastikan tidak ada
kesalahan logis pada pangkalan data tersebut.
•
Lakukan dua kali pemasukan semua data: sesuaikan dengan bentuk
tertulisnya bila ada kesalahan.
•
Masukkan kembali beberapa entri untuk ketiga kalinya (oleh
pengawas) dan berusahalah untuk mencapai tingkat kesalahan
kurang dari 0.5%.
Setelah pemasukan ulang, harus dilakukan pembersihan data:
periksa dengan teliti agar semua data masuk akal (tidak ada anak
berumur 120 tahun yang masih sekolah, tidak ada orang yang
memiliki -5 ayam, dsb…)
•