Most Significant Change

Perubahan yang Paling Signifikan
(Most Significant Change Approach)
Pemantauan dan evaluasi partisipatif dengan
pendekatan cerita
Disusun untuk ACCESS oleh Paul Boon dari
presentasi Rick Davies dan Jess Dart
Mei 2005
MSC: apakah itu?
– Bentuk kualitatif, M&E partisipatif
– Berdasarkan pada ‘cerita’ dari perubahan
yang signifikan
– Penggunaan indikator (perencanaan) yang
terbatas
– Bukan merupakan pendekatan yang
berdiri sendiri, tetapi sebuah tambahan
penting pada sebuah Kerangka Kerja M&E
MSC didalam siklus proyek
MSC sebagai monitoring dan evaluasi
Monitoring adalah dilakukan terusmenerus dan cenderung terfokus pada
kegiatan dan output
Evaluasi umumnya kurang rutin dan
terfokus pada dampak
 Oleh karena itu MSC adalah pemantauan
dampak – sebenarnya bentuk campuran dari
M&E

Maksud dari MSC didalam M&E
 Maksud utamanya adalah untuk memfasilitasi
perbaikan dengan cara:
 Memfokuskan arah kerja ke tujuan secara tegas, sebagai contoh,
apa yang benar-benar ingin kita capai dan bagaimana kita akan
menghasilkan lebih dari itu?
 Menyumbang terhadap evaluasi akhir:
 Informasi tentang hasil yang tidak diharapkan
 Informasi prestasi mengenai cerita sukses yang terbaik
 Dapat memberitahu kriteria yang digunakan untuk
menilai proyek
MSC vs pemantauan kuantitatif
Kuantitatif
MSC
Terfokus pada
pengukuran
 Pertanyaan tertutup
 Tentang ‘pembuktian’
 Deduktif
 Statis
 Pemindahan tujuan
dapat menjadi sebuah
masalah
 Proyek keluar


Terfokus pada soaljawab
 Pertanyaan terbuka
 Tentang pembelajaran
 Induktif
 Dinamis
 Terfokus pada
perubahan yang
obyektif
 Konteks masuk
Program out
Context in
Evaluasi Program
berdasar pada Tujuan
Perluasan
terhadap
tujuan yang
telah
dicapai
Dari sudut pandang staf
program + konsultasi
bersama para
stakeholder
change
change
change
From the
viewpoint
of the
Participants
change
change
change
MSC: Mengapa muncul?

Banyaknya program pengembangan
pedesaan terpadu:
– Berurusan dengan ribuan orang, di berbagai
lokasi
– Terfokus/Meletakkan tekanan pada keterlibatan ,
partisipasi dan kontrol orang.

Masalah: Bagaimana cara meringkas dan
melaporkan perkembangan?
– Ketika terdapat keberagaman kegiatan, tidak
semua diketahui sebelumnya, belum lagi hasilnya
– Perlu untuk menghargai penilaian orang
mengenai apa yang penting bagi mereka
Indikator dan batasan
Empat jenis hasil
yang
mungkin
:
terjadi :
Hasil memiliki arti
yang disetujui
Hasil memiliki arti
yang masih
diperdebatkan
Yang diharapkan
1.
Disini indikator
berguna
Yang tidak diharapkan
Sepertinya indikator
2. tidak mungkin
dikembangkan disini
3. Disini indikator bisa 4. Disini indikator tidak
dapat digunakan
mungkin
dikembangkan
Perubahan yang Paling Signifikan
Mengapa cerita?





Orang menyampaikan cerita secara alami
Cerita dapat menguraikan kerumitan dan
konteks
Orang ingat dengan cerita
Cerita dapat membawa pesan yang sulit/ halhal yang tidak/sulit dapat didiskusikan
Tetapi cerita tidak diketahui akurasi/
kebenarannya
Menggunakan cerita didalam
MSC

Pengumpulan cerita + penafsiran bersama
secara sistematis = penyampaian cerita dapat
secara efektif dipakai/dirancang untuk
pemantaunan dan evaluasi yang partisipatif

Prosesnya memiliki hasil yang bermanfaat
bagi penggunaan evaluasi
Arus
cerita
Mendistribusikan cerita kepada para Stakeholders
Pertemuan pemilihan
Daerah 1
orang yang bercerita
Daerah 2
Daerah 3
orang yang bercerita
Daerah 4
orang yang bercerita
Inti dari MSC

Sebuah pertanyaan:
– “Menurut pendapat anda, perubahan apakah
yang paling signifikan yang terjadi dalam
….selama … bulan”
• [jelaskan perubahan tersebut dan jelaskan mengapa
perubahan tersebut signifikan]

Pengulangan pernyataan mengenai
pertanyaan sejenis
– “Yang manakah dari cerita SC yang anda kira
paling signifikan dibanding lainnya?”
• [jelaskan perubahan tersebut dan jelaskan mengapa
perubahan tersebut signifikan]
Bagaimana MSC berbeda?
Para peserta memiliki pilihan mengenai
informasi jenis apa yang diambil
 Menggunakan data yang bermacam-macam
daripada data standar
 Informasi dianalisa oleh seluruh para peserta,
tidak hanya oleh sebuah unit pusat/pihak
luar/….
 Subyektifitas digunakan daripada dihindari

MSC: prosesnya
1.
2.
3.
4.
5.
6.
7.
8.
9.
Menetapkan Topik Perubahan
(Menentukan perubahan yang seperti apa
yang ingin dimonitor)
Menetapkan masa pelaporan
Mengumpulkan cerita SC
Pemilihan cerita SC yang terkumpul
Tanggapan balik terhadap pilihan yang
telah dibuat
Verifikasi
Quantifikasi
Meta-monitoring dan analisa sekunder
Merevisi sistem MSC
Tahap 1. Menetapkan “cakupan
topik”
Apakah cakupan topik itu?
 Kategori keluasan cerita (seperti bagian
koran: olah raga, keuangan, kesenangan,
bisnis, dsb)
 Bukan indikator –Tidak dengan tepat
ditetapkan
Contoh:
– “perubahan didalam kehidupan orang”
– “perubahan didalam hubungan dengan
mitra kita”
– “perubahan didalam kebijakan pemerintah
mengenai HIV/AIDS
Step 1. Menetapkan Cakupan Topik (ctd)
Berapa jumlah cakupan topiknya? – kurang
dari 5
 Apakah penentuan cakupan topik wajib? –
Tidak
 Cakupan topik seharusnya tentang apa? –
Tergantung
 Siapa yang seharusnya menyusun cakupan
topik? - Tergantung

Cakupan Topik- Contoh

Oxfam NZ: Dana hibah upaya peningkatan pendapatan
kepada 99 LSM-PNG: 4 lingkup ‘cakupan topik’ perubahan
yang dimonitor:
•
•
•
•

Perubahan dalam kehidupan perorangan
Perubahan di tingkat masyarakat
Jenis perubahan lainnya
Hal-hal yang dipelajari/Pembelajaran
Program Penyuluhan Perusahaan Susu : 4 ‘cakupan topik’
yang dimonitor:
• Perubahan didalam praktek di peternakan
• Perubahan terkait keahlian peternak dalam pembuatan
keputusan
• Perubahan didalam kemampuan untuk mendapatkan
keuntungan
• Jenis perubahan lainnya

Lainnya:
• Perubahan didalam partisipasi orang, didalam dinamika
kekuatan, ..
• Perubahan didalam keberlanjutan organisasi masyarakat
• Jenis perubahan lainnya
Menetapkan cakupan topik…

Tidak penting tetapi:
– dapat membantu struktur proses pemilihan
– dapat membantu terfokus pada tujuan
– mereka berguna dalam memberitahu kita tentang
apakah arti tujuan bagi para peserta
Apabila cakupan topik dibiarkan terbuka,
pilihan dari para peserta akan memberikan
indikasi kepada kita tentang jenis perubahan
yang mereka anggap penting = Cakupan
topik jendela terbuka
 Jangan lupa: Cakupan topik terkait
perubahan negatif

Tahap 2. Menetapkan masa
pelaporan

Masa yang digunakan oleh LSM bermacammacam dari 2-mingguan, hingga bulanan,
hingga 3-bulanan dan tahunan.
– Yang paling umum adalah tiga bulanan

Keterbatasan waktunya staf merupakan
pembatas utama untuk menentukan
frekwensi
Tahap 3 – Mengumpulkan cerita
Pertanyaan terbuka kepada para peserta
 “Menurut pendapat anda, perubahan
apakah yang paling signifikan yang terjadi
di …selama … bulan?”
Bila secara khusus terkait dengan sebuah
proyek, kita tambahkan:
 “ …. sebagai sebuah hasil dari proyek?”
“ …. sebagai sebuah hasil dari pelatihan yang
anda terima?”
Contoh:
Lihat 3 bulan terakhir, perubahan apakah yang
anda kira paling signifikan didalam kualitas
kehidupan orang didalam masyarakat ini??
Tahap 3 – Mengumpulkan cerita
Tanggapan
 Jawaban peserta dalam 2 bagian:
1. deskriptif
2. bersifat menjelaskan

Format dasar:
– Deskripsi (siapa, apa, dimana, kapan)
– Penjelasan (mengapa hal itu signifikan)
– Siapakah yang mendokumentasikan cerita (nama,
posisi, lokasi, tanggal)
– Pilihan: Rekomendasi
Bagaimana cara mengumpulkan
cerita?

Bagaimana cara mendokumentasikan?





Wawancara dan mencatatnya
Selama diskusi kelompok
Pihak penerima manfaat menuliskan sendiri
Staf lapangan menuliskan cerita yang tidak diminta
Informasi apa yang disertakan?
 Siapa, dimana, kapan?
 Apa yang terjadi?
 Mengapa signifikan?

Cerita siapa yang dikumpulkan?
 Pihak penerima manfaat
 Para mitra staf


Seberapa panjang cerita itu seharusnya?
Bentuk pelaporan; lay-out/susunan; …
Bagaimana cara bersikap disaat
wawancara?
Persiapkan diri untuk membangun sebuah
hubungan sebelum mulai wawancara
 Mendengar, mendengar, mendengar
 Berikan waktu dan ruang pada orang sesuai dan
secepat kemauan mereka
 Tunjukkan bahwa anda benar-benar mendengarkan
 Jaga tubuh anda tetap santai dan terbuka
 Mencoba untuk menghindari perasaan terpisah
dengan adanya sebuah meja
 Kembali ke hal yang telah anda pelajari untuk
memastikan kebenarannya
 Berterimakasih pada orang yang terlibat

Tahap 4. Memilih cerita SC

Banyak kemungkinannya tetapi pada
umumnya melibatkan:
Membaca ceritanya
Menuju pada keputusan bersama
mengenai hal cerita mana yang dipilih
Mengadakan sebuah percakapan
mendalam & mendokumentasikan alasanalasan untuk pilihan
Proses dapat difasilitasi atau tidak
difasilitasi
Tahap 4. Memilih cerita SC…

Tugas bagi pembaca/pemilih adalah untuk membaca
seluruh cerita dan mengidentifikasi cerita yang
paling signifikan dari seluruh cerita SC yang
diajukan.
“Menurut pendapat anda, cerita manakah yang menunjukkan
perubahan yang paling signifikan”



Lebih baik fokus pada satu cakupan topik dahulu
Perlu untuk memutuskan siapa yang terlibat:
pemberi cerita, atasan mereka, kawan mereka,..
Perlu untuk diputuskan apakah menentukan kriteria
pemilihan sebelumnya, ataukah membiarkannya
muncul melalui diskusi cerita SC
Tahap 4. Memilih cerita SC
S
A
B
C
D
G
E
F
H
I
J
M
K
L
N
O
P
Q
R
Tahap 4 – Pemilihan dilakukan oleh siapa?

Cerita direview dan dipilih oleh?
– Pemberi cerita/ para peserta
– Staf (setiap bulan atau 3-bulan)
– Perwakilan daerah (3 atau 6 bulan): review
cerita dari staf yang berbeda
– Staf nasional atau Dewan Pengurus (6 bulan –
tahunan): review dari cerita terpilih
Memilih cerita - proses
Voting tertutup (berikan nomor pada cerita,
selanjutnya dituliskan pada selembar kertas
cerita manakah yang menurut anda
merupakan cerita MSC)
 Diskusi yang difasilitasi: lihat pada semua
pilihan dan melalui diskusi menuju ke
sebuah keputusan mengenai 1 cerita
 Penilaian

(Catatan: Metodologi apapun yang digunakan
didalam memilih sebuah cerita, pastikan bahwa
semua orang menuliskan alasan terhadap pilihan
mereka sehingga nantinya dapat digunakan dan
membantu transparansi dari proses).
Memilih cerita SC…
Harus (bukan merupakan pilihan)
– Dokumen SC mana yang dipilih
– Mengapa dipilih
– Proses yang digunakan untuk melakukan
pemilihan
•Para peserta
•Pilihan mereka
 [Subyektifitas menjadi akuntabel melalui
transparansi]

Tahap 5. Tanggapan balik
Memberi tanggapan balik adalah bagian
dari proses:
 kepada pihak pemberi cerita SC,
mengenai apa yang dipilih, mengapa
dipilih dan proses pemilihan yang
digunakan
 memungkinkan perluasan fokus dari MSC
dilain waktu
 faktor yang bersifat motivasi
 titik terlemah dari seluruh sistem M&E,
termasuk MSC
Tanggapan balik: bagaimana?

Cara yang berbeda untuk memberikan
tanggapan balik
 Melalui staf lainnya, line-manajer, dsb
 Tanggapan balik melalui email
 Tanggapan balik secara lisan
 Laporan berkala
 Laporan resmi
Tahap 6. Verifikasi cerita SC

2 cara untuk memilih cerita guna di-verifikasi
 Acak
 Memverifikasi cerita perubahan yang paling
signifikan

Aspek verifikasi
 Seberapa akurat faktanya?
 Seberapa cocok penafsirannya?
 Apa yang terjadi sejak itu?
Tahap 6. Verifikasi cerita SC

Mengapa?
 Mendorong adanya disiplin didalam pelaporan
 Memungkinkan adanya perluasan dan
pembelajaran lebih lanjut

Kapan?
 Kapan cerita SC pertama kali memasuki sistem
 Kapan dipilih sebagai MS dari keseluruhan SC
 Kapan cerita SC digunakan secara
umum/terbuka
Tahap 7. Kuantifikasi
Didalam cerita SC
– Jumlah orang, kegiatan, dsb yang terlibat
 Sebagai tindak-lanjut dari cerita SC
– Berapa banyak kasus lainnya seperti ini
diketahui
 Didalam meta-monitoring (lihat berikutnya)
– Berapa banyak cerita SC yang seperti ini

Tahap 8. Meta-monitoring & analisa sekunder

Meta-monitoring: menjaga cerita SC tetap terdata
(membuat database atau spreadsheet) dan
mengorganisir data– termasuk diantaranya:
 Gender/dari orang yang bercerita
 Hasil dari proses pemilihan
 Frekwensi cerita
 Tema utama dari cerita SC
 Perubahan didalam jumlah cerita
 Perubahan didalam prosentase dari cerita yang negatif


Analisa sekunder diakhir masa pelaporan mungkin
diperlukan (fakultatif) dengan cara
mengkategorisasikan dan menghitung jenis
perubahan yang dilaporkan, dan jenis penjelasan
yang diberikan, pada tingkat yang berbeda
Sebuah contoh cerita dapat diverifikasi oleh seorang
evaluator eksternal (bila dirasa perlu)
Kegunaan dari cerita yang dipilih




Terkadang lebih dari 100 cerita dikumpulkan dari
fasilitator, staf lapangan, dsb.
Cerita yang terpilih disertakan didalam laporan
perkembangan; disusun didalam sebuah booklet;
dimasukkan didalam laporan berkala; dsb.
Dan juga sebagai tambahan dari pelaporan, cerita
digunakan untuk:
– Meningkatkan mutu/memperbaiki perencanaan
– Membantu menjelaskan sebuah maksud kepada
seorang petani
– Merekrut peserta baru
– Membantu menjelaskan sebuah maksud kepada
anggota staf lainnya
– PR
….
Tahap 9. Merevisi Sistem MSC
Diperlukan merubah frekwensi pelaporan?
 Diperlukan merubah definisi dari cakupan wilayah
untuk digunakan?
 Perlunya untuk merubah orang yang terlibat
didalam pemilihan cerita SC kedalam cakupan
wilayah
 Perlunya perubahan didalam rancangan proses
pemilihan: para peserta & proses yang digunakan
 Tanggapan balik dan tindak lanjut

Dimana menggunakan MSC?







Bukan sebagai sebuah metode yang berdiri
sendiri
Disamping sistem yang berdasarkan
indikator
Untuk mengidentifikasi perubahan yang
tidak diharapkan
Untuk melibatkan orang didalam
menganalisa perubahan
Untuk melibatkan berbagai orang
Untuk fokus pada hasil daripada output
Sangat baik untuk program yang partisipatif
dengan hasil yang komplek, beragam, &
stakeholder yang bermacam-macam
Dampak dari MSC
Proses tersebut menciptakan ruang bagi para
stakeholder untuk mencerminkan, untuk memahami
perubahan yang komplek
 Panitia proyek/ tim pelaksanaan menjadi lebih baik
didalam mengkonseptualisasikan dampak
 Menyediakan dialog untuk membantu memahami
nilai masing-masing
 Memfasilitasi dialog yang dinamis yaitu, “apa yang
benar-benar ingin anda capai dan bagaimana kita
akan lebih daripada itu?” Staf mendapatkan visi
bersama secara lebih penuh
 Proses tersebut mendorong moral mereka
 Proses tersebut melihat para petani, staf, kolaborator
duduk bersama dan menafsirkan data kualitatif &
penilaian evaluatif
