Buku C1 Bab 5 memperkenalkan gambaran umum metodologi riset lanjutan untuk evaluasi kebijakan. Bab ini memperdalam secara teknis tiga desain evaluasi yang paling sering diterapkan dalam konteks program kesehatan haji: desain pre-post, desain kuasi-eksperimental dengan kelompok pembanding, dan integrasi mixed-methods.
Buku C1 Bab 5 memperkenalkan gambaran umum metodologi riset lanjutan untuk evaluasi kebijakan. Bab ini memperdalam secara teknis tiga desain evaluasi yang paling sering diterapkan dalam konteks program kesehatan haji: desain pre-post, desain kuasi-eksperimental dengan kelompok pembanding, dan integrasi mixed-methods.
Desain ini akan menjadi pilihan pertama yang paling mudah Anda terapkan di lapangan — namun kemudahan itu datang dengan sejumlah jebakan yang wajib Anda pahami sebelum menariknya sebagai kesimpulan tesis.
Desain pre-post — mengukur outcome sebelum dan sesudah intervensi pada kelompok yang sama — merupakan desain paling sederhana dan paling sering digunakan dalam evaluasi program manasik kesehatan karena kepraktisan pelaksanaannya. Namun, desain ini memiliki ancaman validitas internal yang signifikan: perubahan yang teramati antara pra dan pasca dapat disebabkan oleh faktor selain intervensi itu sendiri, seperti efek pematangan (maturation), efek pengujian berulang (testing effect), atau peristiwa eksternal yang terjadi bersamaan (history effect).
Sebagai peneliti yang menggunakan desain ini, Anda perlu secara eksplisit mengakui keterbatasan ini dalam interpretasi hasil, dan mempertimbangkan penambahan elemen desain yang memperkuat validitas, seperti pengukuran multiple baseline sebelum intervensi untuk mengendalikan tren yang sudah ada sebelumnya.
Ilustrasi Penerapan:
Peningkatan skor pengetahuan pasca sesi manasik kesehatan bisa jadi bukan semata karena materi baru, melainkan karena peserta sekadar lebih terbiasa menjawab format tes yang sama (testing effect) setelah mengerjakannya dua kali dalam rentang waktu singkat.
Untuk mengatasi sebagian besar keterbatasan di atas, langkah berikut menjadi peningkatan paling praktis yang dapat Anda lakukan tanpa memerlukan randomisasi penuh.
Penambahan kelompok pembanding non-acak (non-randomized comparison group) — misalnya membandingkan embarkasi yang menerima kurikulum manasik kesehatan revisi dengan embarkasi yang masih menggunakan kurikulum lama — secara substansial memperkuat validitas kesimpulan dibandingkan desain pre-post tanpa pembanding. Tantangan utama desain ini adalah memastikan kelompok pembanding cukup serupa karakteristiknya dengan kelompok intervensi (misalnya komposisi usia dan tingkat pendidikan jemaah), atau menggunakan teknik statistik seperti propensity score matching untuk menyeimbangkan perbedaan karakteristik yang teramati antar kelompok.
Pemilihan kelompok pembanding yang tepat menuntut pemahaman konteks lapangan yang mendalam — pengetahuan yang Anda miliki sebagai lulusan Fellowship dengan pengalaman TKHI lintas embarkasi menjadi modal berharga dalam menilai kesetaraan kelompok pembanding secara substantif, melampaui sekadar kesetaraan statistik semata.
Ilustrasi Penerapan:
Anda mungkin tahu dari pengalaman lapangan bahwa dua embarkasi yang tampak 'setara secara statistik' (usia dan pendidikan serupa) sebenarnya memiliki budaya kepatuhan yang sangat berbeda karena perbedaan pola bimbingan KBIHU setempat — nuansa yang tidak tertangkap data administratif namun penting Anda pertimbangkan saat memilih kelompok pembanding.
Ketiga strategi integrasi berikut menjawab pertanyaan praktis: kapan sebaiknya data kualitatif dikumpulkan relatif terhadap data kuantitatif dalam satu desain evaluasi?
Data kuantitatif dikumpulkan lebih dulu, diikuti wawancara kualitatif untuk menjelaskan temuan kuantitatif yang mengejutkan atau ambigu.
Ilustrasi Penerapan:
Setelah menemukan satu embarkasi memiliki hasil pre-post jauh lebih rendah dari embarkasi lain, peneliti baru kemudian mewawancarai fasilitator di embarkasi tersebut untuk memahami mengapa.
Wawancara kualitatif awal digunakan untuk menyusun instrumen kuantitatif yang lebih valid secara kontekstual.
Ilustrasi Penerapan:
Sebelum menyusun kuesioner literasi kesehatan, peneliti terlebih dahulu mewawancarai beberapa calon jemaah untuk memastikan istilah-istilah yang akan dipakai dalam kuesioner benar-benar dipahami sebagaimana dimaksud.
Data kuantitatif dan kualitatif dikumpulkan secara paralel dan dibandingkan pada tahap analisis.
Ilustrasi Penerapan:
Survei pengetahuan dan wawancara mendalam dilakukan pada minggu yang sama terhadap kelompok peserta yang sama, kemudian kedua hasil dibandingkan untuk melihat apakah keduanya saling menguatkan atau justru bertentangan.
Temuan evaluasi yang diperoleh dari satu embarkasi atau satu musim haji tidak serta-merta dapat digeneralisasi ke embarkasi lain atau musim haji berikutnya, mengingat variasi karakteristik jemaah, kualitas fasilitator KBIHU, dan kondisi cuaca antar musim. Sebagai peneliti yang bertanggung jawab, Anda perlu secara eksplisit membahas keterbatasan generalisasi (external validity) dalam laporan evaluasi Anda, dan mempertimbangkan apakah rekomendasi kebijakan yang dihasilkan perlu diuji lebih lanjut pada konteks embarkasi lain sebelum diadopsi secara nasional.
Studi Kasus
Tim evaluasi hipotetis menggunakan desain pre-post dengan kelompok pembanding untuk menilai dampak revisi kurikulum manasik kesehatan pada dua embarkasi dengan karakteristik jemaah yang relatif serupa. Setelah menemukan bahwa satu embarkasi menunjukkan peningkatan pengetahuan yang jauh lebih tinggi dibandingkan embarkasi lain meski menggunakan kurikulum yang sama, tim melakukan wawancara kualitatif dan menemukan perbedaan kunci pada kualitas pelatihan fasilitator KBIHU antar kedua embarkasi tersebut — temuan yang tidak akan terungkap tanpa integrasi mixed-methods. (rujuk laporan evaluasi resmi Kemenhaj/Kemenkes terbaru untuk hasil komparasi aktual antar embarkasi).
Latihan Analisis
1. Identifikasi minimal tiga ancaman validitas internal yang relevan bagi desain pre-post tanpa kelompok pembanding dalam konteks evaluasi program manasik kesehatan.
2. Usulkan kriteria kesetaraan yang perlu dipertimbangkan ketika memilih embarkasi pembanding untuk desain kuasi-eksperimental evaluasi kurikulum manasik kesehatan.
3. Rancang strategi mixed-methods sekuensial eksplanatori sederhana untuk menjelaskan temuan kuantitatif yang menunjukkan variasi hasil program antar dua kelompok jemaah.
1. Buku C2 — Bab 3. Desain Evaluasi: Pre-Post, Kuasi-Eksperimen, dan Mixed-Methods. Dalam: Ekosistem Pendidikan Kedokteran Haji, Perpustakaan Digital Program Magister Kedokteran Haji — Jalur RPL Fellowship. (dokumen internal ekosistem pendidikan ini).
Sesi 1 (Minggu 1–5) · Minggu ke-3