Instrumen Evaluasi Kualitas Pembelajaran Daring dalam SPADA Indonesia Hari Wibawanto Email: [email protected] Jurusan Teknik Elektro Universitas Negeri Semarang Dipresentasikan pada Semiloka Pembelajaran Daring di Perguruan Tinggi di kota Banjarmasin (30 Agustus 2017) dan Surabaya (11 September 2017 ) Abstract Quality evaluation of the online learning needs to be conducted pre- and post learning process. Before the learning process, the intrinsic quality and some contextual quality are evaluated to ensure the quality of the learning object itself and it’s pedagogical foundation in online learning environment. There are several quality evaluation frameworks developed by various learning objects repositories and users. In addition to LORI (Learning Object Rating Instrument), Merlot (Multimedia Education Resource for Learning and Online Teaching) and NHS Shared Learning develop an instrument that essentially evaluates the quality of learning objects and their relation to the pedagogical aspects of online learning. SPADA Indonesia developed the instrument adopted from LORI and the Merlot learning object assessment instrument plus a checklist of online learning components to ensure its face validity. Abstrak Evaluasi kualitas pembelajaran daring perlu dilakukan sebelum dan sesudah pembelajaran dilakukan. Sebelum pembelajaran dilakukan, kualitas instrinsik dan sebagian kualitas kontekstual dievaluasi untuk memastikan kualitas objek pembelajaran yang digunakan dan penataannya dalam perangkat pengelola pembelajaran (learning management system). Ada beberapa kerangka kerja evaluasi kualitas objek pembelajaran yang dikembangkan oleh berbagai repositori dan pengguna objek pembelajaran. Selain LORI (Learning Object Rating Instrument), Merlot (Multimedia Education Resource for Learning and Online Teaching) dan NHS Shared Learning mengembangkan instrumen yang pada dasarnya mengevaluasi kualitas objek pembelajaran dan kaitannya dengan aspek-aspek pedagogis pembelajaran daring. SPADA Indonesia mengembangkan instrumen yang diadopsi dari LORI dan instrumen penilai objek pembelajaran Merlot ditambah dengan daftar cek komponenkomponen pembelajaran daring untuk menjamin validitas tampangnya. Pendahuluan Evaluasi kualitas pembelajaran daring (online learning atau elearning) perlu dilakukan sekurangnya dalam dua tahap, yakni: (1) ketika konten direncanakan dan ditata atau diimplementasikan dalam learning management system (LMS), dan (2) segera setelah pembelajaran selesai diselenggarakan. Di antara kedua waktu itu dapat disisipkan evaluasi formatif untuk memberikan evaluasi atas pelaksanaan elearning yang sedang berlangsung. Dalam pembelajaran daring, konten beserta penataannya dalam LMS sebaiknya telah selesai dilakukan sebelum aktivitas pembelajaran dimulai. Konten dalam pembelajaran daring, yang lazim disebut objek pembelajaran, dapat dievaluasi terpisah untuk mendapatkan gambaran mengenai 1 | Halaman kualitas intrinsik objek pembelajaran, yakni ketika objek pembelajaran itu dinilai “pada dirinya sendiri” di luar konteks pemanfataannya, dan kualitas kontekstual, yakni ketika objek pembelajaran tersebut dinilai dalam kaitannya dengan keseluruhan tahapan dan aktivitas pembelajaran secara utuh. Dalam hal ini, objek pembelajaran dan penataannya dalam LMS dievaluasi terkait dengan kesesuaiannya dengan capaian atau tujuan pembelajaran (learning outcome) dan pertimbangan pedagogis dalam pemilihan, pengembangan dan penataannya. Makalah ini difokuskan pada evaluasi kualitas intrinsik dan kualitas kontekstual ketika sebuah progam pembelajaran disiapkan dalam LMS dan siap digunakan dalam kegiatan pembelajaran. Evaluasi dilaksanakan sebelum pembelajaran dilakukan. Kerangka Evaluasi Objek Pembelajaran Pembelajaran diasumsikan akan efektif apabila objek pembelajaran benar-benar berisi hanya materi yang terkait dengan tujuan dan ditata urutan penyajiannya berdasarkan prinsip-prinsip pedagogis. Asesori materi (ilustrasi deskriptif yang memperluas wawasan, contoh dan non contoh, dan sebagainya), hanya digunakan apabila dapat lebih mengefektifkan pemahaman dan retensi atas pengetahuan yang diberikan. Kualitas instrinsik objek pembelajaran dapat dievaluasi secara independen dengan mempertimbangkan fitur-fitur kualitatif konten itu sendiri misalnya keterbacaan, kejelasan resolusi gambar, kejelasan audio, kehalusan resolusi video, kompatibilitas dengan perangkat penampil dan sebagainya. Kualitas kontekstual objek pembelajaran dievaluasi dalam kaitannya dengan aspekaspek pedagogis, misalnya kesesuaiannya dengan capaian pembelajaran, akurasi isi, keluasan dan kedalaman, ketepatan pemilihan jenis objek pembelajaran, sekuen atau urutan penyajian, kesesuaian dengan aktivitas pembelajaran yang direncanakan, cognitive overload, dan sebagainya. Salah satu instrumen untuk mengevaluasi kualitas objek pembelajaran adalah LORI (Learning Object Review Instrument) yang dikembangkan oleh Nesbit, Belfer, & Leacock (2004). LORI dirancang sebagai instrumen untuk menilai kualitas objek pembelajaran multimedia. Meskipun dalam evaluasinya mengaitkan pula dengan tujuan pembelajaran, LORI pada umumnya digunakan sebagai alat evaluasi objek pembelajaran, bukan alat evaluasi keseluruhan program di mana objek pembelajaran ini dimanfaatkan. Butir-butir instrumen dalam LORI dikelompokkan dalam 9 kriteria sebagaimana ditabulasikan dalam tabel berikut ini. Tabel 1. Kriteria butir instrumen dalam LORI No 1 2 Kategori Deskripsi Kualitas Konten Kebenaran, akurasi, keberimbangan penyajian ide, dan ketepatan tingkat kerincian (keluasan dan kedalaman). Dalam evaluasi objek pembelajaran, aspek kualitas konten merupakan elemen yang paling menonjol dalam membentuk kepakaran. Objek pembelajaran, meskipun desainnya menarik, menjadi tak berguna apabila isinya tidak akurat atau bahkan menyesatkan. Keselarasan Objek pembelajaran dikembangkan sebagai pendukung kegiatan dengan tujuan pembelajaran. Oleh karenanya, evaluasi atas objek pembelajaran harus pembelajaran mencakup juga keselarasannya dengan tujuan pembelajaran, aktivitas belajar, asesmen, dan karakteristik peserta pembelajaran. Objek pembelajaran menjadi kurang efektif apabila ternyata tidak selaras dengan 2 | Halaman 3 4 5 6 7 8 9 kegiatan belajar dan asesmennya. Umpan balik Pemberian umpan balik dan adaptasi objek pembelajaran terhadap dan adaptasi karakteristik peserta pembelajaran merupakan salah satu cara untuk mengefektifkan pembelajaran. Motivasi Kemampuan objek pembelajaran untuk memotovasi dan menarik perhatian peserta pembelajaran. Kualitas motivasi objek pembelajaran mempengaruhi besarnya upaya peserta pembelajaran untuk belajar dengan objek pembelajaran tersebut. Desain Desain informasi visual dan auditif untuk memperkuat pembelajaran dan presentasi meningkatkan efisiensi pemrosesan informasi. Desain presentasi merujuk pada kualitas eksposisi sumber belajar digital. Usabilitas Konsep usabilitas interaksi diadopsi dari fitur kualitas perangkat lunak. interaksi Kemudahan navigasi, keintuitifan antarmuka pengguna (predictability of the user interface), dan kualitas antarmuka untuk pemberian bantuan merupakan fitur-fitur yang dinilai dari aspek usabilitas interaksi. Aksesabilitas Desain kendali dan format presentasi untuk yang mengakomodasi peserta pembelajaran berkebutuhan khusus dan yang mengakses bahan ajar melalui gawai bergerak Reusabilitas Potensi untuk digunakan dalam berbagai konteks pembelajaran dan berbagai latar belakang peserta pembelajaran Kepatuhan Kepatuhan terhadap standar internasional dan spesifikasi standar yang terhadap diikuti standar Dari 9 kriteria yang dikembangkan dalam LORI, 3 (tiga) kriteria tidak dapat segera digunakan sebagai kriteria evaluasi kualitas intrinsik objek pembelajaran maupun kualitas kontekstual terkait dengan penataannya dalam LMS. Kriteria “Umpan balik dan adaptasi” misalnya, hanya dapat dievaluasi ketika pembelajaran sedang atau sudah berlangsung. Artinya, butir instrumen dalam kriteria tersebut hanya dapat diisi skornya hanya apabila objek pembelajaran telah digunakan dalam kegiatan pembelajaran dan dosen atau pengajar telah memberikan umpan balik serta berupaya melakukan adaptasi terhadap kegiatan belajarnya. Dalam keadaan objek pembelajaran baru terpasang di LMS, yang dapat dievaluasi adalah keberadaan umpan balik otomatis yang melekat pada kuis atau soal latihan. Sementara, umpan balik yang diberikan ketika merespon pengiriman tugas dan ketika berinteraksi dalam forum, belum ada dan karenanya belum dapat dievaluasi. Kriteria “Usabilitas interaksi” dan “Aksesabilitas” merupakan kriteria evaluasi yang lebih tepat untuk LMS dibanding untuk objek pembelajaran. Pada pembelajaran daring yang tidak menggunakan LMS tetapi diimplementasikan dalam aplikasi khusus, kedua kriteria ini memang dapat dievaluasi karena objek pembelajaran diimplementasikan terpadu dengan aplikasi pengelolanya. Pada objek pembelajaran yang dipasang dalam LMS, perilaku navigasi dan antarmuka pengguna sepenuhnya ditentukan oleh rancangan LMS-nya. Merlot, Multimedia Educational Resources for Learning and Online Teaching, (http://www.merlot.org) menggunakan kriteria yang banyak kesamaannya dengan LORI untuk mengevaluasi objek pembelajaran yang memenuhi syarat untuk disimpan dalam repositorinya. Proses evaluasi yang dilakukan oleh Merlot adalah menggunakan evaluasi individual (revieu sejawat) dan merujuk kepada standar objek pembelajaran. Standar yang dimaksud adalah panduan yang digunakan untuk membantu evaluator atau pereviu mengevaluasi objek pembelajaran yang dikirimkan oleh para dosen. Kriteria yang digunakan oleh pereviu Merlot dikategorikan dalam 3 (tiga) kriteria (Nesbit, Belfer & Vargo, 2002)yakni: 3 | Halaman 1. Kualitas konten, yakni kualitas yang terkait dengan signifikansi konten terhadap pembelajaran dan akurasi informasinya. 2. Potensi keefektifannya sebagai perangkat belajar-mengajar, mencakup “keefektifan faktual” objek pembelajaran melalui pemanfaatan secara personal atau membuat penilaian atas potensi keefektifannya untuk memperbaiki pengajaran dan pembelajaran oleh dosen dan mahasiswa. 3. Kemudahpakaian, merupakan ukuran kemudahpakaian objek pembelajaran bagi pengguna pertama, yakni pengguna yang belum memiliki pengalaman menggunakan objek pembelajaran tersebut sebelumnya. Kemudahpakaian dibentuk oleh beberapa komponen yang saling terkait, misalnya tata letak umum objek, antarmuka komputer, letak dan rancangan tombol navigasi, menu, dan sebagainya. Dari ketiga dimensi atau kriteria tersebut, kriteria “potensi keefektifannya sebagai perangkat belajarmengajar” adalah yang paling susah dinilai. Dimensi ini mencakup pemanfaatan media dan interaktivitas yang secara pedagogis sesuai, dan kejelasan tujuan pembelajaran. Di dalamnya termaktub pentingnya konteks, yang dalam hal ini dikaitkan dengan capaian pembelajaran, karakteristik pembelajar, dan penempatan objek pembelajaran dengan mempertimbangkan strategi pembelajaran yang digunakan. Kontekstualitas objek pembelajaran dalam capaian pembelajaran tentu saja tidak kompatibel, bahkan boleh jadi berlawanan dengan reusabilitas atau pemanfaatan-ulangnya dalam situasi dan capaian pembelajaran lain. Semakin ditujukan untuk konteks pembelajaran tertentu, semakin kurang reusabilitas objek pembelajaran tersebut (Nesbit, Belfer & Vargo, 2002). NHS Shared Learning (2009) mengembangkan dua jenis daftar cek untuk mengevaluasi: (1) kualitas objek pembelajaran, dan (2) kualitas pembelajaran (course) daring. Evaluasi atas kualitas objek pembelajaran dilakukan melalui penetapan 8 (delapan) standar, yang terdiri atas standar A-H yang memiliki kemiripan dengan LORI, meliputi: 1. Standar A: Kualitas konten Kriteria esensial mengenai kualitas konten mencakup penilaian mengenai akurasi konten, keadilan dan ketidakbiasan (unbiased) konten, dan kesesuaian objek pembelajaran dengan tujuan yang akan dicakup. Selain kriteria esensial, ada 4 (empat) kriteria yang diharapkan (desirable criteria) yang meliputi penilaian mengenai: kelogisan dan keefektifan urutan konten, kecukupan pengalaman belajar dari sisi jumlah dan cakupan untuk mendukung target capaian pembelajaran, reviu oleh pakar bidang ilmu, dan penyelarasan konten dan aktivitas pembelajaran dengan capaian pembelajaran. 2. Standar B: Keselarasan dengan tujuan pembelajaran Pada standar B ini, NHS Shared Learning membedakan antara tujuan pembelajaran (learning objectives) dan capaian pembelajaran (learning outcome). Tujuan pembelajaran didefinisikan sebagai apa yang diperoleh pembelajar dari kegiatan pembelajaran. Tujuan pembelajaran adalah pernyataan spesifik mengenai apa yang oleh pembelajar harus diketahui, dapat dilakukan, atau sikap yang harus dimiliki sebagai hasil belajar. Tujuan pembelajaran menjadi dasar bagi kurikulum dan pengembangan pembelajaran dan asesmen. Sedangkan capaian pembelajaran didefinisikan sebagai aksi konkrit yang ditunjukkan oleh pembelajar sebagai hasil belajar. Capaian pembelajaran dapat berupa tertampilkannya pengetahuan, keterampilan, dan nilai. Secara umum, capaian pembelajaran diases (assessed) pada level paket pembelajaran (course) dan/atau program. 4 | Halaman 3. 4. 5. 6. 7. 8. Standar keselarasan dengan tujuan pembelajaran terdiri atas 2 (dua) kriteria esensial yakni apakah: (1) tujuan pembelajaran sesuai dengan capaian pembelajaran? (2) tujuan pembelajaran dinyatakan dengan jelas? Standar C: Umpan balik Standar umpan balik terdiri atas 3 (tiga) kriteria esensial yang mencakup apakah: (1) umpan balik mendukung capaian pembelajaran? (2) pembelajar mendapatkan respon dan umpan balik secara tepat waktu ketika diminta menjawab pertanyaan atau memberikan informasi? (3) umpan balik membandingkan kinerja pembelajar dengan kriteria yang relevan dan menjelaskan bagaimana kinerja bisa diperbaiki? Standar D: Motivasi Standar motivasi menilai apakah lingkungan pembelajaran dirancang untuk melibatkan pembelajar, interaktif, dan relevan dengan pembelajar. Terdaoat 4 (empat) kriteria esensial yang digunakan untuk mengevaluasi standar motivasi ini, yakni apakah: (1) lingkungan belajar menyediakan kesempatan belajar yang memadai dan melibatkan pembelajar? (2) objek pembelajaran memberikan aktivitas dan interaktivitas belajar yang selaras dengan kehidupan yang sebenarnya? (2) pembelajar mendapatkan arahan dan dukungan untuk terlibat dalam aktivitas pembelajaran. Standar E: Desain dan Usabilitas Standar desain dan usabilitas (ketermanfaatan) berkaitan erat dengan fitur instrinsik objek pembelajaran, mencakup apakah: (1) rancangannya jelas, konsisten, dan memberikan arahan yang memadai untuk navigasi dan interaksi? (3) perangkat navigasi menyediakan cara untuk kembali ke menu awal, menjelajahi objek pembelajaran, dan ke luar dari objek pembelajaran? (4) bila objek pembelajaran berupa video atau audio, pengguna/pembelajar dapat mengendalikannya secara penuh? (5) tombol-tombol dan hyperlink berfungsi efektif? Selain 5 (lima) kriteria esensial tersebut, kriteria lain yang perlu dievaluasi adalah: (6) apakah jenis font yang dipilih memadai? (7) citra dan grafik digunakan secara tepat? (8) pilihan warna tepat? (9) bahasa yang digunakan mudah dipahami? Standar F: Aksesabilitas Standar aksesabilitas memastikan objek pembelajaran mengakomodasi pembelajar yang memiliki keterbatasan indera dan gerakan. Evaluasi terhadap aksesabilitas mencakup apakah: (1) objek pembelajaran mematuhi standar aksesabilitas W3C AA? (2) dilengkapi informasi bagi pembelajar untuk mengubah pengaturan default agar aplikasi dapat menyesuaikan dengan aksesabilitas pengguna? Standar G: Reusabilitas dan kepatuhan terhadap standar Standar reusabilitas dan kepatuhan terhadap standar memastikan objek pembelajaran dapat dipakai pada beragam konteks pembelajaran dengan pembelajar yang berbeda-beda latar belakangnya, serta sesuai dengan spesifikasi dan standar internasional. Evaluasi terhadap standar reusabilitas dan kepatuhan terhadap standar mencakup, apakah: (1) objek pembelajaran meliputi satu atau lebih unit pembelajaran (learning units), masingmasing disesuaikan dengan satu topik atau satu tujuan pembelajaran, dan dikemas sebagai satu sumber belajar mandiri (stand alone resource)? (2) kebutuhan perangkat keras dan perangkat lunak didefinisikan dengan jelas? (3) objek pembelajaran dibuat dengan mematuhi standar interoperabilitas teknis yang memungkinkan prinsip berbagi konten dan asesmen di antara beragam LMS?. Standar H: Hak atas kekayaan intelektual dan hak cipta Standar hak atas kekayaan intelektual dan hak cipta memastikan metadata objek pembelajaran menyebutkan hak pemiliki dan syarat pemakaiannya. Evaluasi terhadap standar hak atas kekayaan intelektual dan hak cipta mencakup apakah: (1) isu terkait hak cipta atau hak atas kekayaan intelektual dari materi pembelajaran dinyatakan dengan jelas? 5 | Halaman (2) jika konten dikembangkan dan dimiliki oleh individu atau organisasi, disertai lisensi Creative Common? (3) Seluruh bahan yang dikutip, disitasi dengan benar sesuai salah satu format sitasi standar? Terhadap butir-butir kriteria tiap standar, evaluator cukup menilai keterpenuhan kriteria dalam 3 (tiga) tingkat, yakni: (1) sepenuhnya memenuhi kriteria, (2) sebagian sesuai kriteria, dan (3) tidak memenuhi kriteria. Selain evaluasi opsi tertutup, evaluator juga dapat menambahkan catatan untuk tiap-tiap kriteria. NHS Shared Learning memberikan batasan bahwa objek yang dapat dievaluasi dengan 8 standar meliputi, antara lain: dokumen teks sederhana, foto, klip video, citra 2 atau 3 dimensi, topik tunggal dilengkapi dengan tujuan pembelajaran, dan paket pembelajaran daring. Standar B-E mungkin tidak tepat apabila dipaksakan untuk mengevaluasi file sederhana, misalnya citra. Evaluasi atas kualitas pembelajaran daring dilakukan dengan menetapkan 4 (empat) standar sebagai acuan, yang terdiri atas standar A-D, meliputi: 1. Standar A: Konten Evaluasi terhadap standar konten meliputi apakah: (1) tujuan pembelajaran dapat diukur dan dinyatakan secara jelas apa yang akan diketahui atau dapat dilakukan oleh pembelajar di akhir pembelajaran? (2) dilengkapi silabus atau rencana pembelajaran yang jelas? (3) tujuan pembelajaran sesuai dengan kebutuhan konten dan jenjang keterampilan pembelajar? (4) persyaratan pembelajaran (misalnya: alokasi waktu, cara komunikasi, aktivitas pembelajaran, dan asesmen) konsisten dengan tujuan pembelajaran serta dinyatakan dengan jelas? (5) isu terkait hak cipta dan hak atas kekayaan intelektual dinyatakan secara jelas? (6) kebijakan mengenai proteksi data dinyatakan secara jelas bila diperlukan, misalnya bila program pembelajaran mensyaratkan identifikasi pemakai? (7) asesmen pembelajaran disertakan dan jawaban maupun penjelasannya tersedia? (8) konten pembelajaran akurat, mutakhir, dan tidak bias? (9) literasi informasi umum dan keterampilan komunikasi disertakan sebagai bagian integral dari paket pembelajaran? (10) sumber belajar tersedia untuk membantu pembelajar mendapatkan pengetahuan dan keterampilan prasyarat sebelum memulai pembelajaran? (11) catatan dan sumber belajar untuk instruktur disertakan? 2. Standar B: Desain Pembelajaran Evaluasi terhadap desain pembelajaran, meliputi apakah: (1) rancangan pembelajaran mencerminkan pemahaman yang jelas tentang kebutuhan pembelajar dan menyertakan berbagai cara belajar untuk beragam jenjang penguasaaan (dari semenjana sampai pakar)? (2) paket pembelajaran disusun dalam unit-unit pembelajaran? (3) unit pembelajaran menyertakan penjelasan tentang tujuan pembelajaran, aktivitas pembelajaran, dan sumber belajar dalam unit tersebut? (4) pembelajaran melibatkan pembelajar dalam aktivitas yang ditujukan untuk beragam gaya belajar? (5) penugasan tertulis sesuai dengan konten pembelajaran dan pembelajar? (6) pembelajaran dirancang untuk mengajarkan konsep dan keterampilan yang akan bertahan lama? (7) pembelajaran mencakup aktivitas yang melibatkan pembelajar dalam pembelajaran aktif? (8) pembelajaran menyediakan alurbelajar alternatif (learning pathway) untuk menguasai konten berdasar kebutuhan pembelajar? (9) paket pembelajaran memberikan kesempatan bagi pembelajar untuk dilibatkan dalam berfikir tingkat tinggi (higher-order thinking) termasuk pemecahan masalah, pengembangan model mental, pembentukan opini? (10) desain pembelajaran memungkinkan paket pembelajaran diadaptasi untuk mengakomodasi pembelajar berkebutuhan khusus? (11) desain pembelajaran memberikan kesempatan bagi interaksi 6 | Halaman antara pembelajar dengan fasilitator pembelajaran, termasuk umpan balik terkait kemajuan pembelajar? (12) pembelajar memiliki akses terhadap informasi dan bahan ajar yang memperkaya pembelajaran? (13) paket pembelajaran memberikan kesempatan bagi pembelajar untuk memberikan umpan balik terhadap isi pembelajaran? 3. Standar C: Asesmen Evaluasi atas standar asesmen, meliputi apakah: (1) strategi asesmen konsisten dengan tujuan pembelajaran dan dinyatakan secara jelas? (2) struktur paket pembelajaran mencakup metode dan prosedur untuk meng-assess penguasaan pembelajar atas tujuan pembelajaran? (3) asesmen formatif dilakukan untuk memverifikasi kesiapan pembelajar mengikuti tahapan pembelajaran berikutnya? (4) strategi asesmen menjadikan pembelajar menyadari kemajuan belajarnya? (5) strategi asesmen cukup fleksibel untuk meng-ases pembelajar dalam beragam cara,?(6) skema dan model pemeringkatan tersedia bagi tutor untuk meng-ases pembelajar? 4. Standar D: Teknologi Evaluasi atas standar teknologi, meliputi apakah: (1) arsitektur paket pembelajaran memungkinkan tutor menambahkan konten, aktivitas, dan asesmen untuk memperluas kesempatan belajar? (2) paket pembelajaran disusun dengan mematuhi standar interoperabilitas teknis, memungkinkan berbagi konten dan asesmen di antara beragam LMS? (3) paket pembelajaran mematuhi standar aksesabilitas W3C AA? (4) kebutuhan perangkat keras, peramban, dan perangkat lunak dispesifikasikan dengan jelas? (5) keterampilan teknologi yang dipersyaratkan dinyatakan dengan jelas? (4) navigasi dalam pembelajaran mudah dilakukani? (6) penyedia paket pembelajaran memberikan bantuan teknis dan pengelolaan pembelajaran? Penjaminan Kualitas dalam SPADA Indonesia SPADA Indonesia, atau Sistem Pembelajaran Daring Indonesia, adalah portal yang dimiliki Kemenristekdikti untuk mengelola pembelajaran daring yang diselenggarakan oleh berbagai perguruan tinggi di Indonesia. Kemenristekdikti bukanlah operator yang dapat menyelenggarakan pembelajaran, sehingga yang dapat dilakukannya hanyalah menyediakan fasilitas atau sarana menempatkan mata kuliah sedangkan penyelenggaranya adalah perguruan tinggi yang menempatkan mata kuliah dalam portal SPADA Indonesia tersebut. Sebagai penyedia fasilitas, Kemenristekdikti berperan memastikan bahwa mata kuliah yang ada di portal SPADA Indonesia adalah mata kuliah yang telah dijamin kualitasnya. Prosedur pengajuan mata kuliah untuk dapat ditempatkan dalam portal SPADA Indonesia ditunjukkan pada alur kerja berikut ini (Anonim, 2016). 1. Pengusul membuat objek pembelajaran dan menyusunnya dalam bentuk mata kuliah daring dalam LMS di portal SPADA Indonesia maupun di LMS perguruan tingginya sendiri. 2. Perevieu melakukan evaluasi atas tiap-tiap objek pembelajaran yang ada dalam mata kuliah daring tersebut, dan penempatannya dalam konteks strategi pembelajaran, metode pembelajaran, urutan penyajian, dan aspek-aspek pedagogis lainnya. 3. Hasil evaluasi menjadi informasi bagi pengelola portal SPADA Indonesia untuk menerima mata kuliah daring yang diusulkan atau meminta perbaikan pada pengusul. Jadi, yang dirancang oleh pengusul adalah objek pembelajaran dan penataannya dalam LMS. Sebagai sebuah rencana pembelajaran, penataan objek pembelajaran dalam LMS tentu saja disertai pesanpesan pembelajaran (learning messages) dan alur pembelajaran (learning path). Dengan demikian, 7 | Halaman selain evaluasi kualitas intrinsik objek pembelajaran, dapat dilakukan juga evaluasi kualitas kontekstual secara terbatas, bersifat potensial karena belum dilaksanakan. Pereviu yang mendapatkan tugas untuk mengevaluasi mata kuliah akan melihat dan menelusuri objek pembelajaran dan penataan di dalam LMS. Selain menilai kualitas intrinsik masing-masing objek pembelajaran, pereviu juga melakukan penilaian atas kualitas kontekstual objek pembelajaran yang telah ditempatkan dalam LMS dan ditata dengan menambahkan pesan pembelajaran (learning message) dan alur pembelajaran (learning path). Pesan pembelajaran dapat berupa sapaan, arahan, pernyataan mengenai tujuan pembelajaran, dan pesan-pesan serupa yang dimaksudkan untuk memberikan arahan mengenai apa yang harus dikerjakan peserta pembelajaran terkait dengan kegiatan pembelajaran daring. Alur pembelajaran umumnya tergambarkan dalam bentuk peta kompetensi, yang menjelaskan kompetensi apa yang menjadi prasyarat atau yang lebih dulu dikuasai daripada kompetensi lain. Instrumen untuk menilai kualitas objek pembelajaran SPADA Indonesia terdiri atas 6 indikator dengan skala skor 1-4 dan instrumen identifikasi kelengkapan komponen mata kuliah daring SPADA Indonesia. Gambar 1. Instrumen Evaluasi Kualitas Konten SPADA Indonesia 8 | Halaman Dari 6 indikator, 2 indikator yakni indikator nomor 3 (yakni “Ragam objek pembelajaran (teks, gambar, audio, video, animasi, simulasi) yang dipilih tepat sesuai dengan kebutuhan dan karakter capaian pembelajaran”) dan indikator nomor 6 (yakni “Tampilan visual jelas, teks mudah dibaca, grafik dan chart diberi label memadai dan bebas gangguan visual”) yang menggambarkan kualitas intrinsik objek pembelajaran. Terhadap mata kuliah yang akan disajikan secara dalam jaringan dilakukan pula identifikasi terhadap komponen-komponen yang harus ada. Keberadaan komponen-komponen pembelajaran ini dimaksudkan sebagai sarana untuk menjamin validitas tampilan pembelajaran daring. SPADA Indonesia mempersyaratkan keberadaan komponen-komponen berikut ini. 1. Identitas mata kuliah, perlu diberikan karena mata kuliah dalam SPADA Indonesia dirancang untuk diikuti oleh mahasiswa dari seluruh Indonesia. Identitas mata kuliah ini mencakup: nama mata kuliah, kode mata kuliah, beban SKS, jenjang pendidikan, dan nama perguruan tinggi. 2. Identitas dosen dan tutor. Informasi mengenai dosen dan tutor yang perlu diberikan mencakup nama, foto diri, alamat email dan/atau nomor ponsel, dan profil diri (akademik) dosen. 3. Salam pembuka, merupakan sapaan di awal babak pembelajaran untuk mengkomunikasikan berbagai hal terkait aktivitas pembelajaran. Dalam bagian ini, dapat diinformasikan mengenai tujuan atau capaian pembelajaran (baik dengan cara diuraikan langsung atau dengan menautkan dokumen perangkat pembelajaran). 4. Deskripsi matakuliah, mencakup penjelasan mengenai relevansi mata kuliah terhadap kepentingan mahasiswa (dalam konteks program studi), kemanfaatan mata kuliah, capaian pembelajaran yang dibebankan pada mata kuliah (dikaitkan dengan capaian pembelajaran program studi), dan petunjuk mengenai cara belajar peserta pembelajaran. 5. Kompetensi, berisi peta kompetensi pada mata kuliah dan level capaiannya berdasarkan taksonomi Bloom. 6. Jadwal/Durasi perkuliahan, berisi penjelasan mengenai durasi pembelajaran tiap babak (yakni waktu yang diperkirakan diperlukan oleh peserta pembelajaran untuk mempelajari materi dalam satu babak tersebut). Jadwal interaksi sinkron dan waktu-waktu penting dalam aktivitas pembelajaran perlu disertakan. 7. Rencana babak, merupakan garis besar program pembelajaran atau dapat juga dalam bentuk peta program yang memberikan gambaran mengenai pembabakan, jenis objek pembelajaran yang digunakan, serta aktivitas pembelajarannya 8. Rencana asesmen, mencakup rencana perangkat asesmen dan waktu pelaksanaannya, dalam bentuk keberadaan tugas, latihan, kuis, ujian tengah semester, dan ujian akhir semester. 9. Bahan setiap babak, berisi informasi yang diberikan dalam setiap babak, meliputi: info awal (misalnya berupa sinopsis/ringkasan isi, pesan pembelajaran atau pemandu belajar), bahan bacaan, tautan ke sumber lain, slide, video, animasi, latihan, tugas, kuis. 10. Strategi interaksi, berisi penjelasan dan fasilitas yang telah disiapkan dalam LMS untuk berinteraksi dengan mahasiswa, mencakup forum diskusi, chat/vicon, Kerja kelompok, unggah tugas, pengumuman. 11. Referensi, berisi daftar referensi yang digunakan dalam kegiatan pembelajaran. Khusus untuk referensi daring, perlu dilengkapi dengan URL sehingga peserte pembelajaran dapat mengaksesnya. 12. Daftar istilah (Glosarium), berisi definisi mengenai istilah-istilah yang digunakan dalam pembelajaran 9 | Halaman 13. UAS (Ujian Akhir Semester), berisi penjelasan mengenai rancangan dan/atau keberadaan soal ujian akhir semester 14. UTS (Ujian Tengah Semester), berisi penjelasan mengenai rancangan dan/atau keberadaan soal ujian tengah semester 15. Evaluasi matakuliah, berisi penjelasan mengenai keberadaan kuesioner pasca pembelajaran sebagai sarana meminta umpan balik dari siswa. Pemeriksaan mengenai keberadaan komponen-komponen pembelajaran daring yang telah disiapkan dalam LMS dimaksudkan untuk menjamin validitas tampang pembelajaran daring. Keberadaan komponen-komponen pembelajaran dimaksudkan untuk memudahkan pembelajar dan evaluator program membuat penilaian kualitas kontekstual pembelajaran daring berdasarkan pada pemanfaatan fasilitas-fasilitas LMS secara efektif dan efisien. Simpulan Pembelajaran daring yang diselenggarakan melalui portal Sistem Pembelajaran Daring (SPADA) Indonesia dievaluasi berdasarkan kriteria kualitas intrinsik dan kualitas kontekstual objek pembelajaran. Instrumen yang digunakan merupakan adaptasi dari instrumen yang digunakan untuk menilai kualitas objek pembelajaran dalam repositori Merlot maupun instrumen LORI. Selain itu, SPADA Indonesia menyertakan juga daftar cek komponen-komponen pembelajaran daring sebagai cara untuk menjamin validitas tampilan (face validity). Daftar Pustaka Anonim. 2014. Panduan Pengembangan Objek Pembelajaran. Jakarta: Direktorat Pembelajaran dan Kemahasiswaaan, Direktorat Jenderal Pendidikan Tinggi, Kementerian Pendidikan Dan Kebudayaan. Nesbit, J., Belfer, K., & Leacock, T. 2004 Learning Object Review Instrument (LORI) User Manual. Retrieved August, 19, 2017 from http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf Nesbit, J., Belfer, K. & Vargo, J. 2002. A Convergent Participation Model for Evaluation of Learning Objects. Canadian Journal of Learning and Technology Volume 28(3) Fall / automne, 2002 NHS Shared Learning. 2009. Quality Assurance Checklists for Evaluating Learning Objects and Online Courses. [Daring]. URL: https://www.knowledge.scot.nhs.uk/media/4088630/quality_assurance_checklists.pdf. Diunduh pada 12 Agustus 2017 Norwegian Centre for ICT in Education. Tanpa Tahun. Quality Criteria for Digital Learning Resources. [Daring]. URL: https://iktsenteret.no/sites/iktsenteret.no/files/attachments/quality_criteria_dlr.pdf. Diunduh pada 17 Agustus 2017 10 | Halaman
