Laporan Panduan Monitoring Dan Evaluasi

Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik, tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar sukar ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak  dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang  dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing, PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor Baru, PDB; Domestic Collaborative Research Grant , DCRG; DCRG; Studi Lingkungan; Kajian   Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda, karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM), riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan pemantapan  platform  riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita, DCRG, DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di lain pihak

Kantor Menteri Negara Riset dan Teknologi, KMNRT KMNRT pun

mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT; Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok; dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut bersaing memperebutkan biaya riset yang dialokasikan. Hibah riset yang berasal dari luar negeri seperti Asahi seperti  Asahi Glass Foundation , Toray  Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber Panduan Monitoring dan Evaluasi RUT 

1

dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu tertentu sehingga kelompok peneliti yang  eligible  untuk berpartisipasi, juga terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora; Risbiniptekdok, bagi bidang kedokteran, dll. Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam skala yang masih kecil, telah turut berperan serta dalam program riset perguruan tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang  dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi program riset di lingkungannya. Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik. Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang  dana riset riset untuk melaksanakan

monitoring sekaligus sekaligus evaluasi. Jadi, asas

desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang  diharapkan dapat sekaligus bertindak sebagai   peer reviewer tidak reviewer  tidak dapat terpenuhi, olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang  jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT) implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk  merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi 2

Panduan Monitoring dan Evaluasi RUT 

dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas monitoring dan evaluasi riset di Indonesia. Sejak

tahun

1993

dan

tahun-tahun

setelahnya,

KMNRT

telah

memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT, RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada pada posisi untuk melaksanakan program-program tersebut secara operasional. Implementasi program-program riset termaksud dilaksanakan oleh LPND yang  berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk  setiap program KMNRT dan model monev khusus untuk RUT. Dengan demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan RUSNAS, karena program-program tersebut membawa misi yang berlainan. Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke DRD. KMNRT mengakses situs web DRD web DRD untuk memantau kegiatan dan produk  riset di setiap propinsi.

Panduan Monitoring dan Evaluasi RUT 

3

Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.

4

Panduan Monitoring dan Evaluasi RUT 

Unit Riset 

adalah unit dimana sekelompok peneliti melakukan penelitiannya dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai kebijakan riset atau mengaplikasikan temuannya, dan (4) mempunyai program riset. Di dalam unit riset terdapat seorang  pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh unit riset antara lain: laboratorium, kelompok bidang keahlian, Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian, pusat antar universitas, bidang dan sejenisnya.

 Monitoring  adalah suatu kegiatan observasi yang berlangsung terus menerus untuk memastikan dan mengendalikan keserasian pelaksanaan program dengan perencanaan yang telah ditetapkan.

 Evaluasi

adalah suatu teknik penilaian kualitas program yang dilakukan secara berkala melalui metode yang tepat.

Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya meningkatkan kualitas operasional suatu program dan berkontribusi penting  dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam, kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya dan arah produktif potensial masa depan. Dengan menyediakan informasi yang  relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan program. Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan program dilukiskan secara sederhana seperti tampak pada Gambar 1. 1. Model Panduan Monitoring dan Evaluasi RUT 

5

tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang  kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling  sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan arah pelaksanaan program. Akan tetapi, karena operasionalisasi program merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang  bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masingmasing pola tersebut hanya mampu menetapkan sebagian dari total kualitas pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya. Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga).   Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah ditetapkan

dengan

melanjutkan

atau

mengubah

kebijakan

yang

ada,

mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program. Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret apalagi linier. Sudut pandang model di atas, dinilai telah berkorespondensi dengan pandangan tradisional tentang peran evaluasi dalam pengembangan suatu program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam 6

Panduan Monitoring dan Evaluasi RUT 

kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk  memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang  dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau dimodifikasinya suatu aksi.

1

Kebijakan Program

3

Pelaksanaan Program

Keputusan Terintegrasi tentang Kualitas

2

Kualitas Program

Standar  yang disepakati

Penilaian Kualitas

Perubahan konteks sosial − − −

− − −

SSosial osial PPolitik olitik

Sumber daya

Sumbe umberr da da a

Gambar 1. Model Proses Peningkatan Kualitas

Panduan Monitoring dan Evaluasi RUT 

7

Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang  tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek  tentang

ruang

lingkup

operasional

KMNRT

yang

berskala

nasional.

Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh) LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia. Sebagaimana telah diketahui bahwa aspek pengawasan, controlling , meliputi monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi. Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK. Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan seperti tampak pada Gambar 2 . Pada gambar tersebut dilukiskan mekanisme evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku utama, yaitu: 1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah  Asdep 4/III Evaluasi Kinerja Lembaga; 2. Penentu kebijakan dan program riset riset nasional, yang dalam hal ini terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertimbangkan saran atau rekomendasi Dewan Riset Nasional; 3. Pihak perencana anggaran nasional, yang terdiri dari unsur unsur Direktorat Direktorat  Jenderal Anggaran, Departemen Keuangan dan Bappenas; 4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan pusat-pusat studi. Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku

8

Panduan Monitoring dan Evaluasi RUT 

memegang peranan penting dalam proses kelancaran, efektivitas, berbasis monitoring dan evaluasi riset di Indonesia.

Masukan, input  − − − − −

visi, misi renstra, rencana aksi kebijaksanaan peraturan sumber daya

•

•

Proses, process

LPND

interaksi antar periset periset-pimpinan atmosfer riset; efisiensi; manajemen konflik

Profil Kinerja Lembaga Profil Sumberdaya Riset Lembaga

 Asdep Evaluasi Kinerja

− −

KMNRT

LD

Keluaran, output 

produktivitas artikel saintifik buku paten prototipe desain dll.

PT

−

Staf   Ahli

Deputi

− − − −

DJA

INDUSTRI

• •

−

DPR

Hasil, outcome −

aspek komersialisasi aspek internalisasi

−

return on investment 

−

Jakstra Punas

Bappenas

PUSAT STUDI

•

Dampak, impact 

•

Pengaruh positif dan/atau negatif terhadap lingkungan internal lingkungan eksternal

•

•

− −

Program Baru Sistem Baru Panduan

Program Baru Riset Nasional

Manfaat, benefit  − −

relevansi efektivitas

Gambar 2. Mekanisme Evaluasi Kinerja Lembaga

KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang  dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN, Pusat

Studi).

Berbasis

Panduan Monitoring dan Evaluasi RUT 

informasi

tersebut,

KMNRT

mengolah

dan 9

menganalisisnya menjadi menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan riset baru. Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen  Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan pembahasan program tersebut. Program-program riset yang telah disetujui pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat dikembangkan di daerah-daerah dalam menyusun program-program riset daerah, dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program riset yang spesifik untuk daerah yang bersangkutan. Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev  internal dengan cara melakukan self-evaluation  atau evaluasi diri, menetapkan indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih memerlukan dukungan pengembangan.

10

Panduan Monitoring dan Evaluasi RUT 

Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling  operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary  berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website  setiap lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum disimpan dalam website . Uraian rinci Sistem Informasi Riset, SIR dan jenis basis data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang  ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “ Sistem Informasi Riset ” yang diterbitkan oleh KMNRT, tahun 2001.

KMNRT

Lembaga/ Institusi

Sistem Informasi Riset, SIR - 3

Sistem Informasi Riset, SIR - 2

Sistem Informasi Riset, SIR – 1

UNIT RISET UNIT RISET

UNIT RISET

Basis Data: Identitas Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset

Gambar 3. Struktur Data MONEV KMNRT

Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT. Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan KMNRT untuk mendukung kegiatan monev, entry data dan data  dan program pengolahan data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas. Panduan Monitoring dan Evaluasi RUT 

11

Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahanperubahan atau perbaikan unit riset di masa depan.

6.1.

Perbedaan Evaluasi Formatif dan Sumatif 

Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2  berikut ini. Tabel 1. 1. Perbedaan Evaluasi Formatif dan Sumatif  Evaluasi Formatif  −

−

−

12

Evaluasi formatif dilakukan untuk membantu perancang  program, para manajer dan/atau staf untuk menyempurnakan program yang sedang  dikembangkan atau yang sedang  berjalan, Menuntut perhatian yang cukup untuk memantau implementasi program dan pencapaian tujuan, Dalam upaya untuk  meningkatkan program, diperlukan pemahaman tentang  kemajuan program ke arah pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan,

Evaluasi Sumatif  −

−

Evaluasi sumatif dilakukan untuk membantu sponsor atau institusi berwenang lainnya dalam menentukan keputusan apakah akan melanjutkan program yang dinilai sukses atau apakah akan menghentikannya,  Tujuan evaluasi sumatif adalah untuk mengoleksi dan menampilkan informasi yang  diperlukan dalam mendukung  pengambilan kesimpulan dan keputusan tentang program serta nilainya,

Panduan Monitoring dan Evaluasi RUT 

Evaluasi Formatif  −

−

−

Evaluasi formatif memerlukan  waktu lama sebab membutuhkan familiaritas akan banyak aspek  program dan melengkapi personil program dengan informasi serta wawasan untuk  membantu mereka memperbaikinya, Evaluasi formatif tidak perlu dilakukan, jika tidak ada peluang  melakukan perubahan untuk  suatu perbaikan, Hasil evaluasi formatif digunakan untuk merevisi aktivitas, penugasan, organisasi dan komponen lainnya di dalam program.

Evaluasi Sumatif  −

−

−

Evaluasi dilakukan dengan menggunakan pembanding, yaitu perbandingan hasil perencanaan program dengan tujuan yang ditetapkan oleh desainer program dan detilnya terekam dalam perencanaan program, Semakin jelas program dan terukurnya tujuan, konsistensi materi, organisasi dan aktivitas, semakin cocok dilakukannya evaluasi sumatif, Hasil evaluasi sumatif  digunakan untuk membantu memutuskan apakah suatu program akan dilanjutkan, dihentikan atau apakah dan bagaimana cara pengembangan atau menghentikannya.

Tabel 2 . Perbedaan Khusus antara Evaluasi Formatif dan Sumatif  Evaluasi Formatif  Sasaran utama

Desainer program Manajer program, Pelaksana program Klarifikasi tujuan Sifat program - Proses atau implementasi Klarifikasi persoalan - Saat implementasi dan - Kemajuan pada hasil program  Analisis level mikro dari - Implementasi dan - Hasil Kolaborator

Penentu kebijakan Donatur atau sponsor Publik yang berminat Dokumentasi hasil Dokumentasi implementasi  Analisis level mikro dari - Implementasi dan - Hasil

Interaktif

Independen

Kualitatif dan kuantitatif  dengan lebih ditekankan pada situasi sebelumnya

Kuantitatif, kadangkala diperkaya dengan kualitatif 

− − −

Konsentrasi pada saat pengkoleksian data

Pelaku utama pengembang  program dan pelaksana Peran utama evaluator Metodologi

Panduan Monitoring dan Evaluasi RUT 

Evaluasi Sumatif  − − −

Penyuplai data

13

Evaluasi Formatif Frekuensi pengkoleksian data Mekanisme utama pelaporan Frekuensi pelaporan Penekanan dalam laporan

Monitoring yang sedang  berjalan Diskusi Interaksi pertemuan informal Berulang-ulang

−

−

−

−

−

−

6.2.

 Terbatas Laporan formal

−

−

Syarat untuk  kredibilitas

Evaluasi Sumatif 

Hubungan diantara unsur proses-level mikro Hubungan diantara konteks dan proses Hubungan diantara proses dan hasil Implikasi untuk  pelaksanaan program dan perubahan spesifik  saat pelaksanaan Kesepakatan kinerja program dengan pengembang atau pelaksana  Advokasi atau kepercayaan

Saat menyimpulkan −

−

Hubungan makro antara konteks-proses-hasil Implikasi untuk  kebijakan, kontrol administratif dan manajemen

Obyektivitas saintifik 

Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif 

Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara garis besar telah dimuat secara lengkap pada Tabel 3 berikut. Tabel 3. 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif  Evaluasi Formatif   Tahap 1:  Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Mencari sebanyak mungkin informasi tentang program 1.3. Merumuskan program 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda

14

Evaluasi Sumatif   Tahap 1:  Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Menemukan sebanyak mungkin informasi tentang program dalam bentuk pertanyaan 1.3. Merumuskan program X dan C 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda

Panduan Monitoring dan Evaluasi RUT 

Evaluasi Formatif   Tahap 2: Pilih Metode Evaluasi yang Cocok  2.1. Mempertajam perumusan perumusan program program 2.2. Memastikan anda anda mengajukan pertanyaan yang benar 2.3. Menemukan keterangan keterangan apa yang  yang  akan dihasilkan dari data yang yang anda suplai 2.4. Mendesain perencanaan perencanaan untuk  menguji implementasi program 2.5. Mendesain kemajuan kemajuan sistem monitoring  2.6. Mengkonsolidasikan perhatian anda 2.7. Mengestimasikan biaya evaluasi 2.8. Persetujuan final tentang layanan dan tanggungjawab  Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Koleksi dan analisis informasi 3.2. Pastikan batas akhir koleksi data 3.3. Tentukan ekspektasi untuk  menginterpretasikan data anda 3.4. Pastikan bahwa perencanaan koleksi koleksi data anda telah diimplementasikan semestinya 3.5. Analisis data untuk peningkatan program

 Tahap 4: Penyusunan Laporan 4.1. Pastikan strategi komunikasi 4.2. Bertemu dengan manajer program dan/atau staf untuk mendiskusikan kelanjutan temuan 4.3. Tinggalkan catatan evaluasi

Panduan Monitoring dan Evaluasi RUT 

Evaluasi Sumatif   Tahap 2: Pilih Metode Evaluasi yang Cocok  2.1. Pilih pendekatan pengkoleksian data dan instrumen evaluasi 2.2. Konsolidasikan perhatian perhatian anda kepada instrumen yang cocok  2.3. Rencanakan konstruksi dan pengadaan instrumen evaluasi 2.4. Rencanakan analisis data yang akan dihasilkan dari setiap instrumen 2.5. Pilih desain evaluasi evaluasi 2.6. Pilih contoh strategi untuk  mengkonduksi koleksi data 2.7. Estimasi biaya evaluasi 2.8. Persetujuan final tentang layanan dan dan tanggungjawab  Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Pastikan batas akhir 3.2. Siapkan desain evaluasi 3.3. Pengelolaan instrumen, penilaian dan pencatatan data - mulai menyiapkan instrumen yang diperlukan - instrumen penilaian sesuai format hasil yang diharapkan - catat hasil setiap pengukuran kedalam lembar ringkasan data 3.4. Lakukan analisis  Tahap 4: Penyusunan Laporan 4.1. Perencanaan laporan 4.2. Pilih metode presentasi 4.3. Set laporan

15

Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu), sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti Gambar 4. 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang  khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran, penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu, yaitu: 1. KMNRT, sebagai penanggung jawab jawab program Riset Unggulan Terpadu; 2. Pengelola program RUT dari Lembaga Pemerintah Pemerintah Non Departemen (LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu Pengetahuan Indonesia (LIPI); 3. Lembaga/institusi riset seperti LPND, LPND, Litbang Departemen, Perguruan  Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit riset; 4. Unit riset yang menaungi peneliti RUT. Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban menyusun kebijakan dan merumuskan misi program RUT berikut program aksi tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk  satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan, studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran belanja tahunan RUT.

16

Panduan Monitoring dan Evaluasi RUT 

Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring  dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program (dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset, KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT yang dihasilkan. Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap lebih

lanjut

diinformasikan

kepada

KMNRT.

LIPI

berkewajiban

mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau institusi riset nasional dengan mengirimkan buku pedoman RUT tahun bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset, khususnya pelaksana RUT untuk aspek substantif. Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT dengan LIPI sebagai pengelola program dalam hal administratif penunjang  implementasi program, misalnya penyusunan dan penandatanganan kontrak  kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan evaluasi dan kegiatan administrasi sejenis lainnya. Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi Panduan Monitoring dan Evaluasi RUT 

17

riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru, perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI.

Perencanaan, Penganggaran Program, Monitoring dan Evaluasi Substansi riset serta Kinerja Pengelola

KMNRT Monitoring dan Evaluasi Kinerja Lembaga

1

3

2

UR

Pengelola

Lembaga Implementasi Program, Monitoring dan Evaluasi Substansi Riset UR = Unit Riset 1 2 3

= Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset. = Monitoring dan evaluasi substansi riset = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi

Gambar 4. Mekanisme MONEV RUT

7.1. Proses Monitoring dan Evaluasi RUT

Program Riset Unggulan Terpadu (RUT) adalah program riset yang  dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset yang

dinilai

berkualitas

akan

mendapat

kesempatan

bersaing

untuk 

mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir seperti tampak pada Gambar 5 . Adapun contoh basis data yang diperlukan dari setiap tahapan proses, seperti tercantum pada lampiran halaman 63. 18

Panduan Monitoring dan Evaluasi RUT 

ALIRAN PROSES

BASIS DATA, BD

BD Proposal Masuk BD – 1

Penerimaan Proposal

Rapat Panel I

Ditolak

BD Proposal Diteruskan ke Reviewer  BD – 3

Peer Reviewer 

Rapat Panel II

Seminar Pembahasan

Ditolak

BD Proposal Ditolak II (BD – 4)

Tidak diusulkan untuk dibiayai

BD Proposal Ditolak III (BD – 5) BD Proposal Dibiayai Th-1 (BD – 6)

Diusulkan untuk dibiayai Kontrak Kerjasama

BD pelaksanaan Dihentikan th-1 BD – 7

Pelaksanaan Tahun I

Dihentikan Pembiayaannya*

Seminar Evaluasi dan Pembahasan

Pelaksanaan Tahun II

Dihentikan Pembiayaannya*/ Dinilai Selesai

Seminar Evaluasi dan Pembahasan

BD Proposal Ditolak I (BD – 2)

* Walaupun dihentikan pembiayaannya, Peneliti Utama harus melaporkan hasil pelaksanaan risetnya.

Pelaksanaan Tahun III

BD Pelaksanaan Dibiayai Th-2 (BD – 8) BD pelaksanaan Dihentikan th-2 BD – 9 BD Pelaksanaan Dibiayai Th-3 (BD – 10)

Seminar Evaluasi dan Pembahasan

Laporan Akhir Pelaksanaan Riset

Penilaian Laporan Akhir Riset

Predikat Riset** Sangat Memuaskan (A) Memuaskan (B) Cukup (C) Kurang (D)

Publikasi RUT terbaik Pemberian award

BD Hasil Penilaian Akhir  (BD – 11)

**   A : Peneliti Utama dapat langsung mengajukan   proposal baru, pada program RUT tahun  berikut.  B : Peneliti Utama dapat mengajukan proposal  RUT dua tahun berikutnya. C : Peneliti Utama dapat mengajukan proposal  RUT tiga tahun berikutnya. D :Peneliti Utama dapat mengajukan proposal  RUT empat tahun berikutnya.

Keterangan: Detil isi masing-masing basis data, seperti  terlampir 

Gambar 5 . Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat

Panduan Monitoring dan Evaluasi RUT 

19

7.2. Uraian proses seleksi, monitoring dan evaluasi RUT

Penerimaan Proposal  

Format Proposal RUT disusun dengan sistematika berikut (penomoran format tidak dibakukan, sewaktu-waktu dapat berubah): 1. Data Pengusul Proposal terdiri dari: Judul; Judul; Pengenalan; Pengesahan; Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia  Teknisi; Biodata Peneliti. Contoh format terlampir. 2. Proposal Riset, terdiri dari: dari: Lembar Depan; Rancangan Penelitian; Isi Proposal; Personalia Riset; Riset; Rincian Rincian Anggaran; dan Jadual Kegiatan. Contoh format terlampir.



Proposal disusun secara seksama mengikuti petunjuk penyusunan yang  tercantum pada “ Buku Petunjuk Penyusunan Proposal RUT” .



Sekretariat RUT setelah menerima dan mencatat proposal yang masuk, mengadakan seleksi administratif terhadap persyaratan Peneliti Utama, Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapankelengkapan lainnya.



Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX, dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak  mencantumkan identitas pengusul.

Rapat Panel I  

 Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat memindahkan ke bidang lain yang lebih sesuai dengan menggunakan format Perpindahan Bidang (contoh Bidang (contoh terlampir).



Proposal yang dapat dinilai langsung oleh Panel, penilaiannya menggunakan format Hasil Penilaian Panel (contoh Panel  (contoh terlampir). Sedangkan rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi  Hasil Penilaian Proposal  (contoh terlampir).



Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke Seminar Pembahasan, atau di kirim ke Peer Reviewer .

20

Panduan Monitoring dan Evaluasi RUT 

Peer Reviewer  

Peer  Reviewer  adalah pakar dengan keahlian sesuai dengan substansi proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan tanggapan dan evaluasi atas suatu proposal.



Proposal yang sangat perlu mendapat tanggapan dari Peer  Reviewer  dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh Reviewer  (contoh terlampir).



Peer  Reviewer  melakukan evaluasi secara kritis atas suatu proposal untuk  membantu panel pakar mengambil keputusan,



Dalam melakukan evaluasi,   peer reviewer tidak reviewer  tidak diijinkan kontak dengan pengaju proposal dan hasil evaluasinya bersifat rahasia,



Hasil evaluasi   peer reviewer dituliskan reviewer dituliskan pada formulir Hasil evaluasi reviewer  (contoh format terlampir), dan selanjutnya disampaikan kepada Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat Panel II.

Rapat Panel II  

Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan Peer Reviewer. Peer Reviewer.



Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi  Proposal (contoh Proposal (contoh terlampir).



Rapat Panel II, hasilnya dapat dapat berupa : Proposal dilanjutkan ke Seminar Seminar Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi selanjutnya).

Seminar Pembahasan 

Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II untuk menyajikan dan memperjelas proposalnya di depan panel pakar dan peneliti utama lainnya di bidang yang sama.

Panduan Monitoring dan Evaluasi RUT 

21



Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format

Berita Acara  Hasil Seminar Pembahasan 

(contoh terlampir). 

Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk  dibiayai dan proposal tidak diusulkan untuk dibiayai.

 Kontrak Kerjasama 

Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai penanggungjawab riset selanjutnya menandatangani kontrak kerjasama untuk

melaksanakan

kegiatan

riset

seperti

yang

tertera

dalam

proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya. 

Pencairan anggaran untuk biaya operasional riset dilakukan termin per termin dengan memperhatikan laporan kemajuan riset yang telah dicapai.

Seminar Evaluasi dan Pembahasan 

Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus membahas rencana kerja RUT tahun berikutnya.



Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu : 1. Riset diusulkan untuk dibiayai kelanjutannya; 2. Riset tidak diusulkan untuk dibiayai kelanjutannya; 3. Riset telah selesai



Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja dan kegiatan penunjang.



Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT Evaluasi  RUT (contoh terlampir).

22

Panduan Monitoring dan Evaluasi RUT 

 Monitoring dan Evaluasi Kegiatan   Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk  memantau secara langsung kegiatan RUT di laboratorium tempat RUT dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal yang menjadi fokus perhatian adalah substansi saintifik dan administratif. Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format matriks pemantauan dan evaluasi RUT, seperti terlampir.

 Evaluasi Hasil Akhir  Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih besar cakupan materi, tujuan dan dana riset yang diperlukan. Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari : 1. Pelaksanaan riset, yang meliputi: 

Keterpaduan



Sistematika laporan



Konsistensi dengan tujuan



Kelayakan biaya dengan luaran yang dihasilkan



Ketepatan pelaksanaan rencana

2. Luaran produk : 

Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten dan/atau teknologi baru/prototipe.

Panduan Monitoring dan Evaluasi RUT 

23



Dampak, luaran berupa pengembangan SDM, pengembangan Iptek, dan yang mendukung upaya pembangunan.

7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator Kinerja Lembaga Riset

Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri disarankan agar mampu melaksanakan monitoring dan evaluasi secara mandiri. KMNRT dalam dalam hal ini hanya berfungsi sebagai pendorong dan pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan pengembangan yang diperlukan. Untuk membantu lembaga atau institusi riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu disertai maksud dan tujuan data koleksi tersebut. Contoh berikut adalah model evaluasi untuk riset dan merupakan bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek  kegiatan lembaga.

Visi dan Misi Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang  keduanya merupakan referensi yang baik bagi analisis komparatif terhadap jenis tema atau topik, produk, manfaat dan dampak riset yang telah dihasilkan.

Sumberdaya Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia, tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja seperti efisiensi, efektivitas, critical mass, unit cost  riset faktual, dan keberlanjutan ( sustainability    ). Disarankan juga untuk menganalisis seluruh sustainability  data yang dipunyai menurut metode statistik sehingga informasi yang 

24

Panduan Monitoring dan Evaluasi RUT 

dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis hubungan antar indikator kinerja. Diawali dengan data sumberdaya manusia yang diyakini merupakan data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat seluruh proses kepegawaian, umumnya teradministrasikan dengan baik, mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan hubungan kerja pegawai suatu lembaga.

Tenaga Kerja −

Tenaga Struktural    Yang

dimaksudkan

dengan

tenaga

struktural

adalah

tenaga

administrasi atau tenaga fungsional yang ditugaskan selama periode   waktu tertentu untuk mengisi jabatan struktural formal di dalam organisasi lembaga. Eselon

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

I II III IV TOTAL −

Tenaga Administrasi    Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang  direkrut khusus untuk melaksanakan tugas dalam bidang administrasi.  Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset. Pendidikan

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

S3 S2 S1 D3 SLTA TOTAL Golongan

I II III

Panduan Monitoring dan Evaluasi RUT 

25

IV TOTAL −

Tenaga Fungsional    Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset.

Pendidikan

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

S3 S2 S1 D3 SLTA TOTAL Jabatan

Periset Perekayasa Tenaga Litkayasa Pranata Komputer  Pustakawan  Arsiparis  Auditor  Golongan

I II III IV TOTAL

 Tenaga kerja di suatu lembaga umumnya menerima kesempatan untuk mengembangkan karirnya selama periode aktif, melalui berbagai peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan lain sebagainya. Data yang lebih bersifat individual semacam ini seringkali tidak tercatat secara administratif di kantor pusat, namun lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data 26

Panduan Monitoring dan Evaluasi RUT 

ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk  mendukung keperluan itu, diperlukan sejumlah data sebagai berikut: No.

Nama Pegawai

Gol

Jabatan Fungsional

Pendidikan Formal

Pendidikan Formal

Jenis

Jenis

Lama

Lama

Sarana dan Prasarana −

Laboratorium  Data laboratorium tergolong ke dalam data yang cukup sulit pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan data laboratorium sangat diperlukan dalam menetapkan indikator kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit, indeks

ruangan

kerja.

Olehkarena

itu,

untuk

memungkinkan

dilakukannya analisis yang baik terhadap fasilitas laboratorium, diperlukan data sebagai berikut:

Unit Riset

Laboratorium

Luasan (m2)

Biaya Perawatan (Rp/ tahun)

Usia Labor  (tahun)

Kondisi Fungsional Laboratorium

Layanan Masyarakat*

Rata-rata penggunaan (jam/ minggu)**

* (pelatihan, kerjasama riset, pemeriksaan-pengujian, pemeriksaan-pengujian, dll kegiatan yang sejenis) ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat) masyarakat)

−

Peralatan  Seperti halnya data tentang laboratorium, suatu lembaga umumnya lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara berkala melaporkan ke unit utamanya tentang mutasi inventaris yang  terjadi, namun data fungsional dan efisiensi penggunaan peralatan, sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi peralatan yang dipunyai, rendahnya kemampuan lembaga dalam melakukan reinvestasi peralatan, produk riset yang belum mencapai

Panduan Monitoring dan Evaluasi RUT 

27

taraf komersial menyebabkan data yang ada belum mampu mengindentifikasi indikator kinerja seperti return on investment . Juga informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi dengan keterbatasan ketersediaan data di lembaga riset. Untuk  mencoba identifikasi

memberi

dukungan

kepada

terselenggaranya

efisiensi

peralatan,

disarankan

agar

lembaga

proses riset

mengumpulkan data yang diperlukan sebagai berikut:

Unit Riset

Laboratorium

Nama Alat Utama

Biaya Perawatan (Rp/ tahun)

Usia Alat (tahun)

Kondisi Fungsional Peralatan

Layanan Masyarakat*

Rata-rata penggunaan (jam/ minggu)* *

* (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis) * * (termasuk kegiatan operasional rutin, layanan masyarakat)

−

Dana   Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset yang dipergunakan untuk membiayai riset sepanjang tahun tanpa memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut merupakan akumulasi seluruh dana riset yang diperoleh lembaga termasuk yang diperoleh periset melalui kemampuan individu atau kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan indikator kinerja keberlanjutan lembaga, attractiveness , relevansi produk  riset dan unit cost  faktual lembaga. Untuk itu diperlukan data sebagai berikut: Pusat Sumber Dana

1. 2. 3. 4. 5. 6. 7. 8. 28

   n     i    m     d     A

Unit Riset 1

   n    s     i    e    m    v    n     d     I     A

Unit Riset n

   n    s     t     i    e    e    s    m    v     i    n     R     d     I     A

   s     t    e    e    s    v     i    n     R     I

Total

DIP (rupiah murni) DIK DIKS Bantuan LN (US$) Hibah LN (US$) Kerma Bilateral (US$) Lainnya (mis.Reboisasi) Total 1

Panduan Monitoring dan Evaluasi RUT 

Total

−

Informasi  Layanan informasi terakhir dapat dibedakan atas layanan manual dan elektronik. Layanan manual dimaksudkan untuk model layanan perpustakaan. Sedangkan layanan elektronik adalah layanan informasi melalui sistem jaringan komputer. Informasi tentang perpustakaan dan komputer pada hakekatnya diperlukan untuk menunjukkan indikator kinerja efisiensi, relevansi tema riset dengan state of the art  keilmuan, kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain:

No

Unit Riset

Nama Perpustakaan

Koleksi Luasan (m2)

Tahun Jenis*

Jml

Terbit

Masa Layanan

Biaya Rutin

Pengun jung

(Jam/ Minggu)

(Rp/ tahun)

(orang/ tahun)

* (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain)

 Aktivitas −

 Administrasi dan Operasional Riset    Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola, yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga, dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia, efektivitas lembaga, attractiveness  unit, relevansi program. Untuk itu diperlukan dukungan data berikut: No.

Kerjasama

Panduan Monitoring dan Evaluasi RUT 

Usia Kerma

Instansi Mitra

Nilai Kerma (RP)

Produk Kerma

Unit Riset Pelaksana

Jumlah Peneliti Terlibat

29

−

 Agenda Riset Tahunan, ART    Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun anggaran atau tahun akademik. Adanya ART mengindikasikan adanya manajemen riset yang profesional dan sistematis di lingkungan suatu lembaga. Dengan demikian, ART memungkinkan periset di suatu lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk  mendukungnya diperlukan beberapa data, antara lain: No.

30

Aktivitas

1.

Distribusi kebijakan riset nasional

2.

Pelatihan penyusunan proposal

3.

Pelatihan penyusunan artikel saintifik

4.

Pemberitahuan pengajuan proposal riset

5.

Batas akhir waktu penyampaian proposal

6.

Seleksi proposal

7.

Perbaikan proposal

8.

Pemberitahuan topik riset yang dibiayai

9.

Penyiapan dan penandatanganan kontrak

10.

Pencairan dana riset

11.

Pelaksanaan riset

12.

Pemantauan ke lab/lapangan

13.

Penyusunan laporan akhir 

14.

Batas akhir waktu penyerahan laporan akhir 

15.

Pencairan dana riset 100%

16.

Diseminasi hasil riset

Bulan Ke 1

2

3

4

5

6

7

8

9

10

11

12

Keterangan

Panduan Monitoring dan Evaluasi RUT 

−

Pengajuan dan Hasil Seleksi Proposal  Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya terekam secara baik, olehkarena keduanya dapat mengindikasikan aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi yang dikuasai juga sekaligus dapat diekspos. No.

−

Topik Riset

Nama dan Biodata Periset

Nama Unit Riset

Rekapitulasi data riset yang dilaksanakan  Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci ataupun dalam bentuk rekapitulasinya akan mendukung dalam mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi periset dan unit riset, efektivitas, produktivitas lembaga ataupun individu periset. Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi dan data topik riset sebagai berikut: Rekapitulasi Rekapitulasi Hasil Seleksi Proposal Riset  No.

Nama Unit Riset

Jumlah Proposal Usulan

Nilai Proposal (Rp)

Diterima

Usulan

Disetujui

Keterangan

Data Topik Riset 

No

Judul Riset

Nama Pelaksana

Biaya Riset (Rp)

Sumber  Dana Riset

Lokasi Pelaksanaan

Produk Riset*

Institusi Mitra

Periode Waktu Pelaksanaan (tahun)

Ketua  Anggota * artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma, cetak biru, paten, poster, peraturan, standar, dan lain-lain

−

Realisasi Dana Operasional Rutin dan Riset   Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana operasional rutin dan pembangunan lembaga, dan (2) dana operasional

Panduan Monitoring dan Evaluasi RUT 

31

riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga menghitung alokasi dana riset tahunan secara cepat. Meskipun demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi dana operasional riset tahunan disarankan untuk dihitung tanpa biaya investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi tersebut dapat dipergunakan untuk menghitung  unit cost  faktual per periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut diperhitungkan, maka perhitungan unit cost menjadi kurang relevan. Dalam hal ini lebih utama menghitung  return on onvestment  lembaga. Model perhitungan return on investment  dapat disimak pada Buku “Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001. Untuk mendukung kemudahan perhitungan unit cost faktual, cost faktual, diperlukan beberapa data keuangan berikut:

No.

Sumber Dana

Alokasi (Rp)

−

1.

DIK

2.

DIKS

3.

DIP (rp murni)

4.

DIP Loan ($)

5.

Hibah ($)

6.

Lainnya

Unit Riset 1 Alokasi (Rp)

Realisasi (Rp)/%

Unit Riset n Alokasi (Rp)

Realisasi (Rp)/%

Total Serapan (Rp)/%

Sisa Dana (Rp)/%

 Monitoring dan Evaluasi    Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi manfaat dan dampak suatu aktivitas dan produk riset, baik bagi

32

Panduan Monitoring dan Evaluasi RUT 

lingkungan internal maupun eksternalnya. Olehkarena kedua indikator tersebut dapat memandu pengelola program riset dalam menganalisis indikator kinerja lain seperti relevansi produk, yang akan menunjukkan kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat mendukung analisis tersebut.

Nama Unit Riset : No.

Item subjek monitoring monitori ng dan evaluasi

1.

Topik riset - ditulis lengkap

2.

Nama ketua dan anggota tim - nama, bidang ilmu atau keahlian

3.

Dana riset sumber dana nilai nominal dana riset cara menetapkan nilai nominal dana riset cara penggunaan kendala yang dihadapi internal dan eksternal teknik solusi persoalan dana -

4.

Layanan informasi koleksi perpustakaan pada bidang riset layanan perpustakaan biaya layanan layanan internet dan biayanya -

5.

Produk riset -  jenis produk posisi produk terhadap pemanfaatannya prediksi nilai komersial/saintifik -

6.

Manfaat riset aspek sosial (jumlah lapangan kerja baru, jumlah pasien yang terobati, jumlah penduduk bebas buta huruf, dll) aspek ekonomi (nilai nominal yang terselamatkan dengan kehadiran produk riset, nilai royalti yang diterima, nominal peningkatan pendapatan, nilai nominal penghematan akibat adanya produk, dll) aspek teknologi (inovasi baru, teknologi produk riset diterapkan di industri, dll)

Panduan Monitoring dan Evaluasi RUT 

33

No.

Item subjek monitoring monitori ng dan evaluasi

7.

Dampak riset (internal, eksternal) dampak internal (tingginya nilai indeks sitasi, besarnya minat periset muda potensial untuk bergabung, terpeliharanya fasilitas riset, meningkatnya motivasi melakukan riset, tingginya efisiensi SDM riset, munculnya pengakuan sejawat, dll) dampak eksternal (meningkatnya tingkat kesejahteraan dan kecerdasan masyarakat, menurunnya angka kematian bayi, tereduksinya angka pengangguran, perubahan profesi penduduk, dll)

8.

Rencana tindak lanjut up scaling usulan baru RUK, Rusnas, dll pendaftaran Paten implementasi di masyarakat dll -

9.

Dukungan administratif dan teknis terhadap riset administrasi keuangan perijinan kesiapan fungsi peralatan pelaporan dan pengolahan data dll -

10.

Pemahaman periset akan Jakstra dan Punas arti Jakstra dan Punas posisi dan fungsi Jakstra dan Punas dalam aktivitas riset saran perbaikan -

11.

Pemahaman periset akan renstra lembaga arti renstra bagi strategi riset kelompok saran perbaikan -

12.

Keserasian aktivitas dan produk dengan misi lembaga

13.

Usulan unit cost  riset unit cost faktual berbasis empirik item penentu besaran unit cost kelompok unit cost ideal -

14.

Ketercapaian critical mass dalam unit riset keseimbangan jumlah periset, kualifikasi terhadap volume dan kompleksitas riset antisipasi yang pernah dilakukan -

15.

Korelasi topik riset dengan Jakstra dan Punas enam Isu Strategis sebelas Bidang Unggulan -

34

Panduan Monitoring dan Evaluasi RUT 

 Jenis Produk Riset  −

 Artikel saintifik No.

−

Pembuat Poster 

Tgl. & No. Pendaftaran Paten

No. Paten

Pemeriksaan Substantif 

No. ID Paten

Topik Riset Sumber Paten

Masa Berlaku

Diundang-kan oleh, di

Perihal

Tgl. & No. SNI

Perihal

Pemakai/Pelanggan

Tgl. & No. Sertifikat

Perihal

Pemakai/ Pelanggan

Topik Riset Sumber  Peraturan

Manfaat terhadap Mutu dan Pemasaran

Sertifikasi  Biaya (Rp)

Manfaat terhadap Pemakai/Pelanggan

 Akreditasi  No.

−

Topik Riset Sumber Poster 

Standar 

No.

−

Skala Seminar  (DN/LN)

Tgl. & No. Peraturan

No.

−

Tahun Seminar 

Peraturan  No.

−

Nama Seminar 

Topik Riset Sumber  Artikel

Paten  No.

−

Penulis

Lingkup Edar Jurnal/ Seminar  (DN/LN)

Tahun Terbit/ Waktu Seminar 

Poster  No.

−

Nama Jurnal/ Seminar 

Topik Artikel

Tgl. & No. Akreditasi

Nama lab/alat dan instansi yang diakreditasi

Biaya akreditasi (Rp)

Manfaat terhadap Pemakai/Pelanggan

Prototipe  No.

Nama Prototipe

Panduan Monitoring dan Evaluasi RUT 

Spesifikasi Teknis

Jumlah (buah)

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

35

−

Sistem  No.

−

Jenis Informasi

Jumlah (eks.)

Perihal

Pemakai/ Pelanggan

Pemakai/ Pelanggan

Harga Jual (Rp)

Harga Jual (Rp)

Terjual (Rp)

Topik Desain

Spefikasi Teknis

Manfaat terhadap Pemakai/Pelanggan

Judul Buku Teks

Nama Penulis

Nama Penerbit & Tahun Terbit

Perihal

Skala

Jumlah (eks.)

Harga Jual (Rp)

Topik Riset Sumber  Buku Teks

Judul Peta/Foto

Jumlah (buah)

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

Nama Alat Peraga

Bahan  Yang Digunakan

Jumlah (buah)

Spefikasi Teknis

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

Harga Jual (buah)

Terjual (buah)

Barang (alat dan bahan kedokteran, makanan, radioisotop) No.

36

Nama Modul

 Alat Peraga  No.

−

Tujuan Penggunaan

Manfaat terhadap Pemakai/Pelanggan

Peta/Foto No.

−

Teknis Akses Informasi

Buku Teks  No.

−

Pemakai/ Pelanggan

Ruang Lingkup

Desain  No.

−

Manfaat terhadap Pemakai/Pelanggan

 Modul Pelatihan  No.

−

Pemakai/ Pelanggan

Informasi  No.

−

Uraian Ringkas

Nama Sistem

Nama Barang

Spefikasi Teknis

Jumlah (buah)

Tujuan Penggunaan

Pemakai/ Pelanggan

Panduan Monitoring dan Evaluasi RUT 

Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s “ Evaluator’s Handbook”, The Handbook”,  The Regents of the University of California, 1987 Lembaga Penelitian-Institut Teknologi Bandung, “Laporan “ Laporan Akhir: Pengembangan  Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan  ”, Bandung, 2000 Pembangunan Riptek dan Evaluasi Proyek Khusus ”, Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan Pembangunan, “Pengukuran “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas  ”, Jakarta, Maret 2000 Kinerja Instansi Pemerintah (LAKIP), Modul 1-5 ”, Badan Perencanaan Pembangunan Nasional RI, “Evaluasi “ Evaluasi Kinerja Proyek Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000 LAPI-Bandung Institute of Technology, “Policy “Policy Studi on Establishment of Aviable  Research Monitoring and Evaluation System: Final Report Appendix to Human Resources  ”, Bandung, March 2000 Development ”, LAPI- Bandung Institute of Technology, “Policy “Policy Study on Strengthening The  ”, Bandung, March 2000 University and Industry Linkages ”,

Panduan Monitoring dan Evaluasi RUT 

37

38

Panduan Monitoring dan Evaluasi RUT