Lewati ke isi

Buku Panduan 03: Penilai & Pemoderasi Esai (Grader & Reviewer Manual)

Panduan operasional resmi bagi Dewan Penilai (grader) dan Peninjau/Pemoderasi (reviewer) dalam mengoperasikan modul Penilaian Esai Buta & Moderasi Skor (Blind Essay Grading & Moderation) pada sistem Scola Assessment (Baseline OS-v1.0).

Dokumen ini memandu seluruh proses evaluasi jawaban esai/uraian analitik berbobot: mulai dari prinsip penyamaran identitas, pemberian skor berdasarkan rubrik multi-kriteria, hingga penegakan aturan dua penilai (two-person rule) sebelum hasil dapat dibekukan dan dipublikasikan.

1. Prinsip Integritas Penilaian Esai OS-v1.0

Penilaian esai pada kompetisi olimpiade terikat pada dua aturan integritas mutlak:

  1. Penilaian Buta Total (Blind Grading Guard - CAM-08):
  2. Penilai dilarang keras melihat identitas peserta (nama lengkap, nomor peserta, asal sekolah, kota) maupun bukti foto kamera pengawas.
  3. Setiap berkas jawaban hanya diidentifikasi melalui tanda acak (Submission ID / Attempt Hash).

  4. Hal ini menjamin objektivitas mutlak bebas dari bias subjektif asal sekolah, gender, atau daerah.

  5. Aturan Dua Penilai (Two-Person Rule - OS-060 / AC-17):

  6. Setiap butir esai wajib melalui dua tahap pemeriksaan:
    1. Tahap 1 (Penilai / Grader): Memberikan skor analitik awal berdasarkan kriteria rubrik dan catatan kualitatif.
    2. Tahap 2 (Pemoderasi / Reviewer): Dilakukan oleh juri kedua yang berbeda untuk memeriksa konsistensi skor: menyetujui penuh atau merevisi dengan justifikasi wajib.
  7. Sistem menolak penerbitan hasil peringkat jika ada satu saja soal esai yang belum dimoderasi (is_moderated=True).

2. Langkah 1: Autentikasi Penilai & Reviewer (/login)

  1. Buka peramban, kunjungi:
    👉 https://cbt.gcgscola.id/login
  2. Masukkan akun staf Anda:
  3. Sebagai Penilai: Gunakan email dengan role grader (contoh demo: klik tombol ⚖️ Penilai Esai dengan akun [email protected]).
  4. Sebagai Reviewer: Gunakan email dengan role reviewer atau exam_manager.
  5. Klik tombol:
    Masuk ke Sistem →
  6. Anda akan diarahkan ke antarmuka penilaian esai.

3. Langkah 2: Membuka Antrean Penilaian (/grading/:session_id)

Setelah memilih sesi ujian yang akan dikoreksi, antarmuka penilaian esai tertutup akan menampilkan tata letak dua kolom (two-column layout):

+-------------------------------------------------------------------------------+
| Blind Essay Grading & Moderation                                              |
| Identitas peserta disamarkan secara ketat (CAM-08 / OS-060).                  |
| Badges: [ANONYMIZED GRADING] [RUBRIK LENGKAP ✓]                              |
+---------------------------------------------+---------------------------------+
| [KOLOM KIRI: JAWABAN PESERTA (PII MASKED)]  | [KOLOM KANAN: PANEL RUBRIK]     |
| Submission ID: #att-8a11b22c | MATH-OLY-003 | Rubrik: Induksi Matematika      |
|                                             | Skor Maksimum: 20 pts           |
| Pertanyaan Soal:                            |                                 |
| Buktikan untuk n bulat positif ...          | Kriteria 1: Langkah Basis (25%) |
|                                             | (•) 5.0 pts - Basis dibuktikan  |
| Teks Jawaban Peserta:                       | ( ) 0.0 pts - Basis salah       |
| "Basis induksi untuk n=1: 4^3 + 3^3 = 91    |                                 |
| = 13 x 7 (benar). Asumsikan n=k ..."        | Kriteria 2: Langkah Aljabar(50%)|
|                                             | (•) 10.0 pts - Aljabar tuntas   |
| Catatan & Umpan Balik Penilai:              | ( ) 5.0 pts - Aljabar menggantung|
| [Penalaran induktif sangat rapi...]         |                                 |
|                                             | Kriteria 3: Kesimpulan (25%)    |
|                                             | (•) 5.0 pts - Kesimpulan lengkap|
|                                             +---------------------------------+
|                                             | Total Skor: 20.00 / 20 pts      |
|                                             +---------------------------------+
|                                             | [MODERASI REVIEWER]             |
|                                             | (•) Setujui  ( ) Koreksi/Revisi |
|                                             | [Simpan Skor] [Eksekusi Moders] |
+---------------------------------------------+---------------------------------+

4. Langkah 3: Alur Kerja Penilai Awal (Grader Workflow)

Sebagai penilai pertama (grader), ikuti langkah-langkah berikut:

1. Membaca Pertanyaan Soal & Teks Jawaban Peserta:

  • Kotak Pertanyaan Soal: Memuat soal resmi lengkap dengan notasi matematika KaTeX ($...$ atau $$...$$).
  • Kotak Teks Jawaban Peserta: Memuat teks uraian asli yang diketik oleh peserta saat ujian. Identitas peserta telah disamarkan menjadi Submission ID: #xxxxxxxx.
  • Baca seluruh langkah penyelesaian, logika argumen, dan keabsahan rumus yang ditulis peserta.

2. Memilih Level Capaian pada Tiap Kriteria Rubrik:

Pada panel kanan Panel Rubrik Analitik, tinjau setiap kriteria yang telah ditentukan dewan juri: - Kriteria 1 (misal: Langkah Basis): Klik pada radio button level nilai yang sesuai (misal: 5.0 pts - Langkah basis n=1 dibuktikan tepat). - Kriteria 2 (misal: Langkah Hipotesis & Aljabar): Klik pada level nilai yang tepat (misal: 10.0 pts - Asumsi n=k benar dan langkah n=k+1 tuntas). - Kriteria 3 (misal: Kesimpulan Formal): Klik pada level nilai yang sesuai (misal: 5.0 pts - Kesimpulan induktif formal dan lengkap).

3. Memantau Perhitungan Total Skor & Validasi Kelengkapan:

  • Sistem akan menjumlahkan poin per kriteria secara otomatis:
    Total Skor Diberikan: 20.00 / 20
  • Perhatikan badge indikator di header:
  • RUBRIK LENGKAP ✓ (Badge Hijau): Semua kriteria telah dinilai. Tombol simpan akan aktif.
  • KRITERIA BELUM LENGKAP (Badge Kuning): Masih ada kriteria yang terlewat. Tombol simpan belum dapat ditekan.

4. Memberikan Catatan Evaluasi Kualitatif:

  • Pada kotak Catatan & Umpan Balik Penilai, ketikkan evaluasi kualitatif objektif mengenai kekuatan atau kelemahan argumen peserta (contoh: "Penalaran induktif sangat rapi, namun langkah faktorisasi di baris 4 kurang detail").

5. Menyimpan Skor Penilai:

  • Klik tombol biru:
    👉 Simpan Skor Grader
  • Sistem akan mencatat skor ke dalam database dengan status menunggu moderasi juri kedua (pending moderation).

5. Langkah 4: Alur Kerja Peninjau & Pemoderasi (Reviewer Workflow)

Sesuai aturan Two-Person Rule, peninjau (reviewer) bertindak sebagai pemeriksa akhir sebelum skor dikunci secara permanen.

[!CAUTION] ATURAN PEMERIKSA BERBEDA:
Reviewer DILARANG merupakan orang yang sama dengan Grader yang menilai submission tersebut. Sistem melacak user ID pemeriksa pada setiap transaksi penilaian.

Langkah-langkah Moderasi Reviewer:

  1. Memeriksa Skor Awal Grader:
  2. Masuk dengan akun Reviewer. Buka submission yang telah memiliki skor grader.
  3. Tinjau kembali jawaban peserta dan poin kriteria yang dipilih oleh penilai pertama.

  4. Menentukan Aksi Moderasi (Two-Person Action): Pada kotak abu-abu Moderasi Reviewer (Two-Person Rule), pilih salah satu opsi:

  5. Opsi A: Menyetujui Skor Grader (Setujui Skor Grader):

    • Pilih radio button ini jika Anda setuju dengan penilaian penilai pertama.
    • Skor grader akan langsung disahkan tanpa perubahan.
    • Klik tombol hijau: Eksekusi Moderasi.

  6. Opsi B: Mengoreksi / Merevisi Skor (Koreksi / Revisi Skor):

    • Pilih radio button ini jika menurut Anda ada kriteria yang dinilai terlalu tinggi atau terlalu rendah.
    • Kolom tambahan akan muncul:
    • Skor Revisi (0 - Maks Rubrik): Masukkan angka skor baru hasil koreksi Anda (contoh: 16.5).
    • Alasan Revisi (Wajib): Ketikkan justifikasi tertulis mengapa skor diubah (contoh: "Pengurangan 3.5 poin karena langkah induksi n=k+1 terdapat kesalahan aljabar pada penjabaran suku kedua").
    • (Tombol Eksekusi Moderasi akan terkunci jika alasan revisi belum diisi).
    • Klik tombol hijau: Eksekusi Moderasi.

  7. Status Akhir Pengerjaan Esai:

  8. Setelah tombol Eksekusi Moderasi ditekan, status esai peserta tersebut resmi menjadi is_moderated: true.
  9. Nilai terkunci secara permanen dan siap diikutsertakan dalam agregasi skor peringkat resmi.

6. Panduan Kalibrasi Rubrik & Penanganan Kasus Khusus

Kasus Penilaian Ketentuan & Rekomendasi Tindakan
Peserta menuliskan jawaban di luar teks soal (kosong / tidak relevan) Berikan nilai 0.0 pts pada seluruh kriteria rubrik. Tuliskan di catatan: "Peserta tidak memberikan argumen yang relevan dengan pertanyaan".
Peserta menggunakan metode pembuktian berbeda (bukan induksi standar) Jika metode alternatif tersebut sah dan benar secara matematika (misalnya menggunakan aritmetika modulo langsung), juri dapat memberikan skor penuh pada kriteria logika aljabar dan kesimpulan.
Terjadi ketidaksepakatan besar antara Grader dan Reviewer (>30% selisih skor) Reviewer wajib mengadakan sidang kalibrasi bersama Ketua Dewan Juri (Chief Grader). Nilai akhir yang dimasukkan adalah hasil mufakat dewan juri lengkap dengan alasan tertulis.
Peserta tidak sengaja menuliskan nama atau nomor identitas di teks esai Penilai wajib mengabaikan identitas tersebut dan tetap menilai murni berdasarkan kualitas jawaban matematika. Laporkan insiden ini ke tim pengawas untuk dicatat sebagai pelanggaran etika penulisan.