Analisis Penilaian Esai Secara Otomatis Menggunakan Natural Language Processing (NLP) dan Cosine Similarity

Nur Rokhman; Puteri Anindya Maulan; Novriansyah Alief Wirahuda

doi:10.36309/goi.v31i1.359

Analisis Penilaian Esai Secara Otomatis Menggunakan Natural Language Processing (NLP) dan Cosine Similarity

https://doi.org/10.36309/goi.v31i1.359
Nur Rokhman^(1*)

, Puteri Anindya Maulan⁽²⁾, Novriansyah Alief Wirahuda⁽³⁾

Affiliation

(1) D4 Akuntansi Perpajakan Universitas Sain dan Teknologi Komputer Semarang
(2) D4 Akuntansi Perpajakan Universitas Sain dan Teknologi Komputer Semarang
(3) S1 Sistem Informasi Universitas Sain dan Teknologi Komputer Semarang
(*) Corresponding Author

How to Cite

Cite this Item

Abstract

Penilaian esai merupakan salah satu bentuk evaluasi yang efektif dalam mengukur pemahaman konseptual dan kemampuan berpikir kritis mahasiswa. Namun, proses penilaian manual terhadap jawaban esai seringkali menghadapi kendala berupa waktu koreksi yang lama, subjektivitas penilai, serta inkonsistensi antar dosen. Penelitian ini bertujuan untuk mengembangkan dan menguji efektivitas sistem penilaian otomatis berbasis Natural Language Processing (NLP) dan algoritma Cosine Similarity terhadap jawaban esai mahasiswa. Metode penelitian menggunakan pendekatan eksperimen kuantitatif dengan data uji berasal dari mata kuliah Struktur Data. Proses meliputi pra-pemrosesan teks (tokenisasi, stopword removal, stemming), representasi dokumen menggunakan TF-IDF, serta pengukuran kemiripan semantik antara jawaban mahasiswa dan kunci jawaban. Hasil pengujian menunjukkan bahwa sistem memiliki rata-rata persentase kemiripan sebesar 88,2% dengan nilai Mean Absolute Error (MAE) sebesar 2, yang mencerminkan performa yang baik dan stabil. Selain itu, waktu penilaian dapat dipersingkat hingga lebih dari 60% dibandingkan metode manual. Temuan ini menunjukkan bahwa pendekatan NLP dan Cosine Similarity layak diterapkan sebagai sistem pendukung dalam evaluasi akademik berbasis teks di lingkungan pendidikan tinggi.

Keywords

penilaian esai, natural language processing, cosine similarity, TF-IDF, evaluasi otomatis, sistem informasi akademik

Full Text:

PDF HAL. 41-52

References

Amalia, E. L., Jumadi, A. J., Mashudi, I. A., & Wibowo, D. W. (2021). Analisis Metode Cosine Similarity pada Aplikasi Ujian Online Otomatis (Studi Kasus JTI POLINEMA). Jurnal Teknologi Informasi dan Ilmu Komputer, 8(2), 343–348.

Anggraini, D., & Siregar, R. (2023). Metode Cosine Similarity pada Penilaian Essay Perkaderan Ikatan Mahasiswa Muhammadiyah. CESS (Journal of Computer Engineering, System and Science), 8(1), 45–52.

Arfandy, H., & Musdar, I. A. (2020). Rancang Bangun Sistem Cerdas Pemberian Nilai Otomatis untuk Ujian Esai Menggunakan Algoritma Cosine Similarity. Inspiration: Jurnal Teknologi Informasi dan Komunikasi, 10(2), 123–130.

Bahri, S., & Wajhillah, R. (2020). Optimalisasi Algoritma Rabin Karp menggunakan TF-IDF dalam Pencocokan Teks pada Penilaian Ujian Esai Otomatis. InfoTekJar: Jurnal Nasional Informatika dan Teknologi Jaringan, 4(2), 292–295.

Egger, R. (2022). Text Representations and Word Embeddings: Vectorizing Textual Data. Dalam Applied Data Science in Tourism (hlm. 335–361). Springer.

Fitri, R., & Asyikin, A. N. (2020). Aplikasi Penilaian Ujian Essay Otomatis Menggunakan Metode Cosine Similarity. Jurnal RESTIKOM: Riset Teknik Informatika dan Komputer, 4(1), 36–44.

Handayani, E. T., & Aminatun, D. (2020). Students’ Point of View on the Use of WhatsApp Group to Elevate Writing Ability. Journal of English Language Teaching and Learning, 1(2), 31–37.

Hasanah, U., & Mutiara, D. A. (2019). Perbandingan Metode Cosine Similarity dan Jaccard Similarity untuk Penilaian Otomatis Jawaban Pendek. Seminar Nasional Sistem Informasi dan Teknik Informatika (SENSITIF), 1255–1263.

Lahitani, A. R. (2022). Automated Essay Scoring menggunakan Cosine Similarity pada Penilaian Esai Multi Soal. Jurnal Kajian Ilmiah, 22(2), 107–118.

Mufiid, I., Lestanti, S., & Kholila, N. (2021). Aplikasi Penilaian Jawaban Esai Otomatis Menggunakan Metode Synonym Recognition dan Cosine Similarity Berbasis Web. Jurnal Mnemonic, 4(2), 31–37.

Prasetyo, V. R., Widiasri, M., & Angkiriwang, M. M. (2022). Sistem Berbasis Web untuk Koreksi Soal Esai dengan Association Rules. Teknika, 11(1), 62–68.

Sari, D. P., & Lestari, S. (2021). Penerapan Natural Language Processing dalam Penilaian Otomatis Esai Mahasiswa. Jurnal Teknologi Pendidikan, 23(2), 145–156.

Sihombing, D. O. (2022). Implementasi Natural Language Processing (NLP) dan Algoritma Cosine Similarity dalam Penilaian Ujian Esai Otomatis. Jurnal Sistem Komputer dan Informatika (JSON), 3(1), 15–22.