PEMODELAN PIPELINE ADVANCED RAG MENGGUNAKAN HYBRID SEARCH (BM25-INDOBERT) DAN RERANKING (CROSS-ENCODER) UNTUK LAYANAN INFORMASI AKADEMIK

ADITYA, GEDE JOVAN TIYO (2026) PEMODELAN PIPELINE ADVANCED RAG MENGGUNAKAN HYBRID SEARCH (BM25-INDOBERT) DAN RERANKING (CROSS-ENCODER) UNTUK LAYANAN INFORMASI AKADEMIK. S1 thesis, Universitas Mercu Buana Jakarta - Menteng.

	Text (Cover) 41522010019 - Gede Jovan Tiyo Aditya - 01 Cover - GEDE JOVAN TIYO ADITYA.pdf Download (582kB)
	Text (Bab 1) 41522010019 - Gede Jovan Tiyo Aditya - 02 Bab 1 - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (114kB)
	Text (Bab 2) 41522010019 - Gede Jovan Tiyo Aditya - 03 Bab 2 - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (559kB)
	Text (Bab 3) 41522010019 - Gede Jovan Tiyo Aditya - 04 Bab 3 - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (274kB)
	Text (Bab 4) 41522010019 - Gede Jovan Tiyo Aditya - 05 Bab 4 - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (490kB)
	Text (Bab 5) 41522010019 - Gede Jovan Tiyo Aditya - 06 Bab 5 - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (119kB)
	Text (Daftar Pustaka) 41522010019 - Gede Jovan Tiyo Aditya - 08 Daftar Pustaka - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (102kB)
	Text (Lampiran) 41522010019 - Gede Jovan Tiyo Aditya - 09 Lampiran - GEDE JOVAN TIYO ADITYA.pdf Restricted to Registered users only Download (469kB)

Abstract

Penelitian ini mengembangkan dan mengevaluasi sistem layanan informasi akademik berbasis Large Language Model (LLM) di Fakultas Ilmu Komputer. Permasalahan utama yang diangkat adalah keterbatasan layanan informasi manual oleh staf administrasi serta kelemahan bawaan LLM berupa halusinasi dan batasan pembaruan pengetahuan (knowledge cutoff). Untuk mengatasi hal tersebut, penelitian ini mengusulkan pemodelan arsitektur Advanced Retrieval-Augmented Generation (RAG) yang mengombinasikan pencarian leksikal (BM25) dan pencarian semantik (IndoBERT) melalui mekanisme Hybrid Search, serta kalibrasi peringkat dokumen (Reranking) menggunakan model Cross-Encoder. Metodologi penelitian mencakup perancangan sistem, implementasi menggunakan LLM lokal Qwen2.5 7B, dan pengujian secara komprehensif menggunakan metrik retrieval (MRR, Precision@K, Recall@K) serta metrik kualitas jawaban end-to-end dengan framework RAGAS (Faithfulness, Answer Relevancy, Context Precision). Hasil pengujian statistik empiris menggunakan Wilcoxon Signed-Rank Test menunjukkan bahwa pipeline Advanced RAG memberikan peningkatan kinerja penelusuran dokumen yang signifikan dibandingkan RAG standar (baseline), yang secara langsung meningkatkan relevansi jawaban dari LLM. Kesimpulan penelitian ini menegaskan bahwa implementasi Hybrid Search dan Reranking terbukti efektif dalam memitigasi halusinasi, tangguh dalam mengenali istilah dan akronim akademik, serta menjamin privasi data institusi melalui pemrosesan inferensi lokal. Kata kunci: Retrieval-Augmented Generation (RAG), Large Language Model, Hybrid Search, Cross-Encoder Reranking, Layanan Akademik

Item Type:	Thesis (S1)
NIM/NIDN Creators:	41522010019
Uncontrolled Keywords:	Retrieval-Augmented Generation (RAG), Large Language Model, Hybrid Search, Cross-Encoder Reranking, Academic Services
Subjects:	000 Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 000. Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 005 Computer Programmming, Programs, Data/Pemprograman Komputer, Program, Data 000 Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 000. Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 005 Computer Programmming, Programs, Data/Pemprograman Komputer, Program, Data > 005.4 System Programming and Programs/Sistem Pemrograman dan Program 000 Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 000. Computer Science, Information and General Works/Ilmu Komputer, Informasi, dan Karya Umum > 005 Computer Programmming, Programs, Data/Pemprograman Komputer, Program, Data > 005.4 System Programming and Programs/Sistem Pemrograman dan Program > 005.42 Systems Programming/Sistem Pemrograman
Divisions:	Fakultas Ilmu Komputer > Informatika
Depositing User:	CLAUDIA ASTRIANI
Date Deposited:	12 Aug 2026 01:54
Last Modified:	12 Aug 2026 01:54
URI:	http://repository.mercubuana.ac.id/id/eprint/103219

Actions (login required)

View Item