NINGSIH, TITIN LESTARI (2025) PERBANDINGAN AKURASI JAWABAN CHATBOT MENGGUNAKAN ALGORITMA RANDOM FOREST DAN LOGISTIC REGRESSION DALAM MENJAWAB PERTANYAAN REGULASI PERBANKAN. S1 thesis, Universitas Mercu Buana Jakarta.
|
Text (HAL COVER)
01. COVER.pdf Download (424kB) | Preview |
|
![[img]](https://repository.mercubuana.ac.id/style/images/fileicons/text.png) |
Text (BAB I)
02. BAB 1.pdf Restricted to Registered users only Download (82kB) |
|
|
Text (BAB II)
03. BAB 2.pdf Restricted to Registered users only Download (183kB) |
|
|
Text (BAB III)
04. BAB 3.pdf Restricted to Registered users only Download (129kB) |
|
|
Text (BAB IV)
05. BAB 4.pdf Restricted to Registered users only Download (1MB) |
|
|
Text (BAB V)
06. BAB 5.pdf Restricted to Registered users only Download (28kB) |
|
|
Text (DAFTAR PUSTAKA)
07. DAFTAR PUSTAKA.pdf Restricted to Registered users only Download (137kB) |
|
|
Text (LAMPIRAN)
08. LAMPIRAN.pdf Restricted to Registered users only Download (947kB) |
Abstract
The application of artificial intelligence (AI) in the banking sector continues to evolve to support regulatory compliance and enhance operational efficiency. One of the innovations widely used is AI-based chatbots designed to answer regulatory questions quickly and accurately. This study aims to compare the performance of the Random Forest and Logistic Regression algorithms in processing chatbot response datasets related to banking regulations. The dataset used consists of 3,341 rows of data, covering various regulatory scenarios from chatbot testing conducted between July and October 2024. The results show that Logistic Regression and Random Forest are effective in identifying Correct Answers, but less accurate in handling Partially Correct Answers and Incorrect Answers, with lower recall and F1-Score in both categories. This indicates that both models struggle to recognize variations in answers and lack the semantic understanding to distinguish between correct, partially correct, and incorrect answers. In contrast, LLM based on GPT4 shows the highest F1-score (0.72) and excels in understanding the relationship between questions and answers, generating more accurate responses, although further improvements are needed in detecting Partially Correct Answers and Incorrect Answers. Therefore, LLM is required to enhance the ability to recognize and distinguish answer variations more accurately and effectively. Keyword: Chatbot, Banking Regulation, Random Forest, Logistic Regression, Accuracy. Penerapan kecerdasan buatan (AI) di sektor perbankan terus berkembang untuk mendukung kepatuhan regulasi dan meningkatkan efisiensi operasional. Salah satu inovasi yang banyak digunakan adalah chatbot berbasis AI yang dirancang untuk menjawab pertanyaan regulasi secara cepat dan akurat. Penelitian ini bertujuan untuk membandingkan kinerja algoritma Random Forest dan Logistic Regression dalam mengolah dataset jawaban chatbot terkait regulasi perbankan. Dataset yang digunakan terdiri dari 3.341 baris data, mencakup berbagai skenario regulasi hasil pengujian chatbot pada periode Juli hingga Oktober 2024. Hasil penelitian menunjukkan bahwa Logistic Regression dan Random Forest efektif dalam mengidentifikasi Jawaban Benar, namun kurang akurat dalam menangani Jawaban Kurang Tepat dan Jawaban Salah, dengan recall dan F1-Score yang lebih rendah pada kedua kategori tersebut. Hal ini menunjukkan bahwa kedua model tersebut cenderung kesulitan dalam mengenali variasi jawaban dan tidak memiliki pemahaman semantik yang mendalam untuk membedakan antara jawaban benar, kurang tepat, dan salah. Sebaliknya, LLM berbasis GPT-4 menunjukkan F1-score tertinggi (0.72) dan lebih unggul dalam memahami hubungan antara pertanyaan dan jawaban serta menghasilkan jawaban yang lebih akurat, meskipun masih perlu perbaikan lebih lanjut dalam mendeteksi Jawaban Kurang Tepat dan Jawaban Salah. Oleh karena itu, diperlukan LLM untuk meningkatkan kemampuan dalam mengenali dan membedakan variasi jawaban dengan lebih akurat dan efektif. Kata kunci: Chatbot, Regulasi Perbankan, Random Forest, Logistic Regression, Akurasi.
Actions (login required)
 |
View Item |
