SKRIPSI IF

RANCANG BANGUN ASISTEN PERCAKAPAN PADA PLATFORM OPEN TRIP MENGGUNAKAN METODE RETRIEVAL AUGMENTED GENERATION (RAG)

---

ABSTRAK

Perkembangan platform pariwisata digital memudahkan pengguna dalam
mencari produk perjalanan, tetapi banyaknya pilihan dapat menyulitkan pengguna
menemukan produk yang sesuai dengan kebutuhannya. Penelitian ini bertujuan
merancang dan membangun asisten percakapan pada platform open trip AyoTrip
menggunakan metode Retrieval-Augmented Generation (RAG). Sistem
dikembangkan menggunakan Vue.js sebagai antarmuka pengguna, Laravel sebagai
layanan backend, PostgreSQL dengan ekstensi pgvector sebagai penyimpanan data

dan vektor, serta Ollama untuk menjalankan model secara lokal. Model nomic-
embed-text digunakan untuk membentuk vector embedding dari data produk dan

pertanyaan pengguna. Proses retrieval menggabungkan pencarian kemiripan
semantik menggunakan cosine distance dengan penyaringan metadata dan
menghasilkan maksimal tiga produk. Qwen2.5:7B digunakan untuk klasifikasi
intent dan menghasilkan respons berdasarkan konteks produk serta riwayat
percakapan. Apabila produk yang sesuai tidak ditemukan, sistem memberikan
respons ketidaktersediaan secara deterministik tanpa menjalankan generasi akhir.
Evaluasi menggunakan 120 pertanyaan yang terdiri atas 40 kueri in-scope, 40 kueri
out-of-scope product, dan 40 kueri irrelevant. Pada 40 kueri in-scope, sistem
memperoleh Hit@3 sebesar 100%. Evaluasi RAGAS menghasilkan rata-rata
Context Precision sebesar 0,654167, Context Recall sebesar 0,776677, Faithfulness
sebesar 0,915788, dan Answer Relevancy sebesar 0,525525. Pemeriksaan manual
terhadap 120 respons menunjukkan bahwa 115 respons atau 95,83% sesuai secara
faktual dan mematuhi batas informasi, sedangkan lima respons menghasilkan
tingkat halusinasi sebesar 4,17%. Hasil penelitian menunjukkan bahwa sistem
mampu menemukan produk relevan dan menghasilkan respons yang sebagian besar
didukung oleh konteks. Namun, ketepatan konteks, relevansi jawaban, dan validasi
respons akhir masih perlu ditingkatkan.
Kata Kunci: asisten percakapan, open trip, Retrieval-Augmented Generation,
RAGAS, Large Language Model, vector embedding.

v

ABSTRACT

The development of digital tourism platforms has made it easier for users to
search for travel products, but the large number of available options can make it
difficult to identify products that match their needs. This study aims to design and
develop a conversational assistant for the AyoTrip open-trip platform using the
Retrieval-Augmented Generation (RAG) method. The system was developed using
Vue.js as the user interface, Laravel as the backend service, PostgreSQL with the
pgvector extension for data and vector storage, and Ollama to run the models
locally. The nomic-embed-text model was used to generate vector embeddings from
product data and user queries. The retrieval process combined semantic similarity
search using cosine distance with metadata filtering and returned a maximum of
three products. Qwen2.5:7B was used for intent classification and response
generation based on product context and conversation history. When no matching
product was found, the system returned a deterministic unavailability response
without performing final-response generation. The evaluation used 120 questions
consisting of 40 in-scope queries, 40 out-of-scope product queries, and 40
irrelevant queries. For the 40 in-scope queries, the system achieved a Hit@3 score
of 100%. The RAGAS evaluation produced average scores of 0.654167 for Context
Precision, 0.776677 for Context Recall, 0.915788 for Faithfulness, and 0.525525
for Answer Relevancy. A manual review of 120 responses showed that 115
responses, or 95.83%, were factually correct and compliant with the established
information boundaries, while five responses resulted in a hallucination rate of
4.17%. These results indicate that the system was able to retrieve relevant products
and generate responses that were mostly supported by the provided context.
However, context precision, answer relevancy, and final-response validation still
require improvement.
Keywords: conversational assistant, open trip, Retrieval-Augmented Generation,
RAGAS, Large Language Model.

---

Ketersediaan

S260908029

607.2 FAD r

Perpustakaan STMIK AMIKBANDUNG

Tersedia

Informasi Detil

Judul Seri

-

No. Panggil

607.2 FAD r

Penerbit

: ., 2026

Deskripsi Fisik

-

Bahasa

Indonesia

ISBN/ISSN

-

Klasifikasi

NONE

Tipe Isi

-

Tipe Media

-

Tipe Pembawa

-

Edisi

-

Subyek

SKRIPSI IF

Info Detil Spesifik

-

Pernyataan Tanggungjawab

-

Versi lain/terkait

Lampiran Berkas

Komentar

---

You must be logged in to post a comment