เมื่อไรควรสร้าง Knowledge Base และใช้ RAG
ตัดสินจากความสด ความเป็นเจ้าของ การอ้างอิง และความถี่ของคำถาม ไม่ใช้ RAG แก้ทุกปัญหา
เป้าหมาย: เลือก RAG, Prompt, search หรือ workflow ให้เหมาะกับโจทย์ · ใช้เวลาประมาณ 16 นาที
วงจร Knowledge ที่ตรวจสอบได้
จัดการเอกสาร การค้น คำตอบ และ feedback เป็นระบบเดียวกัน
Govern
กำหนดเจ้าของ เวอร์ชัน สิทธิ์ และวันทบทวน
Retrieve
rewrite query กรอง metadata ค้น และ rerank
Generate
ตอบเฉพาะ evidence พร้อม citation หรือปฏิเสธ
Evaluate
วัด retrieval answer permission และ freshness แยกกัน
องค์ประกอบสำคัญ
RAG
ตรวจ RAG สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
เลือกวิธีตามความเสี่ยงและความต้องการอ้างอิง
freshness
ตรวจ freshness สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG เหมาะเมื่อคำตอบต้องอิงเอกสารเฉพาะที่เปลี่ยนได้และต้องตามแหล่ง แต่ไม่ช่วยหากเอกสารไม่มีเจ้าของหรือการตัดสินใจต้องใช้ระบบธุรกรรม
source of truth
ตรวจ source of truth สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG เหมาะเมื่อคำตอบต้องอิงเอกสารเฉพาะที่เปลี่ยนได้และต้องตามแหล่ง แต่ไม่ช่วยหากเอกสารไม่มีเจ้าของหรือการตัดสินใจต้องใช้ระบบธุรกรรม
owner
ตรวจ owner สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG เหมาะเมื่อคำตอบต้องอิงเอกสารเฉพาะที่เปลี่ยนได้และต้องตามแหล่ง แต่ไม่ช่วยหากเอกสารไม่มีเจ้าของหรือการตัดสินใจต้องใช้ระบบธุรกรรม
RAG ล้มเหลวตรงไหน
เอกสารไม่มี owner หรือ version
ค้นเจอข้อมูลจริงแต่ล้าสมัย
ทำ registry และถอนฉบับเก่า
วัดคำตอบแต่ไม่วัด retrieval
แก้ prompt ทั้งที่ค้นผิด
ตรวจ recall relevance และ citation แยก
กรองสิทธิ์หลังค้น
ข้อมูลต้องห้ามเข้า context หรือ cache
authorize ก่อน retrieval และทดสอบ leakage
ออกแบบ RAG จากสถานการณ์
HR อยากตอบเรื่องวันลา ขณะที่ฝ่ายขายอยากรู้สถานะคำสั่งซื้อสด
กำหนด source, metadata, retrieval, answer contract, refusal, permission และ evaluation
ดูคำตอบตัวอย่าง
เลือก source of truth ที่มี owner และ effective date แบ่งตามหัวข้อพร้อม metadata กรองสิทธิ์ก่อนค้น ใช้ hybrid search และ rerank ตอบเฉพาะข้อความที่รองรับพร้อม citation หากขัดกันหรือไม่พบให้ปฏิเสธและส่งเจ้าของ เก็บ failure เข้า evaluation
- source/owner
- metadata/version
- retrieval/rerank
- citation/refusal
- permission
- evaluation
บันทึกช่วยจำ
- อย่านำเอกสารที่ไม่มีสิทธิ์หรือข้อมูลส่วนบุคคลเกินจำเป็นเข้า knowledge base
- กำหนดกระบวนการลบและอัปเดตที่ตรวจย้อนหลังได้
สรุปบทเรียนนี้
- เอกสารมีเจ้าของและเวอร์ชัน
- ค้นและกรองก่อนตอบ
- อ้างอิง ปฏิเสธ และประเมินได้