ประเมินและดูแล RAG หลังเปิดใช้
วัด retrieval recall, relevance, citation correctness, answer usefulness, refusal และ permission leakage พร้อม freshness SLA
เป้าหมาย: สร้าง evaluation set, monitoring และ maintenance calendar · ใช้เวลาประมาณ 16 นาที
วงจร Knowledge ที่ตรวจสอบได้
จัดการเอกสาร การค้น คำตอบ และ feedback เป็นระบบเดียวกัน
Govern
กำหนดเจ้าของ เวอร์ชัน สิทธิ์ และวันทบทวน
Retrieve
rewrite query กรอง metadata ค้น และ rerank
Generate
ตอบเฉพาะ evidence พร้อม citation หรือปฏิเสธ
Evaluate
วัด retrieval answer permission และ freshness แยกกัน
องค์ประกอบสำคัญ
evaluation
ตรวจ evaluation สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
เลือกวิธีตามความเสี่ยงและความต้องการอ้างอิง
recall
ตรวจ recall สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG ต้องประเมิน retrieval และ answer แยกกัน เก็บคำถามจริงและ failures ตรวจเอกสารหมดอายุ และ rerun evaluation ทุกการเปลี่ยน
citation
ตรวจ citation สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG ต้องประเมิน retrieval และ answer แยกกัน เก็บคำถามจริงและ failures ตรวจเอกสารหมดอายุ และ rerun evaluation ทุกการเปลี่ยน
freshness SLA
ตรวจ freshness SLA สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
RAG ต้องประเมิน retrieval และ answer แยกกัน เก็บคำถามจริงและ failures ตรวจเอกสารหมดอายุ และ rerun evaluation ทุกการเปลี่ยน
RAG ล้มเหลวตรงไหน
เอกสารไม่มี owner หรือ version
ค้นเจอข้อมูลจริงแต่ล้าสมัย
ทำ registry และถอนฉบับเก่า
วัดคำตอบแต่ไม่วัด retrieval
แก้ prompt ทั้งที่ค้นผิด
ตรวจ recall relevance และ citation แยก
กรองสิทธิ์หลังค้น
ข้อมูลต้องห้ามเข้า context หรือ cache
authorize ก่อน retrieval และทดสอบ leakage
ออกแบบ RAG จากสถานการณ์
หลังอัปเดต SOP ระบบยังอ้างฉบับเก่าในบางคำถาม
กำหนด source, metadata, retrieval, answer contract, refusal, permission และ evaluation
ดูคำตอบตัวอย่าง
เลือก source of truth ที่มี owner และ effective date แบ่งตามหัวข้อพร้อม metadata กรองสิทธิ์ก่อนค้น ใช้ hybrid search และ rerank ตอบเฉพาะข้อความที่รองรับพร้อม citation หากขัดกันหรือไม่พบให้ปฏิเสธและส่งเจ้าของ เก็บ failure เข้า evaluation
- source/owner
- metadata/version
- retrieval/rerank
- citation/refusal
- permission
- evaluation
บันทึกช่วยจำ
- อย่านำเอกสารที่ไม่มีสิทธิ์หรือข้อมูลส่วนบุคคลเกินจำเป็นเข้า knowledge base
- กำหนดกระบวนการลบและอัปเดตที่ตรวจย้อนหลังได้
สรุปบทเรียนนี้
- เอกสารมีเจ้าของและเวอร์ชัน
- ค้นและกรองก่อนตอบ
- อ้างอิง ปฏิเสธ และประเมินได้