สรุป: Enterprise Knowledge Base และ RAG
ทบทวนการตัดสินใจ เอกสาร chunk, metadata, retrieval, citation, permission และ maintenance
เป้าหมาย: วิเคราะห์ RAG failure และกำหนด control ที่ถูกชั้น · ใช้เวลาประมาณ 14 นาที
ข้อ 1
RAG เหมาะกับงานใด
- สถานะคำสั่งซื้อสดจากระบบ
- ตอบจากนโยบายที่มีเวอร์ชันและต้องอ้างอิง
ดูคำตอบและคำอธิบาย
ตอบจากนโยบายที่มีเวอร์ชันและต้องอ้างอิง RAG เหมาะกับความรู้เอกสาร ส่วนสถานะธุรกรรมควรอ่านจากระบบที่เป็นปัจจุบัน
ข้อ 2
ก่อน ingest ต้องมีอะไร
- embedding อย่างเดียว
- owner version effective date status และสิทธิ์
ดูคำตอบและคำอธิบาย
owner version effective date status และสิทธิ์ document governance ป้องกันเอกสารเก่า ซ้ำ และไร้ความรับผิดชอบเข้าสู่ระบบ
ข้อ 3
metadata ช่วยอะไร
- ทำโลโก้
- กรองเวอร์ชัน สาขา ภาษา และสิทธิ์
ดูคำตอบและคำอธิบาย
กรองเวอร์ชัน สาขา ภาษา และสิทธิ์ metadata ทำให้ retrieval เลือกขอบเขตที่ถูกก่อนเทียบความหมาย
ข้อ 4
เมื่อค้นได้เอกสารไม่เกี่ยวควรแก้อะไรก่อน
- เพิ่มความสร้างสรรค์ของโมเดล
- retrieval, filters และ rerank
ดูคำตอบและคำอธิบาย
retrieval, filters และ rerank generation ไม่สามารถชดเชย evidence ที่ผิดหรือไม่เกี่ยวข้องอย่างน่าเชื่อถือ
ข้อ 5
เอกสารขัดกันควรตอบอย่างไร
- เลือกฉบับที่ยาวกว่า
- แสดงความขัดแย้ง ปฏิเสธการตัดสิน และส่งเจ้าของ
ดูคำตอบและคำอธิบาย
แสดงความขัดแย้ง ปฏิเสธการตัดสิน และส่งเจ้าของ ระบบไม่มีอำนาจเลือกนโยบายเมื่อ source of truth ไม่ชัด
ข้อ 6
permission filter ควรทำเมื่อไร
- หลังโมเดลตอบ
- ก่อน retrieval และตรวจซ้ำก่อนส่ง
ดูคำตอบและคำอธิบาย
ก่อน retrieval และตรวจซ้ำก่อนส่ง เอกสารต้องห้ามไม่ควรเข้าสู่ context หรือ cache ตั้งแต่ต้น
บันทึกช่วยจำ
- RAG ไม่รับรองว่าคำตอบถูก ต้องตรวจ evidence และ owner
- ทุก release ต้อง rerun evaluation และ leakage tests
สรุปบทเรียนนี้
- govern documents
- retrieve and rerank
- cite refuse authorize evaluate