เตรียมเอกสารก่อนเข้า Enterprise Knowledge Base
ทำ inventory, owner, version, effective date, status, duplicate และ access class ก่อน ingest
เป้าหมาย: สร้าง document registry และ publication gate · ใช้เวลาประมาณ 16 นาที
วงจร Knowledge ที่ตรวจสอบได้
จัดการเอกสาร การค้น คำตอบ และ feedback เป็นระบบเดียวกัน
Govern
กำหนดเจ้าของ เวอร์ชัน สิทธิ์ และวันทบทวน
Retrieve
rewrite query กรอง metadata ค้น และ rerank
Generate
ตอบเฉพาะ evidence พร้อม citation หรือปฏิเสธ
Evaluate
วัด retrieval answer permission และ freshness แยกกัน
องค์ประกอบสำคัญ
SOP
ตรวจ SOP สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
เลือกวิธีตามความเสี่ยงและความต้องการอ้างอิง
document registry
ตรวจ document registry สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
คุณภาพ RAG เริ่มจากเอกสารที่มีเจ้าของ เวอร์ชัน วันที่มีผล สิทธิ์ และการยกเลิกฉบับเก่า ไม่ใช่จาก embedding
effective date
ตรวจ effective date สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
คุณภาพ RAG เริ่มจากเอกสารที่มีเจ้าของ เวอร์ชัน วันที่มีผล สิทธิ์ และการยกเลิกฉบับเก่า ไม่ใช่จาก embedding
สิทธิ์
ตรวจ สิทธิ์ สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ
คุณภาพ RAG เริ่มจากเอกสารที่มีเจ้าของ เวอร์ชัน วันที่มีผล สิทธิ์ และการยกเลิกฉบับเก่า ไม่ใช่จาก embedding
RAG ล้มเหลวตรงไหน
เอกสารไม่มี owner หรือ version
ค้นเจอข้อมูลจริงแต่ล้าสมัย
ทำ registry และถอนฉบับเก่า
วัดคำตอบแต่ไม่วัด retrieval
แก้ prompt ทั้งที่ค้นผิด
ตรวจ recall relevance และ citation แยก
กรองสิทธิ์หลังค้น
ข้อมูลต้องห้ามเข้า context หรือ cache
authorize ก่อน retrieval และทดสอบ leakage
ออกแบบ RAG จากสถานการณ์
โรงแรมมีนโยบาย check-in หลายไฟล์และแต่ละสาขาใช้ข้อยกเว้นต่างกัน
กำหนด source, metadata, retrieval, answer contract, refusal, permission และ evaluation
ดูคำตอบตัวอย่าง
เลือก source of truth ที่มี owner และ effective date แบ่งตามหัวข้อพร้อม metadata กรองสิทธิ์ก่อนค้น ใช้ hybrid search และ rerank ตอบเฉพาะข้อความที่รองรับพร้อม citation หากขัดกันหรือไม่พบให้ปฏิเสธและส่งเจ้าของ เก็บ failure เข้า evaluation
- source/owner
- metadata/version
- retrieval/rerank
- citation/refusal
- permission
- evaluation
บันทึกช่วยจำ
- อย่านำเอกสารที่ไม่มีสิทธิ์หรือข้อมูลส่วนบุคคลเกินจำเป็นเข้า knowledge base
- กำหนดกระบวนการลบและอัปเดตที่ตรวจย้อนหลังได้
สรุปบทเรียนนี้
- เอกสารมีเจ้าของและเวอร์ชัน
- ค้นและกรองก่อนตอบ
- อ้างอิง ปฏิเสธ และประเมินได้