พื้นฐานการใช้ AIการเขียน Prompt

ตอบพร้อม Citation หรือปฏิเสธเมื่อหลักฐานไม่พอ

ผูกทุกคำกล่าวสำคัญกับข้อความสนับสนุน แสดงเวอร์ชัน และใช้ refusal/escalation เมื่อเอกสารไม่ตอบ

เป้าหมาย: ออกแบบ grounded answer contract และ refusal policy · ใช้เวลาประมาณ 16 นาที

วงจร Knowledge ที่ตรวจสอบได้

จัดการเอกสาร การค้น คำตอบ และ feedback เป็นระบบเดียวกัน

Govern

กำหนดเจ้าของ เวอร์ชัน สิทธิ์ และวันทบทวน

Retrieve

rewrite query กรอง metadata ค้น และ rerank

Generate

ตอบเฉพาะ evidence พร้อม citation หรือปฏิเสธ

Evaluate

วัด retrieval answer permission และ freshness แยกกัน

องค์ประกอบสำคัญ

citation

ตรวจ citation สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

เลือกวิธีตามความเสี่ยงและความต้องการอ้างอิง

groundedness

ตรวจ groundedness สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

คำตอบ RAG ต้องบอกแหล่งที่มาและไม่กล่าวเกิน evidence หากข้อมูลขาด ขัดกัน หรือหมดอายุให้ปฏิเสธอย่างช่วยเหลือและส่งเจ้าของ

ปฏิเสธ

ตรวจ ปฏิเสธ สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

conflict

ตรวจ conflict สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

RAG ล้มเหลวตรงไหน

เอกสารไม่มี owner หรือ version

ค้นเจอข้อมูลจริงแต่ล้าสมัย

ทำ registry และถอนฉบับเก่า

วัดคำตอบแต่ไม่วัด retrieval

แก้ prompt ทั้งที่ค้นผิด

ตรวจ recall relevance และ citation แยก

กรองสิทธิ์หลังค้น

ข้อมูลต้องห้ามเข้า context หรือ cache

authorize ก่อน retrieval และทดสอบ leakage

ออกแบบ RAG จากสถานการณ์

FAQ บอกคืนได้ 7 วัน แต่สัญญาลูกค้าระบุ 3 วัน

กำหนด source, metadata, retrieval, answer contract, refusal, permission และ evaluation

ดูคำตอบตัวอย่าง

เลือก source of truth ที่มี owner และ effective date แบ่งตามหัวข้อพร้อม metadata กรองสิทธิ์ก่อนค้น ใช้ hybrid search และ rerank ตอบเฉพาะข้อความที่รองรับพร้อม citation หากขัดกันหรือไม่พบให้ปฏิเสธและส่งเจ้าของ เก็บ failure เข้า evaluation

source/owner
metadata/version
retrieval/rerank
citation/refusal
permission
evaluation

บันทึกช่วยจำ

อย่านำเอกสารที่ไม่มีสิทธิ์หรือข้อมูลส่วนบุคคลเกินจำเป็นเข้า knowledge base
กำหนดกระบวนการลบและอัปเดตที่ตรวจย้อนหลังได้

สรุปบทเรียนนี้

เอกสารมีเจ้าของและเวอร์ชัน
ค้นและกรองก่อนตอบ
อ้างอิง ปฏิเสธ และประเมินได้