พื้นฐานการใช้ AIการเขียน Prompt

ค้นหาและ Rerank ก่อนให้โมเดลตอบ

ใช้ query rewrite, keyword/vector hybrid, filters, top-k และ rerank พร้อมตรวจความเกี่ยวข้อง

เป้าหมาย: วิเคราะห์ retrieval failure แยกจาก generation failure · ใช้เวลาประมาณ 16 นาที

วงจร Knowledge ที่ตรวจสอบได้

จัดการเอกสาร การค้น คำตอบ และ feedback เป็นระบบเดียวกัน

Govern

กำหนดเจ้าของ เวอร์ชัน สิทธิ์ และวันทบทวน

Retrieve

rewrite query กรอง metadata ค้น และ rerank

Generate

ตอบเฉพาะ evidence พร้อม citation หรือปฏิเสธ

Evaluate

วัด retrieval answer permission และ freshness แยกกัน

องค์ประกอบสำคัญ

retrieval

ตรวจ retrieval สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

เลือกวิธีตามความเสี่ยงและความต้องการอ้างอิง

hybrid search

ตรวจ hybrid search สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

retrieval ที่ดีต้องค้นกว้างพอแล้ว rerank ตามคำถามและ metadata; ถ้า evidence ไม่เกี่ยวข้อง โมเดลที่เก่งก็ยังตอบผิด

rerank

ตรวจ rerank สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

top-k

ตรวจ top-k สำหรับคำถามนี้และแสดงหลักฐานที่รองรับ

RAG ล้มเหลวตรงไหน

เอกสารไม่มี owner หรือ version

ค้นเจอข้อมูลจริงแต่ล้าสมัย

ทำ registry และถอนฉบับเก่า

วัดคำตอบแต่ไม่วัด retrieval

แก้ prompt ทั้งที่ค้นผิด

ตรวจ recall relevance และ citation แยก

กรองสิทธิ์หลังค้น

ข้อมูลต้องห้ามเข้า context หรือ cache

authorize ก่อน retrieval และทดสอบ leakage

ออกแบบ RAG จากสถานการณ์

ลูกค้าถามคืนเงินแต่ระบบ LINE OA หยิบเอกสารเปลี่ยนไซซ์ขึ้นมา

กำหนด source, metadata, retrieval, answer contract, refusal, permission และ evaluation

ดูคำตอบตัวอย่าง

เลือก source of truth ที่มี owner และ effective date แบ่งตามหัวข้อพร้อม metadata กรองสิทธิ์ก่อนค้น ใช้ hybrid search และ rerank ตอบเฉพาะข้อความที่รองรับพร้อม citation หากขัดกันหรือไม่พบให้ปฏิเสธและส่งเจ้าของ เก็บ failure เข้า evaluation

source/owner
metadata/version
retrieval/rerank
citation/refusal
permission
evaluation

บันทึกช่วยจำ

อย่านำเอกสารที่ไม่มีสิทธิ์หรือข้อมูลส่วนบุคคลเกินจำเป็นเข้า knowledge base
กำหนดกระบวนการลบและอัปเดตที่ตรวจย้อนหลังได้

สรุปบทเรียนนี้

เอกสารมีเจ้าของและเวอร์ชัน
ค้นและกรองก่อนตอบ
อ้างอิง ปฏิเสธ และประเมินได้