จัดการบทสนทนายาวโดยไม่ขนทุกข้อความ
เรียนรู้ “จัดการบทสนทนายาวโดยไม่ขนทุกข้อความ” เพื่อควบคุมบริบท ความจำ ต้นทุน และข้อมูลส่วนบุคคลในระบบ AI
เป้าหมาย: ออกแบบ context และ memory lifecycle ที่ตรวจ แก้ และลบได้ · ใช้เวลาประมาณ 15 นาที
Store → Select → Assemble → Expire
context และ memory ต้องมีวงจรชีวิต ไม่ใช่กล่องข้อความไม่จำกัด
Store
เก็บ transcript/state/memory แยกตามวัตถุประสงค์
Select
เลือกเฉพาะข้อมูลที่เกี่ยวกับงานและสิทธิ์
Assemble
จัด policy, task, evidence และ state เป็นชั้น
Expire
อัปเดต ลบ invalidate และบันทึกเหตุผล
องค์ประกอบที่ต้องกำกับ
Token
กำหนด source, owner, version และอายุของ Token
อย่าเก็บเพียงเพราะอาจมีประโยชน์
context assembly
กำหนด source, owner, version และอายุของ context assembly
เก็บ transcript เป็นหลักฐาน แยก current state, decisions, open tasks และ relevant evidence แล้วประกอบ context ตามงานแทนส่งทั้งหมด
recency
กำหนด source, owner, version และอายุของ recency
เก็บ transcript เป็นหลักฐาน แยก current state, decisions, open tasks และ relevant evidence แล้วประกอบ context ตามงานแทนส่งทั้งหมด
LINE OA
กำหนด source, owner, version และอายุของ LINE OA
เก็บ transcript เป็นหลักฐาน แยก current state, decisions, open tasks และ relevant evidence แล้วประกอบ context ตามงานแทนส่งทั้งหมด
ความจำที่ทำให้ระบบแย่ลง
ส่ง history ทั้งหมด
แพง ช้า และข้อมูลเก่าปน
assemble relevant state
summary ไม่มี citation
ตรวจสิ่งที่หายหรือเปลี่ยนไม่ได้
เก็บ source links
memory ไม่มี delete
ข้อมูลผิดและละเมิดวัตถุประสงค์
expiry, correction และ deletion
ออกแบบวงจร Context
เจ้าหน้าที่บริการลูกค้าใน LINE OA คุย 80 ข้อความและต้องส่งต่อพนักงานกะใหม่
กำหนดสิ่งเก็บ สิ่งส่งให้โมเดล conflict/expiry, privacy, evaluation และ fallback
ดูคำตอบตัวอย่าง
เก็บ transcript แยกจาก current state สกัด decision/open task พร้อม source เลือก context ตามงานและสิทธิ์ ใช้ memory เฉพาะข้อมูลมีวัตถุประสงค์และ retention เมื่อขัดกันใช้ timestamp/source หรือถามผู้ใช้ invalidate cache ตาม version และทดสอบ compression loss
- store types
- selection
- source/version
- conflict/expiry
- PDPA/delete
- evaluation/fallback
บันทึกช่วยจำ
- ให้ผู้ใช้เห็นและแก้หรือลบ memory ที่มีผลต่อเขาเมื่อเหมาะสม
- retention และ consent ต้องสอดคล้อง PDPA และนโยบายองค์กร
สรุปบทเรียนนี้
- แยก session/context/memory
- เลือกข้อมูลตามงาน
- version expire และ delete