Session ไม่เท่ากับ Context Window
เรียนรู้ “Session ไม่เท่ากับ Context Window” เพื่อควบคุมบริบท ความจำ ต้นทุน และข้อมูลส่วนบุคคลในระบบ AI
เป้าหมาย: ออกแบบ context และ memory lifecycle ที่ตรวจ แก้ และลบได้ · ใช้เวลาประมาณ 15 นาที
Store → Select → Assemble → Expire
context และ memory ต้องมีวงจรชีวิต ไม่ใช่กล่องข้อความไม่จำกัด
Store
เก็บ transcript/state/memory แยกตามวัตถุประสงค์
Select
เลือกเฉพาะข้อมูลที่เกี่ยวกับงานและสิทธิ์
Assemble
จัด policy, task, evidence และ state เป็นชั้น
Expire
อัปเดต ลบ invalidate และบันทึกเหตุผล
องค์ประกอบที่ต้องกำกับ
Session
กำหนด source, owner, version และอายุของ Session
อย่าเก็บเพียงเพราะอาจมีประโยชน์
Context Window
กำหนด source, owner, version และอายุของ Context Window
Session คือกรอบประสบการณ์หรือสถานะของผลิตภัณฑ์ ส่วน Context Window คือข้อมูลที่โมเดลเห็นในการเรียกครั้งนั้น ประวัติอาจถูกตัด สรุป หรือโหลดใหม่
state
กำหนด source, owner, version และอายุของ state
Session คือกรอบประสบการณ์หรือสถานะของผลิตภัณฑ์ ส่วน Context Window คือข้อมูลที่โมเดลเห็นในการเรียกครั้งนั้น ประวัติอาจถูกตัด สรุป หรือโหลดใหม่
history
กำหนด source, owner, version และอายุของ history
Session คือกรอบประสบการณ์หรือสถานะของผลิตภัณฑ์ ส่วน Context Window คือข้อมูลที่โมเดลเห็นในการเรียกครั้งนั้น ประวัติอาจถูกตัด สรุป หรือโหลดใหม่
ความจำที่ทำให้ระบบแย่ลง
ส่ง history ทั้งหมด
แพง ช้า และข้อมูลเก่าปน
assemble relevant state
summary ไม่มี citation
ตรวจสิ่งที่หายหรือเปลี่ยนไม่ได้
เก็บ source links
memory ไม่มี delete
ข้อมูลผิดและละเมิดวัตถุประสงค์
expiry, correction และ deletion
ออกแบบวงจร Context
ผู้ใช้กลับมาเปิดแชตเดิมแล้วคิดว่าโมเดลเห็นทุกข้อความ
กำหนดสิ่งเก็บ สิ่งส่งให้โมเดล conflict/expiry, privacy, evaluation และ fallback
ดูคำตอบตัวอย่าง
เก็บ transcript แยกจาก current state สกัด decision/open task พร้อม source เลือก context ตามงานและสิทธิ์ ใช้ memory เฉพาะข้อมูลมีวัตถุประสงค์และ retention เมื่อขัดกันใช้ timestamp/source หรือถามผู้ใช้ invalidate cache ตาม version และทดสอบ compression loss
- store types
- selection
- source/version
- conflict/expiry
- PDPA/delete
- evaluation/fallback
บันทึกช่วยจำ
- ให้ผู้ใช้เห็นและแก้หรือลบ memory ที่มีผลต่อเขาเมื่อเหมาะสม
- retention และ consent ต้องสอดคล้อง PDPA และนโยบายองค์กร
สรุปบทเรียนนี้
- แยก session/context/memory
- เลือกข้อมูลตามงาน
- version expire และ delete