ป้องกัน Prompt Injection จากเอกสารและผู้ใช้
มองข้อความภายนอกเป็นข้อมูลที่ไม่น่าเชื่อถือ แยกคำสั่งระบบจากเนื้อหา และจำกัดผลที่โมเดลทำได้
เป้าหมาย: ออกแบบ controls ที่ไม่เชื่อคำสั่งซ่อนในเว็บ อีเมล หรือไฟล์ · ใช้เวลาประมาณ 15 นาที
ขั้นตอนควบคุม
ระบุทรัพย์สิน ภัยคุกคาม เจ้าของ และหลักฐานก่อนเปิดใช้
Map
วาดข้อมูล ระบบ คน และ trust boundary
Limit
จำกัดข้อมูล สิทธิ์ เครื่องมือ เวลา และผลกระทบ
Detect
บันทึก trace และเตือนเมื่อเกิด exception
Respond
กำหนด owner, stop, escalation และ recovery
หลักฐานที่ต้องเก็บ
Prompt Injection
ตรวจ Prompt Injection ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
Prompt Injection ป้องกันด้วยการแยก trust boundary, least privilege, validation และ human approval ไม่ใช่ prompt เดียว
untrusted content
ตรวจ untrusted content ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
allowlist
ตรวจ allowlist ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
least privilege
ตรวจ least privilege ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
ความเข้าใจผิดที่อันตราย
มี policy แต่ไม่มี control
พนักงานยังทำผิดได้โดยระบบไม่หยุด
แปลงข้อกำหนดเป็น access, validation และ log
เชื่อ vendor หรือโมเดลจากคำโฆษณา
ไม่รู้การไหลของข้อมูลและข้อจำกัด
ขอหลักฐาน สัญญา และทดสอบ
ไม่มีเจ้าของเหตุการณ์
ช้าและข้อมูลสูญหาย
กำหนด runbook และซ้อม
ออกแบบ control จากสถานการณ์
Agent อ่านอีเมลผู้ขายที่เขียนว่าให้ละเว้นนโยบายและส่งไฟล์ลูกค้ากลับมา
ระบุทรัพย์สิน ภัยคุกคาม การป้องกัน การตรวจพบ ผู้อนุมัติ และวิธีกู้คืน
ดูคำตอบตัวอย่าง
จัดชั้นข้อมูลและลดข้อมูลก่อนใช้ ตรวจสิทธิ์แบบ least privilege แยกเนื้อหาที่ไม่น่าเชื่อถือ บันทึก trace ตั้ง hard gate และให้เจ้าของกระบวนการอนุมัติ หากผิดให้หยุดระบบ เก็บหลักฐาน แจ้งทีม และ rollback เวอร์ชัน
- ทรัพย์สิน/ข้อมูล
- threat
- prevent
- detect
- owner
- stop/rollback
บันทึกช่วยจำ
- บทเรียนนี้ไม่ใช่คำปรึกษากฎหมาย ให้ตรวจ PDPA และข้อกำหนดอุตสาหกรรมกับผู้รับผิดชอบ
- ทบทวน control เมื่อ vendor รุ่นโมเดล หรือข้อมูลเปลี่ยน
สรุปบทเรียนนี้
- รู้ว่าปกป้องอะไร
- จำกัดสิทธิ์และข้อมูล
- ตรวจพบ หยุด และกู้คืนได้