Red Team Workflow ก่อนผู้ใช้จริงจะเจอช่องโหว่
ทดสอบ prompt injection, data leakage, permission abuse, malformed input, cost loop และ unsafe handoff
เป้าหมาย: สร้าง abuse cases และ hard gates จาก threat model · ใช้เวลาประมาณ 15 นาที
ขั้นตอนควบคุม
ระบุทรัพย์สิน ภัยคุกคาม เจ้าของ และหลักฐานก่อนเปิดใช้
Map
วาดข้อมูล ระบบ คน และ trust boundary
Limit
จำกัดข้อมูล สิทธิ์ เครื่องมือ เวลา และผลกระทบ
Detect
บันทึก trace และเตือนเมื่อเกิด exception
Respond
กำหนด owner, stop, escalation และ recovery
หลักฐานที่ต้องเก็บ
threat model
ตรวจ threat model ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
red team ต้องทดสอบระบบทั้งเส้นทาง ไม่ใช่แค่โมเดล และทุก failure ต้องกลายเป็น control กับ evaluation case
Prompt Injection
ตรวจ Prompt Injection ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
exfiltration
ตรวจ exfiltration ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
incident
ตรวจ incident ในกระบวนการนี้และระบุสิ่งที่ยังไม่มีหลักฐาน
ใช้ checklist และเอกสารจริง ไม่ถือว่าคำตอบของโมเดลเป็นหลักฐาน
ความเข้าใจผิดที่อันตราย
มี policy แต่ไม่มี control
พนักงานยังทำผิดได้โดยระบบไม่หยุด
แปลงข้อกำหนดเป็น access, validation และ log
เชื่อ vendor หรือโมเดลจากคำโฆษณา
ไม่รู้การไหลของข้อมูลและข้อจำกัด
ขอหลักฐาน สัญญา และทดสอบ
ไม่มีเจ้าของเหตุการณ์
ช้าและข้อมูลสูญหาย
กำหนด runbook และซ้อม
ออกแบบ control จากสถานการณ์
ทดสอบ Agent อ่านเอกสารและร่างคำตอบโดยพยายามให้มันเปิดเผยข้อมูลลูกค้า
ระบุทรัพย์สิน ภัยคุกคาม การป้องกัน การตรวจพบ ผู้อนุมัติ และวิธีกู้คืน
ดูคำตอบตัวอย่าง
จัดชั้นข้อมูลและลดข้อมูลก่อนใช้ ตรวจสิทธิ์แบบ least privilege แยกเนื้อหาที่ไม่น่าเชื่อถือ บันทึก trace ตั้ง hard gate และให้เจ้าของกระบวนการอนุมัติ หากผิดให้หยุดระบบ เก็บหลักฐาน แจ้งทีม และ rollback เวอร์ชัน
- ทรัพย์สิน/ข้อมูล
- threat
- prevent
- detect
- owner
- stop/rollback
บันทึกช่วยจำ
- บทเรียนนี้ไม่ใช่คำปรึกษากฎหมาย ให้ตรวจ PDPA และข้อกำหนดอุตสาหกรรมกับผู้รับผิดชอบ
- ทบทวน control เมื่อ vendor รุ่นโมเดล หรือข้อมูลเปลี่ยน
สรุปบทเรียนนี้
- รู้ว่าปกป้องอะไร
- จำกัดสิทธิ์และข้อมูล
- ตรวจพบ หยุด และกู้คืนได้