สรุป Agent และแบบทดสอบออกแบบระบบ
ทบทวน Agent Loop, Tool, ReAct, memory, orchestration และ permissions
เป้าหมาย: ประเมินการออกแบบ Agent จากสถานะ หลักฐาน สิทธิ์ และเงื่อนไขหยุด · ใช้เวลาประมาณ 12 นาที
แผนที่ Agent ที่ควบคุมได้
ตรวจตั้งแต่เป้าหมายถึงผลภายนอก
Loop
เป้าหมาย action observation และ stop
Evidence
ผล Tool แหล่ง และสถานะ
Control
สิทธิ์ approval budget และ audit
คำถาม 1
Agent ต่างจากแชตอย่างไร
- ก. ทำงานเป็นวงจรและเรียก Tool
- ข. ใช้ข้อความยาวกว่า
ดูคำตอบและคำอธิบาย
ก. ทำงานเป็นวงจรและเรียก Tool Agent จัดการ action และสถานะหลายรอบ
คำถาม 2
Tool ที่ดีควรเป็นอย่างไร
- ก. ทำทุกอย่าง
- ข. หน้าที่แคบ input/output/error ชัด
ดูคำตอบและคำอธิบาย
ข. หน้าที่แคบ input/output/error ชัด ขอบเขตแคบช่วยควบคุมและทดสอบ
คำถาม 3
เมื่อ ReAct ได้ permission_denied ควรทำอะไร
- ก. หยุดและส่งต่อ
- ข. เปลี่ยนคำจนผ่าน
ดูคำตอบและคำอธิบาย
ก. หยุดและส่งต่อ ระบบต้องเคารพขอบเขตสิทธิ์
คำถาม 4
Memory ระยะยาวควรมีอะไร
- ก. ทุกบทสนทนา
- ข. ข้อมูลที่มี purpose, source, consent และ retention
ดูคำตอบและคำอธิบาย
ข. ข้อมูลที่มี purpose, source, consent และ retention การเก็บมากเพิ่มความเสี่ยงและความล้าสมัย
คำถาม 5
งานใดทำ parallel ได้
- ก. ค้นราคาและสต็อกแบบอ่าน
- ข. อนุมัติแล้วส่งพร้อมกัน
ดูคำตอบและคำอธิบาย
ก. ค้นราคาและสต็อกแบบอ่าน งานอิสระและไม่มีผลภายนอกทำพร้อมกันได้
คำถาม 6
การคืนเงินต้องควบคุมที่ใด
- ก. Prompt อย่างเดียว
- ข. Tool permission วงเงิน approval และ audit
ดูคำตอบและคำอธิบาย
ข. Tool permission วงเงิน approval และ audit ระบบต้องบังคับขอบเขตแม้โมเดลเลือกผิด
บันทึกช่วยจำ
- แบบทดสอบไม่ใช่การรับรองความปลอดภัยของระบบจริง
- Agent ต้องผ่านชุดประเมินและการทดสอบสิทธิ์ก่อนใช้งาน
สรุปบทเรียนนี้
- ออกแบบ Loop และ stop
- ทำ Tool และ memory ให้ตรวจได้
- บังคับสิทธิ์ approval budget และ audit