สรุป: AI Harness จาก Prompt สู่ระบบ
ทบทวน messages, Markdown, streaming, MCP, Skill, cache และ evaluation
เป้าหมาย: ตรวจ Harness spec และ trace ก่อนปล่อยงานหลายขั้น · ใช้เวลาประมาณ 15 นาที
ข้อ 1
role message เป็น security boundary หรือไม่
- เป็น
- ไม่เป็น
ดูคำตอบและคำอธิบาย
ไม่เป็น ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
ข้อ 2
Markdown ใช้แทน schema validation ได้หรือไม่
- ได้
- ไม่ได้
ดูคำตอบและคำอธิบาย
ไม่ได้ ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
ข้อ 3
stream partial JSON execute ได้ทันทีหรือไม่
- ได้
- ไม่ได้
ดูคำตอบและคำอธิบาย
ไม่ได้ ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
ข้อ 4
MCP tool ยังต้องมีอะไร
- auth/permission/schema/approval
- description อย่างเดียว
ดูคำตอบและคำอธิบาย
auth/permission/schema/approval ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
ข้อ 5
timestamp ใน stable prefix มีผลอะไร
- cache miss
- เพิ่ม hit rate
ดูคำตอบและคำอธิบาย
cache miss ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
ข้อ 6
eval ควรวัดอะไร
- ทุก layer และ side effect
- คำตอบสวยอย่างเดียว
ดูคำตอบและคำอธิบาย
ทุก layer และ side effect ระบบเชื่อถือได้เกิดจาก contract, authorization, state และ evidence ไม่ใช่ Prompt ยาวอย่างเดียว
บันทึกช่วยจำ
- เปลี่ยน model/prompt/tool ต้องรัน regression
- ทำ runbook และ owner สำหรับ failure/incident
สรุปบทเรียนนี้
- structure messages
- control tools and state
- measure layered outcomes