สรุป: จาก Training Data ถึง Sampling
ทบทวนกลไก LLM ที่จำเป็นต่อการออกแบบ Prompt, API และการตรวจคำตอบ
เป้าหมาย: เชื่อมกลไกโมเดลกับการตัดสินใจในงานจริง · ใช้เวลาประมาณ 15 นาที
ข้อ 1
training data รับประกันข้อเท็จจริงล่าสุดหรือไม่
- รับประกัน
- ไม่รับประกัน
ดูคำตอบและคำอธิบาย
ไม่รับประกัน ข้อมูลและการฝึกสร้างรูปแบบ ไม่ใช่ฐานข้อเท็จจริงปัจจุบัน
ข้อ 2
แนบไฟล์ใน chat คือฝึกโมเดลใหม่หรือไม่
- ใช่
- ไม่ใช่ เป็น inference context
ดูคำตอบและคำอธิบาย
ไม่ใช่ เป็น inference context ไฟล์อยู่ในบริบทการเรียก ไม่ได้เปลี่ยนพารามิเตอร์โดยอัตโนมัติ
ข้อ 3
token ตรงกับหนึ่งคำเสมอหรือไม่
- เสมอ
- ไม่เสมอ โดยเฉพาะต่างภาษาและรูปแบบ
ดูคำตอบและคำอธิบาย
ไม่เสมอ โดยเฉพาะต่างภาษาและรูปแบบ tokenizer แบ่งตาม vocabulary ของโมเดล
ข้อ 4
Chat Template ทำอะไร
- แปลง role messages เป็นลำดับ token
- ค้นเว็บทุกครั้ง
ดูคำตอบและคำอธิบาย
แปลง role messages เป็นลำดับ token โมเดลยังรับลำดับ token แม้ API แสดงเป็นบทสนทนา
ข้อ 5
อะไรใช้พื้นที่ context window
- เฉพาะคำถามล่าสุด
- Prompt, history, เอกสาร เครื่องมือ และคำตอบ
ดูคำตอบและคำอธิบาย
Prompt, history, เอกสาร เครื่องมือ และคำตอบ ทุกส่วนแข่งขันกันใช้ context budget
ข้อ 6
temperature ต่ำทำให้ข้อมูลจริงเสมอหรือไม่
- ใช่
- ไม่ใช่ แค่ลดความแปรผันบางส่วน
ดูคำตอบและคำอธิบาย
ไม่ใช่ แค่ลดความแปรผันบางส่วน ความสม่ำเสมอไม่เท่ากับความถูกต้อง
บันทึกช่วยจำ
- วัดกับรุ่นและงานที่จะใช้จริง
- อย่าใช้ศัพท์เทคนิคแทนผลการทดลอง
สรุปบทเรียนนี้
- training ต่างจาก inference
- context มีงบจำกัด
- sampling ไม่รับประกันความจริง