Temperature และ Top-P คุมการสุ่ม ไม่ได้คุมความจริง
เข้าใจ Temperature และ Top-P คุมการสุ่ม ไม่ได้คุมความจริง เพื่อทดสอบและเลือกใช้โมเดลในงานไทย
เป้าหมาย: อธิบายกลไก สังเกตผล และออกแบบการทดลองที่ไม่สรุปเกินหลักฐาน · ใช้เวลาประมาณ 16 นาที
กลไก → ผลที่สังเกต → การทดลอง → ขอบเขต
เข้าใจหลักการเท่าที่ใช้วินิจฉัยงานจริง
กลไก
temperature ปรับความแหลมของการกระจาย ส่วน Top-P จำกัดกลุ่ม token ที่สะสมความน่าจะเป็น การลดค่าช่วยความสม่ำเสมอแต่ไม่รับประกันข้อเท็จจริง
ผลที่สังเกต
บันทึก input, model, setting, context, output และเวลา ไม่สรุปจาก demo เดียว
การทดลอง
เปลี่ยนทีละตัวแปรและใช้ชุดโจทย์เดิมเปรียบเทียบ
ขอบเขต
ให้คนตรวจข้อเท็จจริง ตัวเลข สิทธิ์ข้อมูล และผลกระทบสำคัญ
คำศัพท์ที่ใช้ตัดสินใจ
temperature
อธิบาย temperature ด้วยตัวอย่างภาษาไทยหนึ่งกรณี แล้วบอกสิ่งที่แนวคิดนี้ไม่รับประกัน
คำศัพท์มีประโยชน์เมื่อเชื่อมกับพฤติกรรมที่ทดสอบได้
Top-P
อธิบาย Top-P ด้วยตัวอย่างภาษาไทยหนึ่งกรณี แล้วบอกสิ่งที่แนวคิดนี้ไม่รับประกัน
คำศัพท์มีประโยชน์เมื่อเชื่อมกับพฤติกรรมที่ทดสอบได้
sampling
อธิบาย sampling ด้วยตัวอย่างภาษาไทยหนึ่งกรณี แล้วบอกสิ่งที่แนวคิดนี้ไม่รับประกัน
คำศัพท์มีประโยชน์เมื่อเชื่อมกับพฤติกรรมที่ทดสอบได้
determinism
อธิบาย determinism ด้วยตัวอย่างภาษาไทยหนึ่งกรณี แล้วบอกสิ่งที่แนวคิดนี้ไม่รับประกัน
คำศัพท์มีประโยชน์เมื่อเชื่อมกับพฤติกรรมที่ทดสอบได้
ข้อสรุปที่กลไกนี้ไม่รองรับ
โมเดลตอบคล่องจึงต้องรู้จริง
ความน่าจะเป็นของข้อความไม่ใช่หลักฐาน
ตรวจแหล่งข้อมูลและเจ้าของข้อมูล
เปลี่ยนหลาย setting พร้อมกัน
ไม่รู้สาเหตุของผลต่าง
ทำ controlled comparison
ใช้ค่าตั้งเดียวกับทุกงาน
ต้นทุน ความแปรผัน และความเสี่ยงไม่เหมาะ
กำหนดตาม use case และ eval
ทดลองกับงานภาษาไทย
ฝ่ายการเงินตั้ง temperature เป็นศูนย์แล้วคิดว่าตัวเลขไม่ต้องตรวจ
ตั้งสมมติฐาน สร้าง test cases เปลี่ยนตัวแปรเดียว บันทึกผล และกำหนด human review
ดูคำตอบตัวอย่าง
สมมติฐานอิงจาก temperature ปรับความแหลมของการกระจาย ส่วน Top-P จำกัดกลุ่ม token ที่สะสมความน่าจะเป็น การลดค่าช่วยความสม่ำเสมอแต่ไม่รับประกันข้อเท็จจริง ใช้ข้อมูลจำลองภาษาไทยอย่างน้อยห้ากรณี ล็อก model และ Prompt เปลี่ยนเฉพาะตัวแปรที่ศึกษา วัดความถูกต้อง ความสม่ำเสมอ token/เวลา/ต้นทุน และบันทึกกรณีผิด ก่อนกำหนดว่าผลใดต้อง human review
- สมมติฐาน
- test set ภาษาไทย
- ตัวแปรเดียว
- บันทึก setting
- failure cases
- human review
บันทึกช่วยจำ
- พฤติกรรมต่างกันตามโมเดล รุ่น ผู้ให้บริการ และการตั้งค่า
- ตรวจเอกสารของผู้ให้บริการและทดสอบด้วยข้อมูลที่อนุญาต
สรุปบทเรียนนี้
- กลไกอธิบายแนวโน้ม ไม่รับประกันคำตอบ
- เปลี่ยนทีละตัวแปร
- วัดกับงานภาษาไทยจริง