ทำไมถามเหมือนเดิมแล้ว AI ตอบไม่เหมือนเดิม
เรียนรู้ ทำไมถามเหมือนเดิมแล้ว AI ตอบไม่เหมือนเดิม ผ่านสถานการณ์งานไทย หลักฐาน และขอบเขตความปลอดภัย
เป้าหมาย: ตัดสินใจเรียนและใช้ AI โดยอาศัยหลักฐาน ไม่ใช่ความมั่นใจหรือคำโฆษณา · ใช้เวลาประมาณ 15 นาที
เข้าใจ → ทดลอง → ตรวจ → กำหนดขอบเขต
เปลี่ยนความรู้เป็นการตัดสินใจที่ตรวจสอบได้
เข้าใจกลไก
โมเดลสุ่มเลือก token จากความน่าจะเป็น การตั้งค่า temperature บริบท รุ่นโมเดลและเครื่องมือที่เรียกจึงทำให้คำตอบเปลี่ยนได้
ทดลองในงานจำลอง
ใช้ข้อมูลสมมติและเก็บ input, output, model, setting กับเวลา
ตรวจหลักฐาน
ตรวจข้อเท็จจริง ความสม่ำเสมอ ความเป็นส่วนตัว และผลกระทบต่อคน
กำหนดขอบเขต
ระบุว่าอะไรทำอัตโนมัติได้ อะไรต้อง human review และเมื่อไรต้องหยุด
แนวคิดที่ต้องแยกให้ออก
token probability
อธิบาย token probability ด้วยตัวอย่างจากงานไทย โดยแยกข้อเท็จจริง สมมติฐาน และสิ่งที่ต้องตรวจ
เริ่มจากคำที่ส่งผลต่อการตัดสินใจ
temperature
อธิบาย temperature ด้วยตัวอย่างจากงานไทย โดยแยกข้อเท็จจริง สมมติฐาน และสิ่งที่ต้องตรวจ
เชื่อมแนวคิดกับหลักฐานและขอบเขตใช้งาน
context
อธิบาย context ด้วยตัวอย่างจากงานไทย โดยแยกข้อเท็จจริง สมมติฐาน และสิ่งที่ต้องตรวจ
เชื่อมแนวคิดกับหลักฐานและขอบเขตใช้งาน
reproducibility
อธิบาย reproducibility ด้วยตัวอย่างจากงานไทย โดยแยกข้อเท็จจริง สมมติฐาน และสิ่งที่ต้องตรวจ
เชื่อมแนวคิดกับหลักฐานและขอบเขตใช้งาน
ความเข้าใจผิดที่ต้องหยุดก่อนใช้จริง
เห็นคำตอบดีครั้งเดียวแล้วเชื่อว่าระบบพร้อม
ไม่เห็นความแปรผันหรือกรณีขอบ
ทดสอบหลายกรณีและบันทึก failure
ใช้ผลของเครื่องมือเป็นคำตัดสินสุดท้าย
คนอาจได้รับผลกระทบจาก false positive
ให้คนตรวจ หลักฐานหลายแหล่ง และมีช่องทางทักท้วง
ใช้บัญชีหรือข้อมูลโดยไม่ดูนโยบาย
เสี่ยงความลับ สิทธิ์เข้าถึง และ PDPA
ใช้ระบบที่อนุมัติและข้อมูลเท่าที่จำเป็น
ทำ Decision Card ก่อนใช้งาน
ฝ่ายจัดซื้อรัน Prompt เดิมสองครั้งแล้วได้ตารางเปรียบเทียบคนละลำดับ
เขียนเป้าหมาย กลไกที่เกี่ยวข้อง ข้อมูลที่อนุญาต วิธีทดสอบ เกณฑ์ผ่าน ผู้ตรวจ และเงื่อนไขหยุด
ดูคำตอบตัวอย่าง
เป้าหมายต้องวัดจากงานจริง ไม่ใช่ความประทับใจ อธิบายว่า โมเดลสุ่มเลือก token จากความน่าจะเป็น การตั้งค่า temperature บริบท รุ่นโมเดลและเครื่องมือที่เรียกจึงทำให้คำตอบเปลี่ยนได้ ทดลองด้วยข้อมูลสมมติหลายกรณี เก็บหลักฐานและความผิดพลาด ใช้เฉพาะบัญชีที่องค์กรอนุมัติ ลดข้อมูลส่วนบุคคล ให้เจ้าของงานตรวจ และหยุดเมื่อข้อมูล นโยบาย หรือผลกระทบไม่ชัด
- เป้าหมายและ baseline
- ข้อมูล/บัญชีที่อนุมัติ
- หลาย test cases
- human review
- เงื่อนไขหยุด
- บันทึกหลักฐาน
บันทึกช่วยจำ
- ตรวจนโยบายล่าสุดขององค์กรและผู้ให้บริการก่อนใช้ข้อมูลจริง
- หัวข้อความเป็นส่วนตัว กฎหมาย การศึกษา หรือวินัยต้องมีผู้รับผิดชอบตรวจ
สรุปบทเรียนนี้
- เรียนจากงานและหลักฐาน
- แยกความน่าจะเป็นจากข้อเท็จจริง
- ปกป้องข้อมูลและให้คนรับผิดชอบ