ประเมิน Multimodal AI แยกการมองเห็นจากการให้เหตุผล
วัด OCR, extraction, localization, transcription และ reasoning แยกกัน พร้อมชุดเคสคุณภาพต่ำ
เป้าหมาย: สร้าง evaluation set ที่ชี้ว่าผิดชั้นใด · ใช้เวลาประมาณ 15 นาที
Capture → Extract → Verify → Interpret
รักษาต้นฉบับและตรวจการรับรู้ก่อนสรุปความหมาย
Capture
ตรวจสิทธิ์ consent คุณภาพ ไฟล์ และ coverage
Extract
สกัดพร้อมหน้า เวลา พื้นที่ ผู้พูด และ confidence
Verify
เทียบชื่อ ตัวเลข หน่วย และช่วงสำคัญกับต้นฉบับ
Interpret
สรุปโดยแยก claim evidence uncertainty และ escalation
จุดตรวจตาม modality
evaluation
สกัด evaluation พร้อมตำแหน่งหลักฐานและทำเครื่องหมายสิ่งที่ไม่แน่ใจ
ใช้ผลสกัดเพื่อช่วยตรวจ ไม่แทนต้นฉบับ
OCR
สกัด OCR พร้อมตำแหน่งหลักฐานและทำเครื่องหมายสิ่งที่ไม่แน่ใจ
ถ้าข้อความถูกอ่านผิด การปรับ reasoning ไม่ช่วย ต้องวัด perception และ reasoning แยก พร้อม human review สำหรับผลกระทบสูง
ground truth
สกัด ground truth พร้อมตำแหน่งหลักฐานและทำเครื่องหมายสิ่งที่ไม่แน่ใจ
ถ้าข้อความถูกอ่านผิด การปรับ reasoning ไม่ช่วย ต้องวัด perception และ reasoning แยก พร้อม human review สำหรับผลกระทบสูง
PDPA
สกัด PDPA พร้อมตำแหน่งหลักฐานและทำเครื่องหมายสิ่งที่ไม่แน่ใจ
ถ้าข้อความถูกอ่านผิด การปรับ reasoning ไม่ช่วย ต้องวัด perception และ reasoning แยก พร้อม human review สำหรับผลกระทบสูง
ข้อผิดพลาดที่ซ่อนอยู่
ให้สรุปทันทีจากไฟล์
ไม่รู้ว่าผิดตอนอ่านหรือคิด
แยก extraction จาก interpretation
ไม่มี page/timestamp
ตรวจย้อนกลับไม่ได้
บังคับ evidence location
อัปโหลดใบหน้าและเสียงเกินจำเป็น
เพิ่มความเสี่ยง PDPA
ปกปิด ตัดช่วง และจำกัด retention
ออกแบบขั้นตอนตรวจ
ระบบอ่านเมนูและข้อมูลแพ้อาหารจากภาพถ่ายมือถือหลายสภาพแสง
กำหนดคุณภาพอินพุต การสกัด evidence การตรวจ ความเป็นส่วนตัว และทางส่งต่อ
ดูคำตอบตัวอย่าง
เก็บไฟล์ต้นฉบับที่มีสิทธิ์ สกัดพร้อม page/timestamp/region และ confidence ตรวจชื่อ ตัวเลข หน่วยกับต้นฉบับ ปกปิดข้อมูลบุคคลตาม PDPA แยกข้อเท็จจริงจากการอนุมาน และส่งให้เจ้าของงานเมื่อ evidence ไม่พอ
- สิทธิ์/consent
- คุณภาพ
- ตำแหน่งหลักฐาน
- ตรวจตัวเลข
- uncertainty
- privacy/escalation
บันทึกช่วยจำ
- เก็บสื่อเท่าที่จำเป็นและกำหนดผู้เข้าถึงกับระยะเวลาเก็บ
- งานสุขภาพ กฎหมาย การเงิน และความปลอดภัยต้องมีผู้เชี่ยวชาญตรวจ
สรุปบทเรียนนี้
- รักษาต้นฉบับ
- สกัดพร้อมตำแหน่ง
- ตรวจ perception ก่อน reasoning