โรงพยาบาลกำลังสร้างระบบคัดกรองผู้ป่วย: โมเดลให้ความน่าจะเป็น 0.8 แต่เหตุการณ์เกิดจริงเพียงประมาณ 0.5 ในกลุ่มนั้น ควรตรวจอะไร
กaccuracy อย่างเดียว โดยถือว่าเป็นแนวทางหลักที่หน่วยงานควรใช้ในทุกกรณี
ขcalibration curve และพิจารณาปรับเทียบบนข้อมูลแยกจากการฝึกโมเดล
คเพิ่ม threshold เป็น 0.99 โดยไม่ทดสอบ
งสรุปว่าความน่าจะเป็นไม่จำเป็น โดยถือว่าเป็นแนวทางหลักที่หน่วยงานควรใช้ในทุกกรณี
เฉลยอธิบาย
probability ที่ดีต้องสอดคล้องกับความถี่จริง การ calibration ต้องไม่ fit บนข้อมูลเดียวกับตัวจำแนกโดยตรง ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง