โรงพยาบาลกำลังสร้างระบบคัดกรองผู้ป่วย: โมเดลให้ความน่าจะเป็น 0.8 แต่เหตุการณ์เกิดจริงเพียงประมาณ 0.5 ในกลุ่มนั้น ควรตรวจอะไร
กaccuracy อย่างเดียว
ขcalibration curve และพิจารณาปรับเทียบบนข้อมูลแยกจากการฝึกโมเดล
คเพิ่ม threshold เป็น 0.99 โดยไม่ทดสอบ
งสรุปว่าความน่าจะเป็นไม่จำเป็น
เฉลยอธิบาย
probability ที่ดีต้องสอดคล้องกับความถี่จริง การ calibration ต้องไม่ fit บนข้อมูลเดียวกับตัวจำแนกโดยตรง ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/calibration.html