ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: โมเดลให้ความน่าจะเป็น 0.8 แต่เหตุการณ์เกิดจริงเพียงประมาณ 0.5 ในกลุ่มนั้น ควรตรวจอะไร
กเพิ่ม threshold เป็น 0.99 โดยไม่ทดสอบ
ขสรุปว่าความน่าจะเป็นไม่จำเป็น
คaccuracy อย่างเดียว
งcalibration curve และพิจารณาปรับเทียบบนข้อมูลแยกจากการฝึกโมเดล
เฉลยอธิบาย
probability ที่ดีต้องสอดคล้องกับความถี่จริง การ calibration ต้องไม่ fit บนข้อมูลเดียวกับตัวจำแนกโดยตรง ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/calibration.html