ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: โมเดลทำนายทุกคนเป็นคลาสลบแล้วได้ accuracy 97% ควรสรุปอย่างไร
กไม่ต้องมี baseline
ขโมเดลพร้อมใช้งานเพราะเกิน 90%
คเพิ่มคลาสลบเพื่อให้ accuracy สูงขึ้น
งaccuracy หลอกตาในข้อมูลไม่สมดุล ควรดู confusion matrix, precision, recall และ PR curve
เฉลยอธิบาย
เมื่อคลาสบวกหายาก accuracy สูงได้แม้จับเหตุการณ์สำคัญไม่ได้ จึงต้องใช้เมตริกตามต้นทุนข้อผิดพลาด ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/model_evaluation.html