หน่วยงานรัฐกำลังวิเคราะห์คำร้องบริการประชาชน: โมเดลทำนายทุกคนเป็นคลาสลบแล้วได้ accuracy 97% ควรสรุปอย่างไร
กเพิ่มคลาสลบเพื่อให้ accuracy สูงขึ้น
ขไม่ต้องมี baseline
คโมเดลพร้อมใช้งานเพราะเกิน 90%
งaccuracy หลอกตาในข้อมูลไม่สมดุล ควรดู confusion matrix, precision, recall และ PR curve
เฉลยอธิบาย
เมื่อคลาสบวกหายาก accuracy สูงได้แม้จับเหตุการณ์สำคัญไม่ได้ จึงต้องใช้เมตริกตามต้นทุนข้อผิดพลาด ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/model_evaluation.html