เหตุการณ์บวกหายากมาก เมตริกใดช่วยเห็น trade-off ของคลาสบวกชัดกว่า ROC เพียงอย่างเดียว — จุดบกพร่องใดของกระบวนการควรถูกระบุก่อน
กระบุว่ากระบวนการยังไม่ยึดหลักว่า Precision–Recall curve และ average precision พร้อมค่าที่ threshold ใช้งาน
ขระบุว่าปัญหาคือ ใช้ ROC AUC ร่วมกับ accuracy แต่ไม่ดู precision ตาม threshold และไม่ตรวจความไวของผลต่อสมมติฐานที่ใช้
คระบุว่าปัญหาคือ ใช้ specificity และจำนวนทำนายถูกทั้งหมดเป็นหลัก โดยใช้เกณฑ์เดียวตัดสินโดยไม่เทียบ baseline
งระบุว่าปัญหาคือ ใช้ F1 ที่ threshold เดียวโดยไม่ดูเส้น precision–recall และไม่แยกข้อมูลสำหรับประเมินผลสุดท้าย
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ระบุว่ากระบวนการยังไม่ยึดหลักว่า Precision–Recall curve และ average precision พร้อมค่าที่ threshold ใช้งาน” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น