ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: ทีมใช้ class_weight เพื่อรับมือข้อมูลไม่สมดุล ควรประเมินอย่างไร
กไม่ต้องเทียบ baseline ที่ไม่ได้ใช้ class_weight เลย เพราะการปรับ class_weight ถือว่าดีที่สุดโดยอัตโนมัติอยู่แล้วในทุกกรณี
ขปรับ test ให้สมดุลเทียมแล้วดู accuracy เท่านั้น
คประเมินบนชุด validation/test ที่สะท้อนสัดส่วนใช้งานจริงและดูเมตริกตามต้นทุน
งถือว่าความน่าจะเป็น calibrate แล้วอัตโนมัติ
เฉลยอธิบาย
การถ่วงน้ำหนักเปลี่ยนการเรียนรู้ แต่ไม่ได้รับประกัน calibration หรือประสิทธิผลในสภาพจริง ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/model_evaluation.html