ทีมใช้ class_weight เพื่อรับมือข้อมูลไม่สมดุล ควรประเมินอย่างไร — จุดบกพร่องใดของกระบวนการควรถูกระบุก่อน
กระบุว่าปัญหาคือ ปรับชุด test ให้สมดุลแล้วเปรียบเทียบ accuracy แล้วใช้คะแนนเฉลี่ยแทนการตรวจ error รายกรณี
ขระบุว่าปัญหาคือ รายงานผลเฉพาะรุ่นที่ใช้ class_weight โดยไม่เทียบ baseline โดยไม่กำหนดเงื่อนไขหยุดใช้หรือ rollback
คระบุว่ากระบวนการยังไม่ยึดหลักว่า ประเมินบนชุด validation/test ที่สะท้อนสัดส่วนใช้งานจริงและดูเมตริกตามต้นทุน
งระบุว่าปัญหาคือ ถือว่าความน่าจะเป็น calibrate แล้วเพราะ loss มีน้ำหนัก และไม่ตรวจว่าสมมติฐานของวิธีตรงกับข้อมูล
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ระบุว่ากระบวนการยังไม่ยึดหลักว่า ประเมินบนชุด validation/test ที่สะท้อนสัดส่วนใช้งานจริงและดูเมตริกตามต้นทุน” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น