ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: ทีมใช้ CV ชุดเดียวทั้งเลือก hyperparameter และรายงานคะแนนสุดท้าย ความเสี่ยงคืออะไร
กไม่มีความเสี่ยง
ขคะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้
คทำให้โมเดลไม่มีพารามิเตอร์
งทำให้ข้อมูลกลายเป็น time series
เฉลยอธิบาย
เมื่อเลือกโมเดลจากผล CV เดียวกัน ผลประเมินนั้นมีส่วนในกระบวนการเลือกและอาจมองโลกดีเกินไป ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/cross_validation.html