โรงพยาบาลกำลังสร้างระบบคัดกรองผู้ป่วย: ทีมใช้ CV ชุดเดียวทั้งเลือก hyperparameter และรายงานคะแนนสุดท้าย ความเสี่ยงคืออะไร
กทำให้โมเดลไม่มีพารามิเตอร์
ขทำให้ข้อมูลกลายเป็น time series
คไม่มีความเสี่ยง
งคะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้
เฉลยอธิบาย
เมื่อเลือกโมเดลจากผล CV เดียวกัน ผลประเมินนั้นมีส่วนในกระบวนการเลือกและอาจมองโลกดีเกินไป ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://scikit-learn.org/stable/modules/cross_validation.html