ทีมใช้ CV ชุดเดียวทั้งเลือก hyperparameter และรายงานคะแนนสุดท้าย ความเสี่ยงคืออะไร — จุดบกพร่องใดของกระบวนการควรถูกระบุก่อน
กระบุว่าปัญหาคือ ถือว่าค่าเฉลี่ย CV ยังเป็น unbiased เพราะแต่ละ fold แยกกัน แล้วใช้คะแนนเฉลี่ยแทนการตรวจ error รายกรณี
ขระบุว่าปัญหาคือ รายงานคะแนนจาก fold ที่ดีที่สุดเพื่อสะท้อนศักยภาพโมเดล โดยไม่กำหนดเงื่อนไขหยุดใช้หรือ rollback
คระบุว่ากระบวนการยังไม่ยึดหลักว่า คะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้
งระบุว่าปัญหาคือ ใช้ชุด fold เดิมต่อแต่เพิ่มจำนวน hyperparameter ที่ค้นหา และไม่ตรวจว่าสมมติฐานของวิธีตรงกับข้อมูล
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ระบุว่ากระบวนการยังไม่ยึดหลักว่า คะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น