ทีมใช้ CV ชุดเดียวทั้งเลือก hyperparameter และรายงานคะแนนสุดท้าย ความเสี่ยงคืออะไร — หากเปรียบเทียบสองแนวทาง ข้อใดมีเหตุผลรองรับเหมาะสมกว่า
กเลือกข้อเสนอที่ระบุว่า ถือว่าค่าเฉลี่ย CV ยังเป็น unbiased เพราะแต่ละ fold แยกกัน
ขเลือกข้อเสนอที่ระบุว่า รายงานคะแนนจาก fold ที่ดีที่สุดเพื่อสะท้อนศักยภาพโมเดล แล้วสรุปจากการทดลองเพียงรอบเดียว
คเลือกข้อเสนอที่ระบุว่า ใช้ชุด fold เดิมต่อแต่เพิ่มจำนวน hyperparameter ที่ค้นหา
งเลือกแนวทางที่สอดคล้องกับหลักว่า คะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “เลือกแนวทางที่สอดคล้องกับหลักว่า คะแนนอาจเอนเอียงจากการเลือกซ้ำ ควรใช้ test แยกหรือนำ nested CV มาใช้” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น