ในข้อมูลจำแนกที่เป้าหมายสุ่ม นักวิเคราะห์คัดเลือกฟีเจอร์จากข้อมูลทั้งหมดก่อนแบ่งชุด แล้วได้ accuracy สูงเกินคาด ข้อใดวินิจฉัยและแก้กระบวนการได้เหมาะสมที่สุด
กคะแนนสูงยืนยันว่าฟีเจอร์มีสัญญาณ จึงคงการคัดเลือกฟีเจอร์ก่อนแบ่งชุดไว้
ขคะแนนสูงอาจเกิดจาก test leakage จึงแบ่งชุดก่อนและ fit ขั้นตอนคัดเลือกฟีเจอร์ด้วยชุดฝึก
คคะแนนสูงเกิดจากการแบ่งชุดเร็วเกินไป จึงรวมข้อมูลแล้ว fit ขั้นตอนคัดเลือกฟีเจอร์อีกครั้ง
งคะแนนสูงเกิดจากจำนวนฟีเจอร์มาก จึงคัดเลือกฟีเจอร์ด้วยชุดทดสอบแล้วค่อยฝึกโมเดล
เฉลยอธิบาย
เมื่อเป้าหมายสุ่ม คะแนนควรใกล้ระดับ chance แต่การคัดเลือกฟีเจอร์จากข้อมูลทั้งหมดทำให้ขั้นตอนนั้นเห็นชุดทดสอบและดันคะแนนสูงเกินจริง วิธีแก้คือแบ่งข้อมูลก่อน แล้วเรียนรู้การคัดเลือกฟีเจอร์จากชุดฝึกเท่านั้น การ fit ด้วยข้อมูลรวมหรือชุดทดสอบยิ่งเพิ่มการรั่วไหลของข้อมูล