หนึ่งบุคคลมีหลายระเบียน หากระเบียนของคนเดียวกันอยู่ทั้ง train และ test จะเสี่ยงอะไร — จากผลที่รายงาน ผู้กำกับดูแลควรสรุปหลักอย่างไร
กสรุปว่า คะแนนสูงเกินจริง จึงควรแบ่งแบบกลุ่มให้บุคคลไม่ข้ามชุด
ขสรุปว่า ใช้ stratified random split ระดับระเบียนเพราะรักษาสัดส่วนคลาส
คสรุปว่า เก็บระเบียนล่าสุดของแต่ละคนหลังจากแบ่งข้อมูลแล้ว
งสรุปว่า สุ่มเลือกหนึ่งระเบียนต่อชุดโดยไม่ผูกกลุ่มตามบุคคล
เฉลยอธิบาย
Common pitfalls: inconsistent preprocessing, leakage and randomness อธิบายว่าต้องแยกข้อมูลก่อนเรียนรู้ preprocessing ใช้ pipeline ให้ขั้นตอนถูก fit เฉพาะข้อมูลฝึก และควบคุมแหล่งสุ่มเพื่อทำซ้ำได้ เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “สรุปว่า คะแนนสูงเกินจริง จึงควรแบ่งแบบกลุ่มให้บุคคลไม่ข้ามชุด” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น