ต้องให้ทีมอื่นทำผลทดลองซ้ำได้ ควรบันทึกอะไร — หลักฐานใดช่วยยืนยันว่ากระบวนการจัดการประเด็นนี้ได้เหมาะสม
กหลักฐานแสดงว่า บันทึกเฉพาะเวอร์ชันโค้ดกับ random seed โดยไม่เปรียบเทียบกับวิธีง่ายที่กำหนดไว้
ขหลักฐานแสดงว่า เก็บเฉพาะไฟล์โมเดลและคะแนนเฉลี่ยจาก validation แล้วสรุปจากการทดลองเพียงรอบเดียว
คหลักฐานแสดงว่า ระบุชื่ออัลกอริทึมกับพารามิเตอร์โดยไม่เก็บเวอร์ชันข้อมูล โดยไม่ทดสอบผลเมื่อ distribution เปลี่ยน
งหลักฐานแสดงว่า ข้อมูล/เวอร์ชันโค้ด สภาพแวดล้อม split seed พารามิเตอร์ และขั้นตอน preprocessing
เฉลยอธิบาย
Common pitfalls: inconsistent preprocessing, leakage and randomness อธิบายว่าต้องแยกข้อมูลก่อนเรียนรู้ preprocessing ใช้ pipeline ให้ขั้นตอนถูก fit เฉพาะข้อมูลฝึก และควบคุมแหล่งสุ่มเพื่อทำซ้ำได้ เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “หลักฐานแสดงว่า ข้อมูล/เวอร์ชันโค้ด สภาพแวดล้อม split seed พารามิเตอร์ และขั้นตอน preprocessing” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น