ข้อมูลมีความเอนเอียงจากกระบวนการเก็บตัวอย่างและต้องจำกัดการตีความ จึงวินิจฉัยว่า หากต้องการเปรียบเทียบการพยากรณ์ของแบบจำลองสองตัวที่มีลักษณะต่างกัน (เช่น Linear Regression และ Decision Tree) ในข้อมูลเดียวกัน ควรพิจารณาประเด็นใดที่สำคัญที่สุด
กเลือกแบบจำลองที่มีความซับซ้อนมากที่สุด
ขเปรียบเทียบค่า R-squared ของแต่ละแบบจำลองบนชุดข้อมูลทุกตัวอย่าง
คใช้เกณฑ์เดียวเพียงตัวเดียว เช่น ค่าความแม่นยำบนชุดข้อมูลฝึกฝนเท่านั้น ในการเปรียบเทียบและตัดสินใจเลือกแบบจำลองโดยไม่พิจารณาปัจจัยหรือชุดข้อมูลอื่นประกอบ
งประเมินบนชุดข้อมูลที่แยกออกมา (Test Set) หลาย ๆ ครั้งเพื่อหลีกเลี่ยงการคัดเลือกแบบจำลองที่มี Overfitting
เฉลยอธิบาย
การเปรียบเทียบแบบจำลองต้องใช้ชุดข้อมูลทดสอบที่ไม่ใช้ในการสร้างแบบจำลอง และควรทำหลายครั้งด้วยวิธี Cross-validation เพื่อหลีกเลี่ยง Overfitting โดยแบบจำลองอาจแสดงประสิทธิภาพที่ดีในชุดฝึกแต่ไม่ดีในชุดทดสอบ ตัวเลือก A ใช้ชุดข้อมูลทั้งหมด ตัวเลือก C เป็นข้อผิดพลาดทั่วไป ตัวเลือก D ไม่เพียงพอ