โรงพยาบาลกำลังสร้างระบบคัดกรองผู้ป่วย: permutation importance ของฟีเจอร์สองตัวที่สัมพันธ์กันออกมาต่ำทั้งคู่ ควรระวังอะไร
กคะแนนต่ำพิสูจน์ว่าเป็น noise โดยถือว่าเป็นแนวทางหลักที่หน่วยงานควรใช้ในทุกกรณี
ขฟีเจอร์อาจทดแทนกันได้ จึงไม่ควรสรุปว่าไม่มีประโยชน์จากคะแนนรายตัวอย่างเดียว
คเพิ่ม leakage เพื่อแยกผล โดยไม่ต้องพิจารณานโยบาย บทบาท หรือความเสี่ยงด้านข้อมูลเพิ่มเติม
งรวม train กับ test แล้วคำนวณ โดยถือว่าเป็นแนวทางหลักที่หน่วยงานควรใช้ในทุกกรณี
เฉลยอธิบาย
เมื่อฟีเจอร์สัมพันธ์กัน การสลับตัวหนึ่งอาจยังเหลือข้อมูลเดียวกันในอีกตัว ทำให้ความสำคัญรายตัวต่ำ ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง