permutation importance ของฟีเจอร์สองตัวที่สัมพันธ์กันออกมาต่ำทั้งคู่ ควรระวังอะไร — การออกแบบกระบวนการแบบใดตอบโจทย์นี้ได้เหมาะสม
กตีความคะแนนรายตัวตรง ๆ แล้วตัดทั้งสองฟีเจอร์ แล้วใช้คะแนนเฉลี่ยแทนการตรวจ error รายกรณี
ขเลือกเก็บเฉพาะฟีเจอร์ที่มี correlation กับ target สูงกว่า โดยไม่กำหนดเงื่อนไขหยุดใช้หรือ rollback
คฟีเจอร์อาจทดแทนกันได้ จึงไม่ควรสรุปว่าไม่มีประโยชน์จากคะแนนรายตัวอย่างเดียว
งคำนวณ importance จากข้อมูลฝึกเพื่อให้ผลมีความเสถียร และไม่ตรวจว่าสมมติฐานของวิธีตรงกับข้อมูล
เฉลยอธิบาย
Inspection: permutation importance and partial dependence อธิบายว่าเครื่องมืออธิบายโมเดลต้องตีความร่วมกับความสัมพันธ์ระหว่างฟีเจอร์และข้อจำกัดของข้อมูลที่นำมาคำนวณ เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ฟีเจอร์อาจทดแทนกันได้ จึงไม่ควรสรุปว่าไม่มีประโยชน์จากคะแนนรายตัวอย่างเดียว” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น