permutation importance ของฟีเจอร์สองตัวที่สัมพันธ์กันออกมาต่ำทั้งคู่ ควรระวังอะไร — หลักฐานใดช่วยยืนยันว่ากระบวนการจัดการประเด็นนี้ได้เหมาะสม
กหลักฐานแสดงว่า ตีความคะแนนรายตัวตรง ๆ แล้วตัดทั้งสองฟีเจอร์ โดยไม่เปรียบเทียบกับวิธีง่ายที่กำหนดไว้
ขหลักฐานแสดงว่า เลือกเก็บเฉพาะฟีเจอร์ที่มี correlation กับ target สูงกว่า
คหลักฐานแสดงว่า คำนวณ importance จากข้อมูลฝึกเพื่อให้ผลมีความเสถียร โดยไม่ทดสอบผลเมื่อ distribution เปลี่ยน
งหลักฐานแสดงว่า ฟีเจอร์อาจทดแทนกันได้ จึงไม่ควรสรุปว่าไม่มีประโยชน์จากคะแนนรายตัวอย่างเดียว
เฉลยอธิบาย
Inspection: permutation importance and partial dependence อธิบายว่าเครื่องมืออธิบายโมเดลต้องตีความร่วมกับความสัมพันธ์ระหว่างฟีเจอร์และข้อจำกัดของข้อมูลที่นำมาคำนวณ เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “หลักฐานแสดงว่า ฟีเจอร์อาจทดแทนกันได้ จึงไม่ควรสรุปว่าไม่มีประโยชน์จากคะแนนรายตัวอย่างเดียว” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น