เมื่อโมเดลกำหนดสิทธิพิเศษ ผลทำนายจะเปลี่ยนพฤติกรรมและกลายเป็นข้อมูลฝึกรอบถัดไป ความเสี่ยงคืออะไร — เมื่อทีมต้องแก้ความเสี่ยง ขั้นตอนใดควรทำต่อ
กขั้นตอนถัดไปคือดำเนินการตามแนวทางว่า ฝึกซ้ำจากผลการตัดสินเดิมโดยถือว่าข้อมูลใหม่เป็น ground truth
ขขั้นตอนถัดไปคือดำเนินการตามแนวทางว่า feedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ
คขั้นตอนถัดไปคือดำเนินการตามแนวทางว่า ติดตามเฉพาะคะแนนรวมของผู้ที่ได้รับสิทธิแล้ว และไม่ตรวจผลกระทบต่อกลุ่มย่อย
งขั้นตอนถัดไปคือดำเนินการตามแนวทางว่า ตัดผู้ได้รับผลจากโมเดลออกจากการประเมินรอบถัดไป โดยไม่ทวนสอบกับข้อมูลจากช่วงเวลาใหม่
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “ขั้นตอนถัดไปคือดำเนินการตามแนวทางว่า feedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น