เมื่อโมเดลกำหนดสิทธิพิเศษ ผลทำนายจะเปลี่ยนพฤติกรรมและกลายเป็นข้อมูลฝึกรอบถัดไป ความเสี่ยงคืออะไร — หลักฐานใดช่วยยืนยันว่ากระบวนการจัดการประเด็นนี้ได้เหมาะสม
กหลักฐานแสดงว่า feedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ
ขหลักฐานแสดงว่า ฝึกซ้ำจากผลการตัดสินเดิมโดยถือว่าข้อมูลใหม่เป็น ground truth
คหลักฐานแสดงว่า ติดตามเฉพาะคะแนนรวมของผู้ที่ได้รับสิทธิแล้ว โดยใช้เกณฑ์เดียวตัดสินโดยไม่เทียบ baseline
งหลักฐานแสดงว่า ตัดผู้ได้รับผลจากโมเดลออกจากการประเมินรอบถัดไป และไม่แยกข้อมูลสำหรับประเมินผลสุดท้าย
เฉลยอธิบาย
Model selection and evaluation อธิบายว่าการเลือกโมเดล เมตริก threshold และวิธี cross-validation ต้องสอดคล้องกับชนิดข้อมูล ต้นทุนความผิดพลาด และการใช้งานจริง เมื่อนำมาใช้กับโจทย์จึงต้องเลือก “หลักฐานแสดงว่า feedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ” ส่วนตัวเลือกอื่นใช้ข้อมูลผิดช่วง เลือกเมตริกไม่ตรงเป้าหมาย หรือข้ามการตรวจผลกระทบที่จำเป็น