หน่วยงานรัฐกำลังวิเคราะห์คำร้องบริการประชาชน: เมื่อโมเดลกำหนดสิทธิพิเศษ ผลทำนายจะเปลี่ยนพฤติกรรมและกลายเป็นข้อมูลฝึกรอบถัดไป ความเสี่ยงคืออะไร
กทำให้ leakage หายไป
ขไม่มีผลต่อการกระจายข้อมูล
คโมเดลจะ calibrate เอง
งfeedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ
เฉลยอธิบาย
การตัดสินใจของระบบเปลี่ยนโลกที่สร้างข้อมูลใหม่ จึงต้องแยกผลของนโยบายออกจากคุณภาพโมเดล ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://airc.nist.gov/airmf-resources/playbook/measure/