ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: เมื่อโมเดลกำหนดสิทธิพิเศษ ผลทำนายจะเปลี่ยนพฤติกรรมและกลายเป็นข้อมูลฝึกรอบถัดไป ความเสี่ยงคืออะไร
กไม่มีผลต่อการกระจายข้อมูล
ขโมเดลจะ calibrate เอง
คทำให้ leakage หายไป
งfeedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ
เฉลยอธิบาย
การตัดสินใจของระบบเปลี่ยนโลกที่สร้างข้อมูลใหม่ จึงต้องแยกผลของนโยบายออกจากคุณภาพโมเดล ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://airc.nist.gov/airmf-resources/playbook/measure/