โรงพยาบาลกำลังสร้างระบบคัดกรองผู้ป่วย: เมื่อโมเดลกำหนดสิทธิพิเศษ ผลทำนายจะเปลี่ยนพฤติกรรมและกลายเป็นข้อมูลฝึกรอบถัดไป ความเสี่ยงคืออะไร
กทำให้ leakage หายไป
ขไม่มีผลต่อการกระจายข้อมูล
คfeedback loop อาจขยายอคติ จึงต้องติดตามผลกระทบและมีข้อมูลเปรียบเทียบ/การกำกับ
งโมเดลจะ calibrate เอง
เฉลยอธิบาย
การตัดสินใจของระบบเปลี่ยนโลกที่สร้างข้อมูลใหม่ จึงต้องแยกผลของนโยบายออกจากคุณภาพโมเดล ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://airc.nist.gov/airmf-resources/playbook/measure/