ธนาคารกำลังสร้างระบบประเมินความเสี่ยงสินเชื่อ: ต้องการรู้ว่าข้อความแจ้งเตือนแบบใหม่ทำให้การตอบสนองดีขึ้นหรือไม่ วิธีใดสนับสนุนเหตุ–ผลมากกว่า
กเลือกเฉพาะผู้ตอบสนองดี
ขใช้ correlation หลังเหตุการณ์อย่างเดียว
คสุ่มจัดกลุ่มทดลอง/ควบคุมล่วงหน้าและกำหนด outcome ก่อนดูผล
งเปรียบเทียบก่อน–หลังโดยไม่ดูการเปลี่ยนอื่น
เฉลยอธิบาย
randomization ช่วยลด confounding และการกำหนดแผนล่วงหน้าลดการเลือกผลตามข้อมูล ตัวเลือกอื่นละเลยลำดับเวลา การแยกข้อมูล ความหมายทางสถิติ หรือผลกระทบในการใช้งานจริง แหล่งอ้างอิงทางการ: https://airc.nist.gov/airmf-resources/playbook/measure/